~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to HACKING

  • Committer: John Arbash Meinel
  • Date: 2007-05-04 18:59:36 UTC
  • mto: This revision was merged to the branch mainline in revision 2643.
  • Revision ID: john@arbash-meinel.com-20070504185936-1mjdoqmtz74xe5mg
A C implementation of _fields_to_entry_0_parents drops the time from 400ms to 330ms for a 21k-entry tree

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
======================
2
 
Bazaar Developer Guide
3
 
======================
 
1
============================
 
2
Guidelines for modifying bzr
 
3
============================
4
4
 
5
5
.. contents::
6
6
 
7
 
(The current version of this document is available in the file 
8
 
``doc/developers/HACKING.txt`` in the source tree, or at
9
 
http://doc.bazaar-vcs.org/bzr.dev/en/developer-guide/HACKING.html)
10
 
 
11
 
 
12
 
Getting Started
13
 
###############
14
 
 
15
 
Exploring the Bazaar Platform
16
 
=============================
17
 
 
18
 
Before making changes, it's a good idea to explore the work already
19
 
done by others. Perhaps the new feature or improvement you're looking
20
 
for is available in another plug-in already? If you find a bug,
21
 
perhaps someone else has already fixed it?
22
 
 
23
 
To answer these questions and more, take a moment to explore the
24
 
overall Bazaar Platform. Here are some links to browse:
25
 
 
26
 
* The Plugins page on the Wiki - http://bazaar-vcs.org/BzrPlugins
27
 
 
28
 
* The Bazaar product family on Launchpad - https://launchpad.net/bazaar
29
 
 
30
 
* Bug Tracker for the core product - https://bugs.launchpad.net/bzr/
31
 
 
32
 
* Blueprint Tracker for the core product - https://blueprints.launchpad.net/bzr/
33
 
 
34
 
If nothing else, perhaps you'll find inspiration in how other developers
35
 
have solved their challenges.
36
 
 
37
 
 
38
 
Planning and Discussing Changes
39
 
===============================
40
 
 
41
 
There is a very active community around Bazaar. Mostly we meet on IRC
42
 
(#bzr on irc.freenode.net) and on the mailing list. To join the Bazaar
43
 
community, see http://bazaar-vcs.org/BzrSupport.
44
 
 
45
 
If you are planning to make a change, it's a very good idea to mention it
46
 
on the IRC channel and/or on the mailing list. There are many advantages
47
 
to involving the community before you spend much time on a change.
48
 
These include:
49
 
 
50
 
* you get to build on the wisdom on others, saving time
51
 
 
52
 
* if others can direct you to similar code, it minimises the work to be done 
53
 
 
54
 
* it assists everyone in coordinating direction, priorities and effort.
55
 
 
56
 
In summary, maximising the input from others typically minimises the
57
 
total effort required to get your changes merged. The community is
58
 
friendly, helpful and always keen to welcome newcomers.
59
 
 
60
 
 
61
 
Bazaar Development in a Nutshell
62
 
================================
63
 
 
64
 
Looking for a 10 minute introduction to submitting a change?
65
 
See http://bazaar-vcs.org/BzrGivingBack.
66
 
 
67
 
TODO: Merge that Wiki page into this document.
68
 
 
69
 
 
70
 
Understanding the Development Process
71
 
=====================================
72
 
 
73
 
The development team follows many best-practices including:
74
 
 
75
 
* a public roadmap and planning process in which anyone can participate
76
 
 
77
 
* time based milestones everyone can work towards and plan around
78
 
 
79
 
* extensive code review and feedback to contributors
80
 
 
81
 
* complete and rigorous test coverage on any code contributed
82
 
 
83
 
* automated validation that all tests still pass before code is merged
84
 
  into the main code branch.
85
 
 
86
 
The key tools we use to enable these practices are:
87
 
 
88
 
* Launchpad - https://launchpad.net/
89
 
 
90
 
* Bazaar - http://bazaar-vcs.org/
91
 
 
92
 
* Bundle Buggy - http://bundlebuggy.aaronbentley.com/
93
 
 
94
 
* Patch Queue Manager - https://launchpad.net/pqm/
95
 
 
96
 
For further information, see http://bazaar-vcs.org/BzrDevelopment.
97
 
 
98
 
 
99
 
A Closer Look at the Merge & Review Process
100
 
===========================================
101
 
 
102
 
If you'd like to propose a change, please post to the
103
 
bazaar@lists.canonical.com list with a bundle, patch, or link to a
104
 
branch. Put '[PATCH]' or '[MERGE]' in the subject so Bundle Buggy
105
 
can pick it out, and explain the change in the email message text.
106
 
Remember to update the NEWS file as part of your change if it makes any
107
 
changes visible to users or plugin developers. Please include a diff
108
 
against mainline if you're giving a link to a branch.
109
 
 
110
 
You can generate a bundle like this::
111
 
 
112
 
  bzr bundle > mybundle.patch
113
 
  
114
 
A .patch extension is recommended instead of .bundle as many mail clients
115
 
will send the latter as a binary file. If a bundle would be too long or your
116
 
mailer mangles whitespace (e.g. implicitly converts Unix newlines to DOS
117
 
newlines), use the merge-directive command instead like this::
118
 
 
119
 
  bzr merge-directive http://bazaar-vcs.org http://example.org/my_branch > my_directive.patch
120
 
 
121
 
See the help for details on the arguments to merge-directive.
122
 
 
123
 
Please do **NOT** put [PATCH] or [MERGE] in the subject line if you don't
124
 
want it to be merged. If you want comments from developers rather than
125
 
to be merged, you can put '[RFC]' in the subject line.
126
 
 
127
 
Anyone is welcome to review code.  There are broadly three gates for
128
 
code to get in:
129
 
 
130
 
 * Doesn't reduce test coverage: if it adds new methods or commands,
131
 
   there should be tests for them.  There is a good test framework
132
 
   and plenty of examples to crib from, but if you are having trouble
133
 
   working out how to test something feel free to post a draft patch
134
 
   and ask for help.
135
 
 
136
 
 * Doesn't reduce design clarity, such as by entangling objects
137
 
   we're trying to separate.  This is mostly something the more
138
 
   experienced reviewers need to help check.
139
 
 
140
 
 * Improves bugs, features, speed, or code simplicity.
141
 
 
142
 
Code that goes in should pass all three. The core developers take care
143
 
to keep the code quality high and understandable while recognising that
144
 
perfect is sometimes the enemy of good. (It is easy for reviews to make
145
 
people notice other things which should be fixed but those things should
146
 
not hold up the original fix being accepted. New things can easily be
147
 
recorded in the Bug Tracker instead.)
148
 
 
149
 
Anyone can "vote" on the mailing list. Core developers can also vote using
150
 
Bundle Buggy. Here are the voting codes and their explanations.
151
 
 
152
 
:approve:  Reviewer wants this submission merged.
153
 
:tweak:    Reviewer wants this submission merged with small changes. (No
154
 
  re-review required.)
155
 
:abstain:  Reviewer does not intend to vote on this patch.
156
 
:resubmit: Please make changes and resubmit for review.
157
 
:reject:   Reviewer doesn't want this kind of change merged.
158
 
:comment:  Not really a vote. Reviewer just wants to comment, for now.
159
 
 
160
 
If a change gets two approvals from core reviewers, and no rejections,
161
 
then it's OK to come in.  Any of the core developers can bring it into the
162
 
bzr.dev trunk and backport it to maintenance branches if required.  The
163
 
Release Manager will merge the change into the branch for a pending
164
 
release, if any. As a guideline, core developers usually merge their own
165
 
changes and volunteer to merge other contributions if they were the second
166
 
reviewer to agree to a change.
167
 
 
168
 
To track the progress of proposed changes, use Bundle Buggy. See
169
 
http://bundlebuggy.aaronbentley.com/help for a link to all the
170
 
outstanding merge requests together with an explanation of the columns.
171
 
Bundle Buggy will also mail you a link to track just your change.
172
 
 
173
 
 
174
 
Preparing a Sandbox for Making Changes to Bazaar
175
 
================================================
176
 
 
177
 
Bazaar supports many ways of organising your work. See
178
 
http://bazaar-vcs.org/SharedRepositoryLayouts for a summary of the
179
 
popular alternatives.
180
 
 
181
 
Of course, the best choice for you will depend on numerous factors:
182
 
the number of changes you may be making, the complexity of the changes, etc.
183
 
As a starting suggestion though:
184
 
 
185
 
* create a local copy of the main development branch (bzr.dev) by using
186
 
  this command::
187
 
  
188
 
    bzr branch http://bazaar-vcs.org/bzr/bzr.dev/ bzr.dev
189
 
   
190
 
* keep your copy of bzr.dev prestine (by not developing in it) and keep
191
 
  it up to date (by using bzr pull)
192
 
 
193
 
* create a new branch off your local bzr.dev copy for each issue
194
 
  (bug or feature) you are working on.
195
 
 
196
 
This approach makes it easy to go back and make any required changes
197
 
after a code review. Resubmitting the change is then simple with no
198
 
risk of accidentially including edits related to other issues you may
199
 
be working on. After the changes for an issue are accepted and merged,
200
 
the associated branch can be deleted or archived as you wish.
201
 
 
202
 
 
203
 
Navigating the Code Base
204
 
========================
205
 
 
206
 
TODO: List and describe in one line the purpose of each directory
207
 
inside an installation of bzr.
208
 
 
209
 
TODO: Refer to a central location holding an up to date copy of the API
210
 
documentation generated by epydoc, e.g. something like
211
 
http://starship.python.net/crew/mwh/bzrlibapi/bzrlib.html.
212
 
 
213
 
 
214
 
Testing Bazaar
215
 
##############
216
 
 
217
 
The Importance of Testing
218
 
=========================
219
 
 
220
 
Reliability is a critical success factor for any Version Control System.
221
 
We want Bazaar to be highly reliable across multiple platforms while
222
 
evolving over time to meet the needs of its community. 
223
 
 
224
 
In a nutshell, this is want we expect and encourage:
 
7
(The current version of this document is available in the file ``HACKING``
 
8
in the source tree, or at http://doc.bazaar-vcs.org/current/hacking.html)
 
9
 
 
10
Overall
 
11
=======
225
12
 
226
13
* New functionality should have test cases.  Preferably write the
227
14
  test before writing the code.
228
15
 
229
16
  In general, you can test at either the command-line level or the
230
 
  internal API level.  See Writing tests below for more detail.
 
17
  internal API level.  See Writing Tests below for more detail.
231
18
 
232
 
* Try to practice Test-Driven Development: before fixing a bug, write a
 
19
* Try to practice Test-Driven Development.  before fixing a bug, write a
233
20
  test case so that it does not regress.  Similarly for adding a new
234
21
  feature: write a test case for a small version of the new feature before
235
22
  starting on the code itself.  Check the test fails on the old code, then
236
23
  add the feature or fix and check it passes.
237
24
 
238
 
By doing these things, the Bazaar team gets increased confidence that
239
 
changes do what they claim to do, whether provided by the core team or
240
 
by community members. Equally importantly, we can be surer that changes
241
 
down the track do not break new features or bug fixes that you are
242
 
contributing today.
243
 
 
244
 
As of May 2007, Bazaar ships with a test suite containing over 6000 tests
245
 
and growing. We are proud of it and want to remain so. As community
246
 
members, we all benefit from it. Would you trust version control on
247
 
your project to a product *without* a test suite like Bazaar has?
248
 
 
249
 
 
250
 
Running the Test Suite
251
 
======================
252
 
 
253
 
Currently, bzr selftest is used to invoke tests.
254
 
You can provide a pattern argument to run a subset. For example, 
255
 
to run just the blackbox tests, run::
256
 
 
257
 
  ./bzr selftest -v blackbox
258
 
 
259
 
To skip a particular test (or set of tests), use the --exclude option
260
 
(shorthand -x) like so::
261
 
 
262
 
  ./bzr selftest -v -x blackbox  
263
 
 
264
 
To ensure that all tests are being run and succeeding, you can use the
265
 
--strict option which will fail if there are any missing features or known
266
 
failures, like so::
267
 
 
268
 
  ./bzr selftest --strict
269
 
 
270
 
To list tests without running them, use the --list-only option like so::
271
 
 
272
 
  ./bzr selftest --list-only
273
 
 
274
 
This option can be combined with other selftest options (like -x) and
275
 
filter patterns to understand their effect.
276
 
 
277
 
 
278
 
Writing Tests
279
 
=============
280
 
 
281
 
In general tests should be placed in a file named test_FOO.py where 
282
 
FOO is the logical thing under test. That file should be placed in the
283
 
tests subdirectory under the package being tested.
284
 
 
285
 
For example, tests for merge3 in bzrlib belong in bzrlib/tests/test_merge3.py.
286
 
See bzrlib/tests/test_sampler.py for a template test script.
287
 
 
288
 
Tests can be written for the UI or for individual areas of the library.
289
 
Choose whichever is appropriate: if adding a new command, or a new command 
290
 
option, then you should be writing a UI test.  If you are both adding UI
291
 
functionality and library functionality, you will want to write tests for 
292
 
both the UI and the core behaviours.  We call UI tests 'blackbox' tests
293
 
and they are found in ``bzrlib/tests/blackbox/*.py``. 
294
 
 
295
 
When writing blackbox tests please honour the following conventions:
296
 
 
297
 
 1. Place the tests for the command 'name' in
298
 
    bzrlib/tests/blackbox/test_name.py. This makes it easy for developers
299
 
    to locate the test script for a faulty command.
300
 
 
301
 
 2. Use the 'self.run_bzr("name")' utility function to invoke the command
302
 
    rather than running bzr in a subprocess or invoking the
303
 
    cmd_object.run() method directly. This is a lot faster than
304
 
    subprocesses and generates the same logging output as running it in a
305
 
    subprocess (which invoking the method directly does not).
306
 
 
307
 
 3. Only test the one command in a single test script. Use the bzrlib 
308
 
    library when setting up tests and when evaluating the side-effects of
309
 
    the command. We do this so that the library api has continual pressure
310
 
    on it to be as functional as the command line in a simple manner, and
311
 
    to isolate knock-on effects throughout the blackbox test suite when a
312
 
    command changes its name or signature. Ideally only the tests for a
313
 
    given command are affected when a given command is changed.
314
 
 
315
 
 4. If you have a test which does actually require running bzr in a
316
 
    subprocess you can use ``run_bzr_subprocess``. By default the spawned
317
 
    process will not load plugins unless ``--allow-plugins`` is supplied.
318
 
 
319
 
 
320
 
Doctests
321
 
--------
322
 
 
323
 
We make selective use of doctests__.  In general they should provide 
324
 
*examples* within the API documentation which can incidentally be tested.  We 
325
 
don't try to test every important case using doctests -- regular Python
326
 
tests are generally a better solution.
327
 
 
328
 
Most of these are in ``bzrlib/doc/api``.  More additions are welcome.
329
 
 
330
 
  __ http://docs.python.org/lib/module-doctest.html
331
 
 
332
 
 
333
 
Skipping tests and test requirements
334
 
------------------------------------
335
 
 
336
 
In our enhancements to unittest we allow for some addition results beyond
337
 
just success or failure.
338
 
 
339
 
If a test can't be run, it can say that it's skipped.  This is typically
340
 
used in parameterized tests - for example if a transport doesn't support
341
 
setting permissions, we'll skip the tests that relating to that.  ::
342
 
 
343
 
    try:
344
 
        return self.branch_format.initialize(repo.bzrdir)
345
 
    except errors.UninitializableFormat:
346
 
        raise tests.TestSkipped('Uninitializable branch format')
347
 
 
348
 
Raising TestSkipped is a good idea when you want to make it clear that the
349
 
test was not run, rather than just returning which makes it look as if it
350
 
was run and passed.
351
 
 
352
 
Several different cases are distinguished:
353
 
 
354
 
TestSkipped
355
 
        Generic skip; the only type that was present up to bzr 0.18.
356
 
 
357
 
TestNotApplicable
358
 
        The test doesn't apply to the parameters with which it was run.
359
 
        This is typically used when the test is being applied to all
360
 
        implementations of an interface, but some aspects of the interface
361
 
        are optional and not present in particular concrete
362
 
        implementations.  (Some tests that should raise this currently
363
 
        either silently return or raise TestSkipped.)  Another option is
364
 
        to use more precise parameterization to avoid generating the test
365
 
        at all.
366
 
 
367
 
TestPlatformLimit
368
 
        **(Not implemented yet)**
369
 
        The test can't be run because of an inherent limitation of the
370
 
        environment, such as not having symlinks or not supporting
371
 
        unicode.
372
 
 
373
 
UnavailableFeature
374
 
        The test can't be run because a dependency (typically a Python
375
 
        library) is not available in the test environment.  These
376
 
        are in general things that the person running the test could fix 
377
 
        by installing the library.  It's OK if some of these occur when 
378
 
        an end user runs the tests or if we're specifically testing in a
379
 
        limited environment, but a full test should never see them.
380
 
 
381
 
KnownFailure
382
 
        The test exists but is known to fail, for example because the 
383
 
        code to fix it hasn't been run yet.  Raising this allows 
384
 
        you to distinguish these failures from the ones that are not 
385
 
        expected to fail.  This could be conditionally raised if something
386
 
        is broken on some platforms but not on others.
387
 
 
388
 
We plan to support three modes for running the test suite to control the
389
 
interpretation of these results.  Strict mode is for use in situations
390
 
like merges to the mainline and releases where we want to make sure that
391
 
everything that can be tested has been tested.  Lax mode is for use by
392
 
developers who want to temporarily tolerate some known failures.  The
393
 
default behaviour is obtained by ``bzr selftest`` with no options, and
394
 
also (if possible) by running under another unittest harness.
395
 
 
396
 
======================= ======= ======= ========
397
 
result                  strict  default lax
398
 
======================= ======= ======= ========
399
 
TestSkipped             pass    pass    pass
400
 
TestNotApplicable       pass    pass    pass
401
 
TestPlatformLimit       pass    pass    pass
402
 
TestDependencyMissing   fail    pass    pass
403
 
KnownFailure            fail    pass    pass
404
 
======================= ======= ======= ========
405
 
     
406
 
 
407
 
Test feature dependencies
408
 
-------------------------
409
 
 
410
 
Rather than manually checking the environment in each test, a test class
411
 
can declare its dependence on some test features.  The feature objects are
412
 
checked only once for each run of the whole test suite.
413
 
 
414
 
For historical reasons, as of May 2007 many cases that should depend on
415
 
features currently raise TestSkipped.)
416
 
 
417
 
::
418
 
 
419
 
    class TestStrace(TestCaseWithTransport):
420
 
 
421
 
        _test_needs_features = [StraceFeature]
422
 
 
423
 
This means all tests in this class need the feature.  The feature itself
424
 
should provide a ``_probe`` method which is called once to determine if
425
 
it's available.
426
 
 
427
 
These should generally be equivalent to either TestDependencyMissing or
428
 
sometimes TestPlatformLimit.
429
 
 
430
 
 
431
 
Known failures
432
 
--------------
433
 
 
434
 
Known failures are when a test exists but we know it currently doesn't
435
 
work, allowing the test suite to still pass.  These should be used with
436
 
care, we don't want a proliferation of quietly broken tests.  It might be
437
 
appropriate to use them if you've committed a test for a bug but not the
438
 
fix for it, or if something works on Unix but not on Windows.
439
 
 
440
 
 
441
 
Testing exceptions and errors
442
 
-----------------------------
443
 
 
444
 
It's important to test handling of errors and exceptions.  Because this
445
 
code is often not hit in ad-hoc testing it can often have hidden bugs --
446
 
it's particularly common to get NameError because the exception code
447
 
references a variable that has since been renamed.
448
 
 
449
 
.. TODO: Something about how to provoke errors in the right way?
450
 
 
451
 
In general we want to test errors at two levels:
452
 
 
453
 
1. A test in ``test_errors.py`` checking that when the exception object is
454
 
   constructed with known parameters it produces an expected string form.
455
 
   This guards against mistakes in writing the format string, or in the
456
 
   ``str`` representations of its parameters.  There should be one for
457
 
   each exception class.
458
 
 
459
 
2. Tests that when an api is called in a particular situation, it raises
460
 
   an error of the expected class.  You should typically use
461
 
   ``assertRaises``, which in the Bazaar test suite returns the exception
462
 
   object to allow you to examine its parameters.  
463
 
 
464
 
In some cases blackbox tests will also want to check error reporting.  But
465
 
it can be difficult to provoke every error through the commandline
466
 
interface, so those tests are only done as needed -- eg in response to a
467
 
particular bug or if the error is reported in an unusual way(?)  Blackbox
468
 
tests should mostly be testing how the command-line interface works, so
469
 
should only test errors if there is something particular to the cli in how
470
 
they're displayed or handled.
471
 
 
472
 
 
473
 
Testing warnings
474
 
----------------
475
 
 
476
 
The Python ``warnings`` module is used to indicate a non-fatal code
477
 
problem.  Code that's expected to raise a warning can be tested through
478
 
callCatchWarnings.
479
 
 
480
 
The test suite can be run with ``-Werror`` to check no unexpected errors
481
 
occur.
482
 
 
483
 
However, warnings should be used with discretion.  It's not an appropriate
484
 
way to give messages to the user, because the warning is normally shown
485
 
only once per source line that causes the problem.  You should also think
486
 
about whether the warning is serious enought that it should be visible to
487
 
users who may not be able to fix it.
488
 
 
489
 
 
490
 
Interface implementation testing and test scenarios
491
 
---------------------------------------------------
492
 
 
493
 
There are several cases in Bazaar of multiple implementations of a common 
494
 
conceptual interface.  ("Conceptual" because 
495
 
it's not necessary for all the implementations to share a base class,
496
 
though they often do.)  Examples include transports and the working tree,
497
 
branch and repository classes. 
498
 
 
499
 
In these cases we want to make sure that every implementation correctly
500
 
fulfils the interface requirements.  For example, every Transport should
501
 
support the ``has()`` and ``get()`` and ``clone()`` methods.  We have a
502
 
sub-suite of tests in ``test_transport_implementations``.  (Most
503
 
per-implementation tests are in submodules of ``bzrlib.tests``, but not
504
 
the transport tests at the moment.)  
505
 
 
506
 
These tests are repeated for each registered Transport, by generating a
507
 
new TestCase instance for the cross product of test methods and transport
508
 
implementations.  As each test runs, it has ``transport_class`` and
509
 
``transport_server`` set to the class it should test.  Most tests don't
510
 
access these directly, but rather use ``self.get_transport`` which returns
511
 
a transport of the appropriate type.
512
 
 
513
 
The goal is to run per-implementation only tests that relate to that
514
 
particular interface.  Sometimes we discover a bug elsewhere that happens
515
 
with only one particular transport.  Once it's isolated, we can consider 
516
 
whether a test should be added for that particular implementation,
517
 
or for all implementations of the interface.
518
 
 
519
 
The multiplication of tests for different implementations is normally 
520
 
accomplished by overriding the ``test_suite`` function used to load 
521
 
tests from a module.  This function typically loads all the tests,
522
 
then applies a TestProviderAdapter to them, which generates a longer 
523
 
suite containing all the test variations.
524
 
 
525
 
 
526
 
Test scenarios
527
 
--------------
528
 
 
529
 
Some utilities are provided for generating variations of tests.  This can
530
 
be used for per-implementation tests, or other cases where the same test
531
 
code needs to run several times on different scenarios.
532
 
 
533
 
The general approach is to define a class that provides test methods,
534
 
which depend on attributes of the test object being pre-set with the
535
 
values to which the test should be applied.  The test suite should then
536
 
also provide a list of scenarios in which to run the tests.
537
 
 
538
 
Typically ``multiply_tests_from_modules`` should be called from the test
539
 
module's ``test_suite`` function.
540
 
 
541
 
 
542
 
Essential Domain Classes
543
 
########################
544
 
 
545
 
Introducing the Object Model
546
 
============================
547
 
 
548
 
The core domain objects within the bazaar model are:
549
 
 
550
 
* Transport
551
 
 
552
 
* Branch
553
 
 
554
 
* Repository
555
 
 
556
 
* WorkingTree
557
 
 
558
 
Transports are explained below. See http://bazaar-vcs.org/Classes/
559
 
for an introduction to the other key classes.
560
 
 
561
 
Using Transports
562
 
================
563
 
 
564
 
The ``Transport`` layer handles access to local or remote directories.
565
 
Each Transport object acts like a logical connection to a particular
566
 
directory, and it allows various operations on files within it.  You can
567
 
*clone* a transport to get a new Transport connected to a subdirectory or
568
 
parent directory.
569
 
 
570
 
Transports are not used for access to the working tree.  At present
571
 
working trees are always local and they are accessed through the regular
572
 
Python file io mechanisms.
573
 
 
574
 
Filenames vs URLs
575
 
-----------------
576
 
 
577
 
Transports work in URLs.  Take note that URLs are by definition only
578
 
ASCII - the decision of how to encode a Unicode string into a URL must be
579
 
taken at a higher level, typically in the Store.  (Note that Stores also
580
 
escape filenames which cannot be safely stored on all filesystems, but
581
 
this is a different level.)
582
 
 
583
 
The main reason for this is that it's not possible to safely roundtrip a
584
 
URL into Unicode and then back into the same URL.  The URL standard
585
 
gives a way to represent non-ASCII bytes in ASCII (as %-escapes), but
586
 
doesn't say how those bytes represent non-ASCII characters.  (They're not
587
 
guaranteed to be UTF-8 -- that is common but doesn't happen everywhere.)
588
 
 
589
 
For example if the user enters the url ``http://example/%e0`` there's no
590
 
way to tell whether that character represents "latin small letter a with
591
 
grave" in iso-8859-1, or "latin small letter r with acute" in iso-8859-2
592
 
or malformed UTF-8.  So we can't convert their URL to Unicode reliably.
593
 
 
594
 
Equally problematic if we're given a url-like string containing non-ascii
595
 
characters (such as the accented a) we can't be sure how to convert that
596
 
to the correct URL, because we don't know what encoding the server expects
597
 
for those characters.  (Although this is not totally reliable we might still
598
 
accept these and assume they should be put into UTF-8.)
599
 
 
600
 
A similar edge case is that the url ``http://foo/sweet%2Fsour`` contains
601
 
one directory component whose name is "sweet/sour".  The escaped slash is
602
 
not a directory separator.  If we try to convert URLs to regular Unicode
603
 
paths this information will be lost.
604
 
 
605
 
This implies that Transports must natively deal with URLs; for simplicity
606
 
they *only* deal with URLs and conversion of other strings to URLs is done
607
 
elsewhere.  Information they return, such as from ``list_dir``, is also in
608
 
the form of URL components.
609
 
 
610
 
 
611
 
Core Topics
612
 
###########
613
 
 
614
 
Evolving Interfaces
615
 
===================
 
25
* Exceptions should be defined inside bzrlib.errors, so that we can
 
26
  see the whole tree at a glance.
 
27
 
 
28
* Imports should be done at the top-level of the file, unless there is
 
29
  a strong reason to have them lazily loaded when a particular
 
30
  function runs.  Import statements have a cost, so try to make sure
 
31
  they don't run inside hot functions.
 
32
 
 
33
* Module names should always be given fully-qualified,
 
34
  i.e. ``bzrlib.hashcache`` not just ``hashcache``.
 
35
 
 
36
* Commands should return non-zero when they encounter circumstances that
 
37
  the user should really pay attention to - which includes trivial shell
 
38
  pipelines.
 
39
 
 
40
  Recommended values are 
 
41
    0. OK, 
 
42
    1. Conflicts in merge-like operations, or changes are present in
 
43
       diff-like operations. 
 
44
    2. Unrepresentable diff changes (i.e. binary files that we cannot show 
 
45
       a diff of).
 
46
    3. An error or exception has occurred.
 
47
 
 
48
Evolving interfaces
 
49
-------------------
616
50
 
617
51
We have a commitment to 6 months API stability - any supported symbol in a
618
52
release of bzr MUST NOT be altered in any way that would result in
638
72
callers will at least get an AttributeError rather than weird results.
639
73
 
640
74
 
641
 
Deprecation decorators
642
 
----------------------
643
 
 
644
 
``bzrlib.symbol_versioning`` provides decorators that can be attached to
645
 
methods, functions, and other interfaces to indicate that they should no
646
 
longer be used.
647
 
 
648
 
To deprecate a static method you must call ``deprecated_function``
649
 
(**not** method), after the staticmethod call::
650
 
 
651
 
    @staticmethod
652
 
    @deprecated_function(zero_ninetyone)
653
 
    def create_repository(base, shared=False, format=None):
654
 
 
655
 
When you deprecate an API, you should not just delete its tests, because
656
 
then we might introduce bugs in them.  If the API is still present at all,
657
 
it should still work.  The basic approach is to use
658
 
``TestCase.applyDeprecated`` which in one step checks that the API gives
659
 
the expected deprecation message, and also returns the real result from
660
 
the method, so that tests can keep running.
661
 
 
662
 
Coding Style Guidelines
663
 
=======================
664
 
 
665
 
General Python rules
666
 
--------------------
667
 
 
668
 
``hasattr`` should not be used because it swallows exceptions including
669
 
``KeyboardInterrupt``.  Instead, say something like ::
670
 
 
671
 
  if getattr(thing, 'name', None) is None
672
 
 
673
 
 
674
 
Code layout
675
 
-----------
 
75
Standard parameter types
 
76
------------------------
 
77
 
 
78
There are some common requirements in the library: some parameters need to be
 
79
unicode safe, some need byte strings, and so on. At the moment we have
 
80
only codified one specific pattern: Parameters that need to be unicode
 
81
should be checked via ``bzrlib.osutils.safe_unicode``. This will coerce the
 
82
input into unicode in a consistent fashion, allowing trivial strings to be
 
83
used for programmer convenience, but not performing unpredictably in the
 
84
presence of different locales.
 
85
 
 
86
 
 
87
Copyright
 
88
---------
 
89
 
 
90
The copyright policy for bzr was recently made clear in this email (edited
 
91
for grammatical correctness)::
 
92
 
 
93
    The attached patch cleans up the copyright and license statements in
 
94
    the bzr source. It also adds tests to help us remember to add them
 
95
    with the correct text.
 
96
 
 
97
    We had the problem that lots of our files were "Copyright Canonical
 
98
    Development Ltd" which is not a real company, and some other variations
 
99
    on this theme. Also, some files were missing the GPL statements.
 
100
    
 
101
    I want to be clear about the intent of this patch, since copyright can
 
102
    be a little controversial.
 
103
    
 
104
    1) The big motivation for this is not to shut out the community, but
 
105
    just to clean up all of the invalid copyright statements.
 
106
    
 
107
    2) It has been the general policy for bzr that we want a single
 
108
    copyright holder for all of the core code. This is following the model
 
109
    set by the FSF, which makes it easier to update the code to a new
 
110
    license in case problems are encountered. (For example, if we want to
 
111
    upgrade the project universally to GPL v3 it is much simpler if there is
 
112
    a single copyright holder). It also makes it clearer if copyright is
 
113
    ever debated, there is a single holder, which makes it easier to defend
 
114
    in court, etc. (I think the FSF position is that if you assign them
 
115
    copyright, they can defend it in court rather than you needing to, and
 
116
    I'm sure Canonical would do the same).
 
117
    As such, Canonical has requested copyright assignments from all of the
 
118
    major contributers.
 
119
    
 
120
    3) If someone wants to add code and not attribute it to Canonical, there
 
121
    is a specific list of files that are excluded from this check. And the
 
122
    test failure indicates where that is, and how to update it.
 
123
    
 
124
    4) If anyone feels that I changed a copyright statement incorrectly, just
 
125
    let me know, and I'll be happy to correct it. Whenever you have large
 
126
    mechanical changes like this, it is possible to make some mistakes.
 
127
    
 
128
    Just to reiterate, this is a community project, and it is meant to stay
 
129
    that way. Core bzr code is copyright Canonical for legal reasons, and
 
130
    the tests are just there to help us maintain that.
 
131
 
 
132
 
 
133
Documentation
 
134
=============
 
135
 
 
136
When you change bzrlib, please update the relevant documentation for the
 
137
change you made: Changes to commands should update their help, and
 
138
possibly end user tutorials; changes to the core library should be
 
139
reflected in API documentation.
 
140
 
 
141
Commands
 
142
--------
 
143
 
 
144
The docstring of a command is used by ``bzr help`` to generate help output
 
145
for the command. The list 'takes_options' attribute on a command is used by
 
146
``bzr help`` to document the options for the command - the command
 
147
docstring does not need to document them. Finally, the '_see_also'
 
148
attribute on a command can be used to reference other related help topics.
 
149
 
 
150
NEWS file
 
151
---------
 
152
 
 
153
If you make a user-visible change, please add a note to the NEWS file.
 
154
The description should be written to make sense to someone who's just
 
155
a user of bzr, not a developer: new functions or classes shouldn't be
 
156
mentioned, but new commands, changes in behaviour or fixed nontrivial
 
157
bugs should be listed.  See the existing entries for an idea of what
 
158
should be done.
 
159
 
 
160
Within each release, entries in the news file should have the most
 
161
user-visible changes first.  So the order should be approximately:
 
162
 
 
163
 * changes to existing behaviour - the highest priority because the 
 
164
   user's existing knowledge is incorrect
 
165
 * new features - should be brought to their attention
 
166
 * bug fixes - may be of interest if the bug was affecting them, and
 
167
   should include the bug number if any
 
168
 * major documentation changes
 
169
 * changes to internal interfaces
 
170
 
 
171
People who made significant contributions to each change are listed in
 
172
parenthesis.  This can include reporting bugs (particularly with good
 
173
details or reproduction recipes), submitting patches, etc.
 
174
 
 
175
API documentation
 
176
-----------------
 
177
 
 
178
Functions, methods, classes and modules should have docstrings
 
179
describing how they are used. 
 
180
 
 
181
The first line of the docstring should be a self-contained sentence.
 
182
 
 
183
For the special case of Command classes, this acts as the user-visible
 
184
documentation shown by the help command.
 
185
 
 
186
The docstrings should be formatted as reStructuredText_ (like this
 
187
document), suitable for processing using the epydoc_ tool into HTML
 
188
documentation.
 
189
 
 
190
.. _reStructuredText: http://docutils.sourceforge.net/rst.html
 
191
.. _epydoc: http://epydoc.sourceforge.net/
 
192
 
 
193
 
 
194
 
 
195
Coding style
 
196
============
676
197
 
677
198
Please write PEP-8__ compliant code.  
678
199
 
679
 
__ http://www.python.org/peps/pep-0008.html
680
 
 
681
200
One often-missed requirement is that the first line of docstrings
682
201
should be a self-contained one-sentence summary.
683
202
 
684
 
We use 4 space indents for blocks, and never use tab characters.  (In vim,
685
 
``set expandtab``.)
686
 
 
687
 
Lines should be no more than 79 characters if at all possible.
688
 
Lines that continue a long statement may be indented in either of 
689
 
two ways:
690
 
 
691
 
within the parenthesis or other character that opens the block, e.g.::
692
 
 
693
 
    my_long_method(arg1,
694
 
                   arg2,
695
 
                   arg3)
696
 
 
697
 
or indented by four spaces::
698
 
 
699
 
    my_long_method(arg1,
700
 
        arg2,
701
 
        arg3)
702
 
 
703
 
The first is considered clearer by some people; however it can be a bit
704
 
harder to maintain (e.g. when the method name changes), and it does not
705
 
work well if the relevant parenthesis is already far to the right.  Avoid
706
 
this::
707
 
 
708
 
     self.legbone.kneebone.shinbone.toebone.shake_it(one,
709
 
                                                     two,
710
 
                                                     three)
711
 
 
712
 
but rather ::
713
 
 
714
 
     self.legbone.kneebone.shinbone.toebone.shake_it(one,
715
 
         two,
716
 
         three)
717
 
 
718
 
or ::
719
 
 
720
 
     self.legbone.kneebone.shinbone.toebone.shake_it(
721
 
         one, two, three)
722
 
 
723
 
For long lists, we like to add a trailing comma and put the closing
724
 
character on the following line.  This makes it easier to add new items in
725
 
future::
726
 
 
727
 
    from bzrlib.goo import (
728
 
        jam,
729
 
        jelly,
730
 
        marmalade,
731
 
        )
732
 
 
733
 
There should be spaces between function paramaters, but not between the
734
 
keyword name and the value::
735
 
 
736
 
    call(1, 3, cheese=quark)
737
 
 
738
 
In emacs::
739
 
 
740
 
    ;(defface my-invalid-face
741
 
    ;  '((t (:background "Red" :underline t)))
742
 
    ;  "Face used to highlight invalid constructs or other uglyties"
743
 
    ;  )
744
 
 
745
 
    (defun my-python-mode-hook ()
746
 
     ;; setup preferred indentation style.
747
 
     (setq fill-column 79)
748
 
     (setq indent-tabs-mode nil) ; no tabs, never, I will not repeat
749
 
    ;  (font-lock-add-keywords 'python-mode
750
 
    ;                         '(("^\\s *\t" . 'my-invalid-face) ; Leading tabs
751
 
    ;                            ("[ \t]+$" . 'my-invalid-face)  ; Trailing spaces
752
 
    ;                            ("^[ \t]+$" . 'my-invalid-face)); Spaces only
753
 
    ;                          )
754
 
     )
755
 
 
756
 
    (add-hook 'python-mode-hook 'my-python-mode-hook)
757
 
 
758
 
The lines beginning with ';' are comments. They can be activated
759
 
if one want to have a strong notice of some tab/space usage
760
 
violations.
761
 
 
762
 
 
763
 
Module Imports
764
 
--------------
765
 
 
766
 
* Imports should be done at the top-level of the file, unless there is
767
 
  a strong reason to have them lazily loaded when a particular
768
 
  function runs.  Import statements have a cost, so try to make sure
769
 
  they don't run inside hot functions.
770
 
 
771
 
* Module names should always be given fully-qualified,
772
 
  i.e. ``bzrlib.hashcache`` not just ``hashcache``.
 
203
__ http://www.python.org/peps/pep-0008.html
 
204
 
773
205
 
774
206
 
775
207
Naming
776
208
------
777
209
 
778
 
Functions, methods or members that are "private" to bzrlib are given
779
 
a leading underscore prefix.  Names without a leading underscore are
780
 
public not just across modules but to programmers using bzrlib as an
781
 
API. As a consequence, a leading underscore is appropriate for names
782
 
exposed across modules but that are not to be exposed to bzrlib API
783
 
programmers.
 
210
Functions, methods or members that are in some sense "private" are given
 
211
a leading underscore prefix.  This is just a hint that code outside the
 
212
implementation should probably not use that interface.
784
213
 
785
214
We prefer class names to be concatenated capital words (``TestCase``)
786
215
and variables, methods and functions to be lowercase words joined by
795
224
inconsistency if other people use the full name.
796
225
 
797
226
 
798
 
Standard Names
 
227
Standard names
799
228
--------------
800
229
 
801
230
``revision_id`` not ``rev_id`` or ``revid``
902
331
object, rather than the real class.
903
332
 
904
333
 
905
 
Passing to Other Variables
 
334
Passing to other variables
906
335
~~~~~~~~~~~~~~~~~~~~~~~~~~
907
336
 
908
337
It also is incorrect to assign ``ImportReplacer`` objects to other variables.
913
342
variable, so some bugs are not detected right away.
914
343
 
915
344
 
916
 
The Null revision
917
 
-----------------
918
 
 
919
 
The null revision is the ancestor of all revisions.  Its revno is 0, its
920
 
revision-id is ``null:``, and its tree is the empty tree.  When referring
921
 
to the null revision, please use ``bzrlib.revision.NULL_REVISION``.  Old
922
 
code sometimes uses ``None`` for the null revision, but this practice is
923
 
being phased out.
924
 
 
925
 
 
926
 
Getting Input
927
 
=============
928
 
 
929
 
Processing Command Lines
930
 
------------------------
931
 
 
932
 
bzrlib has a standard framework for parsing command lines and calling
933
 
processing routines associated with various commands. See builtins.py
934
 
for numerous examples.
935
 
 
936
 
 
937
 
Standard Parameter Types
938
 
------------------------
939
 
 
940
 
There are some common requirements in the library: some parameters need to be
941
 
unicode safe, some need byte strings, and so on. At the moment we have
942
 
only codified one specific pattern: Parameters that need to be unicode
943
 
should be checked via ``bzrlib.osutils.safe_unicode``. This will coerce the
944
 
input into unicode in a consistent fashion, allowing trivial strings to be
945
 
used for programmer convenience, but not performing unpredictably in the
946
 
presence of different locales.
947
 
 
948
 
 
949
 
Writing Output
 
345
Writing output
950
346
==============
951
347
 
952
348
(The strategy described here is what we want to get to, but it's not
983
379
should be only in the command-line tool.
984
380
 
985
381
 
986
 
 
987
 
Displaying help
988
 
===============
989
 
 
990
 
Bazaar has online help for various topics through ``bzr help COMMAND`` or
991
 
equivalently ``bzr command -h``.  We also have help on command options,
992
 
and on other help topics.  (See ``help_topics.py``.)
993
 
 
994
 
As for python docstrings, the first paragraph should be a single-sentence
995
 
synopsis of the command.
996
 
 
997
 
The help for options should be one or more proper sentences, starting with
998
 
a capital letter and finishing with a full stop (period).
999
 
 
1000
 
All help messages and documentation should have two spaces between
1001
 
sentences.
1002
 
 
1003
 
 
1004
382
Writing tests
1005
383
=============
1006
384
 
1043
421
    process will not load plugins unless ``--allow-plugins`` is supplied.
1044
422
 
1045
423
 
1046
 
Test support
1047
 
------------
1048
 
 
1049
 
We have a rich collection of tools to support writing tests. Please use
1050
 
them in preference to ad-hoc solutions as they provide portability and
1051
 
performance benefits.
1052
 
 
1053
 
TreeBuilder
1054
 
~~~~~~~~~~~
1055
 
 
1056
 
The ``TreeBuilder`` interface allows the construction of arbitrary trees
1057
 
with a declarative interface. A sample session might look like::
1058
 
 
1059
 
  tree = self.make_branch_and_tree('path')
1060
 
  builder = TreeBuilder()
1061
 
  builder.start_tree(tree)
1062
 
  builder.build(['foo', "bar/", "bar/file"])
1063
 
  tree.commit('commit the tree')
1064
 
  builder.finish_tree()
1065
 
 
1066
 
Please see bzrlib.treebuilder for more details.
1067
 
 
1068
 
BranchBuilder
1069
 
~~~~~~~~~~~~~
1070
 
 
1071
 
The ``BranchBuilder`` interface allows the creation of test branches in a
1072
 
quick and easy manner. A sample session::
1073
 
 
1074
 
  builder = BranchBuilder(self.get_transport().clone('relpath'))
1075
 
  builder.build_commit()
1076
 
  builder.build_commit()
1077
 
  builder.build_commit()
1078
 
  branch = builder.get_branch()
1079
 
 
1080
 
Please see bzrlib.branchbuilder for more details.
1081
 
 
1082
424
Doctests
1083
425
--------
1084
426
 
1113
455
filter patterns to understand their effect.
1114
456
 
1115
457
 
1116
 
Handling Errors and Exceptions
1117
 
==============================
1118
 
 
1119
 
Commands should return non-zero when they encounter circumstances that
1120
 
the user should really pay attention to - which includes trivial shell
1121
 
pipelines.
1122
 
 
1123
 
Recommended values are:
1124
 
 
1125
 
    0. OK.
1126
 
    1. Conflicts in merge-like operations, or changes are present in
1127
 
       diff-like operations. 
1128
 
    2. Unrepresentable diff changes (i.e. binary files that we cannot show 
1129
 
       a diff of).
1130
 
    3. An error or exception has occurred.
1131
 
    4. An internal error occurred (one that shows a traceback.)
1132
 
 
1133
 
Errors are handled through Python exceptions. Exceptions should be defined
1134
 
inside bzrlib.errors, so that we can see the whole tree at a glance.
 
458
Errors and exceptions
 
459
=====================
 
460
 
 
461
Errors are handled through Python exceptions.
1135
462
 
1136
463
We broadly classify errors as either being either internal or not,
1137
 
depending on whether ``internal_error`` is set or not.  If we think it's our
 
464
depending on whether ``user_error`` is set or not.  If we think it's our
1138
465
fault, we show a backtrace, an invitation to report the bug, and possibly
1139
466
other details.  This is the default for errors that aren't specifically
1140
467
recognized as being caused by a user error.  Otherwise we show a briefer
1165
492
final fullstop.  If long, they may contain newlines to break the text.
1166
493
 
1167
494
 
1168
 
Documenting Changes
1169
 
===================
1170
 
 
1171
 
When you change bzrlib, please update the relevant documentation for the
1172
 
change you made: Changes to commands should update their help, and
1173
 
possibly end user tutorials; changes to the core library should be
1174
 
reflected in API documentation.
1175
 
 
1176
 
NEWS File
1177
 
---------
1178
 
 
1179
 
If you make a user-visible change, please add a note to the NEWS file.
1180
 
The description should be written to make sense to someone who's just
1181
 
a user of bzr, not a developer: new functions or classes shouldn't be
1182
 
mentioned, but new commands, changes in behaviour or fixed nontrivial
1183
 
bugs should be listed.  See the existing entries for an idea of what
1184
 
should be done.
1185
 
 
1186
 
Within each release, entries in the news file should have the most
1187
 
user-visible changes first.  So the order should be approximately:
1188
 
 
1189
 
 * changes to existing behaviour - the highest priority because the 
1190
 
   user's existing knowledge is incorrect
1191
 
 * new features - should be brought to their attention
1192
 
 * bug fixes - may be of interest if the bug was affecting them, and
1193
 
   should include the bug number if any
1194
 
 * major documentation changes
1195
 
 * changes to internal interfaces
1196
 
 
1197
 
People who made significant contributions to each change are listed in
1198
 
parenthesis.  This can include reporting bugs (particularly with good
1199
 
details or reproduction recipes), submitting patches, etc.
1200
 
 
1201
 
Commands
1202
 
--------
1203
 
 
1204
 
The docstring of a command is used by ``bzr help`` to generate help output
1205
 
for the command. The list 'takes_options' attribute on a command is used by
1206
 
``bzr help`` to document the options for the command - the command
1207
 
docstring does not need to document them. Finally, the '_see_also'
1208
 
attribute on a command can be used to reference other related help topics.
1209
 
 
1210
 
API Documentation
1211
 
-----------------
1212
 
 
1213
 
Functions, methods, classes and modules should have docstrings
1214
 
describing how they are used. 
1215
 
 
1216
 
The first line of the docstring should be a self-contained sentence.
1217
 
 
1218
 
For the special case of Command classes, this acts as the user-visible
1219
 
documentation shown by the help command.
1220
 
 
1221
 
The docstrings should be formatted as reStructuredText_ (like this
1222
 
document), suitable for processing using the epydoc_ tool into HTML
1223
 
documentation.
1224
 
 
1225
 
.. _reStructuredText: http://docutils.sourceforge.net/rst.html
1226
 
.. _epydoc: http://epydoc.sourceforge.net/
1227
 
 
1228
 
 
1229
 
General Guidelines
1230
 
==================
1231
 
 
1232
 
Copyright
1233
 
---------
1234
 
 
1235
 
The copyright policy for bzr was recently made clear in this email (edited
1236
 
for grammatical correctness)::
1237
 
 
1238
 
    The attached patch cleans up the copyright and license statements in
1239
 
    the bzr source. It also adds tests to help us remember to add them
1240
 
    with the correct text.
1241
 
 
1242
 
    We had the problem that lots of our files were "Copyright Canonical
1243
 
    Development Ltd" which is not a real company, and some other variations
1244
 
    on this theme. Also, some files were missing the GPL statements.
1245
 
    
1246
 
    I want to be clear about the intent of this patch, since copyright can
1247
 
    be a little controversial.
1248
 
    
1249
 
    1) The big motivation for this is not to shut out the community, but
1250
 
    just to clean up all of the invalid copyright statements.
1251
 
    
1252
 
    2) It has been the general policy for bzr that we want a single
1253
 
    copyright holder for all of the core code. This is following the model
1254
 
    set by the FSF, which makes it easier to update the code to a new
1255
 
    license in case problems are encountered. (For example, if we want to
1256
 
    upgrade the project universally to GPL v3 it is much simpler if there is
1257
 
    a single copyright holder). It also makes it clearer if copyright is
1258
 
    ever debated, there is a single holder, which makes it easier to defend
1259
 
    in court, etc. (I think the FSF position is that if you assign them
1260
 
    copyright, they can defend it in court rather than you needing to, and
1261
 
    I'm sure Canonical would do the same).
1262
 
    As such, Canonical has requested copyright assignments from all of the
1263
 
    major contributers.
1264
 
    
1265
 
    3) If someone wants to add code and not attribute it to Canonical, there
1266
 
    is a specific list of files that are excluded from this check. And the
1267
 
    test failure indicates where that is, and how to update it.
1268
 
    
1269
 
    4) If anyone feels that I changed a copyright statement incorrectly, just
1270
 
    let me know, and I'll be happy to correct it. Whenever you have large
1271
 
    mechanical changes like this, it is possible to make some mistakes.
1272
 
    
1273
 
    Just to reiterate, this is a community project, and it is meant to stay
1274
 
    that way. Core bzr code is copyright Canonical for legal reasons, and
1275
 
    the tests are just there to help us maintain that.
1276
 
 
1277
 
 
1278
 
Miscellaneous Topics
1279
 
####################
1280
495
 
1281
496
Debugging
1282
497
=========
1290
505
then bzr will go into pdb post-mortem mode when an unhandled exception
1291
506
occurs.
1292
507
 
1293
 
If you send a SIGQUIT signal to bzr, which can be done by pressing
1294
 
Ctrl-\\ on Unix, bzr will go into the debugger immediately.  You can
1295
 
continue execution by typing ``c``.  This can be disabled if necessary
1296
 
by setting the environment variable ``BZR_SIGQUIT_PDB=0``.
 
508
If you send a SIGQUIT signal to bzr, which can be done by pressing C-\ on Unix,
 
509
bzr will go into the debugger immediately.  You can continue execution by
 
510
typing ``c``.  This can be disabled if necessary by setting the
 
511
environment variable ``BZR_SIGQUIT_PDB=0``.
 
512
 
1297
513
 
1298
514
 
1299
515
Jargon
1305
521
    indexes into the branch's revision history.
1306
522
 
1307
523
 
 
524
Transport
 
525
=========
 
526
 
 
527
The ``Transport`` layer handles access to local or remote directories.
 
528
Each Transport object acts like a logical connection to a particular
 
529
directory, and it allows various operations on files within it.  You can
 
530
*clone* a transport to get a new Transport connected to a subdirectory or
 
531
parent directory.
 
532
 
 
533
Transports are not used for access to the working tree.  At present
 
534
working trees are always local and they are accessed through the regular
 
535
Python file io mechanisms.
 
536
 
 
537
filenames vs URLs
 
538
-----------------
 
539
 
 
540
Transports work in URLs.  Take note that URLs are by definition only
 
541
ASCII - the decision of how to encode a Unicode string into a URL must be
 
542
taken at a higher level, typically in the Store.  (Note that Stores also
 
543
escape filenames which cannot be safely stored on all filesystems, but
 
544
this is a different level.)
 
545
 
 
546
The main reason for this is that it's not possible to safely roundtrip a
 
547
URL into Unicode and then back into the same URL.  The URL standard
 
548
gives a way to represent non-ASCII bytes in ASCII (as %-escapes), but
 
549
doesn't say how those bytes represent non-ASCII characters.  (They're not
 
550
guaranteed to be UTF-8 -- that is common but doesn't happen everywhere.)
 
551
 
 
552
For example if the user enters the url ``http://example/%e0`` there's no
 
553
way to tell whether that character represents "latin small letter a with
 
554
grave" in iso-8859-1, or "latin small letter r with acute" in iso-8859-2
 
555
or malformed UTF-8.  So we can't convert their URL to Unicode reliably.
 
556
 
 
557
Equally problematic if we're given a url-like string containing non-ascii
 
558
characters (such as the accented a) we can't be sure how to convert that
 
559
to the correct URL, because we don't know what encoding the server expects
 
560
for those characters.  (Although this is not totally reliable we might still
 
561
accept these and assume they should be put into UTF-8.)
 
562
 
 
563
A similar edge case is that the url ``http://foo/sweet%2Fsour`` contains
 
564
one directory component whose name is "sweet/sour".  The escaped slash is
 
565
not a directory separator.  If we try to convert URLs to regular Unicode
 
566
paths this information will be lost.
 
567
 
 
568
This implies that Transports must natively deal with URLs; for simplicity
 
569
they *only* deal with URLs and conversion of other strings to URLs is done
 
570
elsewhere.  Information they return, such as from ``list_dir``, is also in
 
571
the form of URL components.
 
572
 
 
573
 
1308
574
Unicode and Encoding Support
1309
575
============================
1310
576
 
1371
637
Use ``bzrlib.osutils.rmtree`` instead.
1372
638
 
1373
639
 
 
640
Merge/review process
 
641
====================
 
642
 
 
643
If you'd like to propose a change, please post to the
 
644
bazaar@lists.canonical.com list with a patch, bzr changeset, or link to a
 
645
branch.  Please put '[patch]' in the subject so we can pick them out, and
 
646
include some text explaining the change.  Remember to put an update to the NEWS
 
647
file in your diff, if it makes any changes visible to users or plugin
 
648
developers.  Please include a diff against mainline if you're giving a link to
 
649
a branch.
 
650
 
 
651
Please indicate if you think the code is ready to merge, or if it's just a
 
652
draft or for discussion.  If you want comments from many developers rather than
 
653
to be merged, you can put '[rfc]' in the subject lines.
 
654
 
 
655
Anyone is welcome to review code.  There are broadly three gates for
 
656
code to get in:
 
657
 
 
658
 * Doesn't reduce test coverage: if it adds new methods or commands,
 
659
   there should be tests for them.  There is a good test framework
 
660
   and plenty of examples to crib from, but if you are having trouble
 
661
   working out how to test something feel free to post a draft patch
 
662
   and ask for help.
 
663
 
 
664
 * Doesn't reduce design clarity, such as by entangling objects
 
665
   we're trying to separate.  This is mostly something the more
 
666
   experienced reviewers need to help check.
 
667
 
 
668
 * Improves bugs, features, speed, or code simplicity.
 
669
 
 
670
Code that goes in should pass all three.
 
671
 
 
672
If you read a patch please reply and say so.  We can use a numeric scale
 
673
of -1, -0, +0, +1, meaning respectively "really don't want it in current
 
674
form", "somewhat uncomfortable", "ok with me", and "please put it in".
 
675
Anyone can "vote".   (It's not really voting, just a terse expression.)
 
676
 
 
677
If something gets say two +1 votes from core reviewers, and no
 
678
vetos, then it's OK to come in.  Any of the core developers can bring it
 
679
into their integration branch, which I'll merge regularly.  (If you do
 
680
so, please reply and say so.)
 
681
 
 
682
 
1374
683
C Extension Modules
1375
684
===================
1376
685
 
1409
718
maintaining the python code twice - once in the .pyx, and once in the .py,
1410
719
and no longer including the .py file.
1411
720
 
1412
 
 
1413
 
Making Installers for OS Windows
 
721
Making installers for OS Windows
1414
722
================================
1415
723
To build a win32 installer, see the instructions on the wiki page:
1416
724
http://bazaar-vcs.org/BzrWin32Installer
1417
725
 
1418
726
 
1419
 
Core Developer Tasks
1420
 
####################
1421
 
 
1422
 
Overview
1423
 
========
1424
 
 
1425
 
What is a Core Developer?
1426
 
-------------------------
1427
 
 
1428
 
While everyone in the Bazaar community is welcome and encouraged to
1429
 
propose and submit changes, a smaller team is reponsible for pulling those
1430
 
changes together into a cohesive whole. In addition to the general developer
1431
 
stuff covered above, "core" developers have responsibility for:
1432
 
 
1433
 
* reviewing changes
1434
 
* reviewing blueprints
1435
 
* planning releases
1436
 
* managing releases.
1437
 
 
1438
 
.. note::
1439
 
  Removing barriers to community participation is a key reason for adopting
1440
 
  distributed VCS technology. While DVCS removes many technical barriers,
1441
 
  a small number of social barriers are often necessary instead.
1442
 
  By documenting how the above things are done, we hope to
1443
 
  encourage more people to participate in these activities, keeping the
1444
 
  differences between core and non-core contributors to a minimum.
1445
 
 
1446
 
 
1447
 
The Development Lifecycle
1448
 
-------------------------
1449
 
 
1450
 
As a rule, Bazaar development follows a 4 week cycle:
1451
 
 
1452
 
* 2 weeks - general changes
1453
 
* 1 week - feature freeze
1454
 
* 1 week+ - Release Candidate stabilization
1455
 
 
1456
 
During the FeatureFreeze week, the trunk (bzr.dev) is open in a limited
1457
 
way: only low risk changes, critical and high priority fixes are accepted
1458
 
during this time. At the end of FeatureFreeze, a branch is created for the
1459
 
first Release Candidate and the trunk is reopened for general development
1460
 
on the *next* release. A week or so later, the final release is packaged
1461
 
assuming no serious problems were encountered with the one or more Release
1462
 
Candidates.
1463
 
 
1464
 
.. note::
1465
 
  There is a one week overlap between the start of one release and
1466
 
  the end of the previous one.
1467
 
 
1468
 
 
1469
 
Communicating and Coordinating
1470
 
------------------------------
1471
 
 
1472
 
While it has many advantages, one of the challenges of distributed
1473
 
development is keeping everyone else aware of what you're working on.
1474
 
There are numerous ways to do this:
1475
 
 
1476
 
#. Assign bugs to yourself in Launchpad
1477
 
#. Mention it on the mailing list
1478
 
#. Mention it on IRC
1479
 
 
1480
 
As well as the email notifcations that occur when merge requests are sent
1481
 
and reviewed, you can keep others informed of where you're spending your
1482
 
energy by emailing the **bazaar-commits** list implicitly. To do this,
1483
 
install and configure the Email plugin. One way to do this is add these
1484
 
configuration settings to your central configuration file (e.g.
1485
 
``~/.bazaar/bazaar.conf`` on Linux)::
1486
 
 
1487
 
  [DEFAULT]
1488
 
  email = Joe Smith <joe.smith@internode.on.net>
1489
 
  smtp_server = mail.internode.on.net:25
1490
 
 
1491
 
Then add these lines for the relevant branches in ``locations.conf``::
1492
 
 
1493
 
  post_commit_to = bazaar-commits@lists.canonical.com
1494
 
  post_commit_mailer = smtplib
1495
 
 
1496
 
While attending a sprint, RobertCollins' Dbus plugin is useful for the
1497
 
same reason. See the documentation within the plugin for information on
1498
 
how to set it up and configure it.
1499
 
 
1500
 
 
1501
 
Reviewing Changes
1502
 
=================
1503
 
 
1504
 
Setting Up Your Workspace for Reviews
1505
 
-------------------------------------
1506
 
 
1507
 
TODO: Incorporate John Arbash Meinel's detailed email to Ian C on the
1508
 
numerous ways of setting up integration branches.
1509
 
 
1510
 
 
1511
 
The Review Checklist
1512
 
--------------------
1513
 
 
1514
 
See `A Closer Look at the Merge & Review Process`_
1515
 
for information on the gates used to decide whether code can be merged
1516
 
or not and details on how review results are recorded and communicated.
1517
 
 
1518
 
 
1519
 
The Importance of Timely Reviews
1520
 
--------------------------------
1521
 
 
1522
 
Good reviews do take time. They also regularly require a solid
1523
 
understanding of the overall code base. In practice, this means a small
1524
 
number of people often have a large review burden - with knowledge comes
1525
 
responsibility. No one like their merge requests sitting in a queue going
1526
 
nowhere, so reviewing sooner rather than later is strongly encouraged.
1527
 
 
1528
 
 
1529
 
Submitting Changes
1530
 
==================
1531
 
 
1532
 
An Overview of PQM
1533
 
------------------
1534
 
 
1535
 
Of the many workflows supported by Bazaar, the one adopted for Bazaar
1536
 
development itself is known as "Decentralized with automatic gatekeeper".
1537
 
To repeat the explanation of this given on
1538
 
http://bazaar-vcs.org/Workflows:
1539
 
 
1540
 
.. pull-quote::
1541
 
  In this workflow, each developer has their own branch or
1542
 
  branches, plus read-only access to the mainline. A software gatekeeper
1543
 
  (e.g. PQM) has commit rights to the main branch. When a developer wants
1544
 
  their work merged, they request the gatekeeper to merge it. The gatekeeper
1545
 
  does a merge, a compile, and runs the test suite. If the code passes, it
1546
 
  is merged into the mainline.
1547
 
 
1548
 
In a nutshell, here's the overall submission process:
1549
 
 
1550
 
#. get your work ready (including review except for trivial changes)
1551
 
#. push to a public location
1552
 
#. ask PQM to merge from that location
1553
 
 
1554
 
.. note::
1555
 
  At present, PQM always takes the changes to merge from a branch
1556
 
  at a URL that can be read by it. For Bazaar, that means a public,
1557
 
  typically http, URL.
1558
 
 
1559
 
As a result, the following things are needed to use PQM for submissions:
1560
 
 
1561
 
#. A publicly available web server
1562
 
#. Your OpenPGP key registered with PQM (contact RobertCollins for this)
1563
 
#. The PQM plugin installed and configured (not strictly required but
1564
 
   highly recommended).
1565
 
 
1566
 
 
1567
 
Selecting a Public Branch Location
1568
 
----------------------------------
1569
 
 
1570
 
If you don't have your own web server running, branches can always be
1571
 
pushed to Launchpad. Here's the process for doing that:
1572
 
 
1573
 
Depending on your location throughout the world and the size of your
1574
 
repository though, it is often quicker to use an alternative public
1575
 
location to Launchpad, particularly if you can set up your own repo and
1576
 
push into that. By using an existing repo, push only needs to send the
1577
 
changes, instead of the complete repository every time. Note that it is
1578
 
easy to register branches in other locations with Launchpad so no benefits
1579
 
are lost by going this way.
1580
 
 
1581
 
.. note::
1582
 
  For Canonical staff, http://people.ubuntu.com/~<user>/ is one
1583
 
  suggestion for public http branches. Contact your manager for information
1584
 
  on accessing this system if required.
1585
 
 
1586
 
It should also be noted that best practice in this area is subject to
1587
 
change as things evolve. For example, once the Bazaar smart server on
1588
 
Launchpad supports server-side branching, the performance situation will
1589
 
be very different to what it is now (Jun 2007).
1590
 
 
1591
 
 
1592
 
Configuring the PQM Plug-In
1593
 
---------------------------
1594
 
 
1595
 
While not strictly required, the PQM plugin automates a few things and
1596
 
reduces the chance of error. Before looking at the plugin, it helps to
1597
 
understand  a little more how PQM operates. Basically, PQM requires an
1598
 
email indicating what you want it to do. The email typically looks like
1599
 
this::
1600
 
 
1601
 
  star-merge source-branch target-branch
1602
 
 
1603
 
For example::
1604
 
 
1605
 
  star-merge http://bzr.arbash-meinel.com/branches/bzr/jam-integration http://bazaar-vcs.org/bzr/bzr.dev
1606
 
 
1607
 
Note that the command needs to be on one line. The subject of the email
1608
 
will be used for the commit message. The email also needs to be ``gpg``
1609
 
signed with a key that PQM accepts.
1610
 
 
1611
 
The advantages of using the PQM plugin are:
1612
 
 
1613
 
#. You can use the config policies to make it easy to set up public
1614
 
   branches, so you don't have to ever type the full paths you want to merge
1615
 
   from or into.
1616
 
 
1617
 
#. It checks to make sure the public branch last revision matches the
1618
 
   local last revision so you are submitting what you think you are.
1619
 
 
1620
 
#. It uses the same public_branch and smtp sending settings as bzr-email,
1621
 
   so if you have one set up, you have the other mostly set up.
1622
 
 
1623
 
#. Thunderbird refuses to not wrap lines, and request lines are usually
1624
 
   pretty long (you have 2 long URLs in there).
1625
 
 
1626
 
Here are sample configuration settings for the PQM plugin. Here are the
1627
 
lines in bazaar.conf::
1628
 
 
1629
 
  [DEFAULT]
1630
 
  email = Joe Smith <joe.smith@internode.on.net>
1631
 
  smtp_server=mail.internode.on.net:25
1632
 
 
1633
 
And here are the lines in ``locations.conf`` (or ``branch.conf`` for
1634
 
dirstate-tags branches)::
1635
 
 
1636
 
  [/home/joe/bzr/my-integration]
1637
 
  push_location = sftp://joe-smith@bazaar.launchpad.net/%7Ejoe-smith/bzr/my-integration/
1638
 
  push_location:policy = norecurse
1639
 
  public_branch = http://bazaar.launchpad.net/~joe-smith/bzr/my-integration/
1640
 
  public_branch:policy = appendpath
1641
 
  pqm_email = Bazaar PQM <pqm@bazaar-vcs.org>
1642
 
  pqm_branch = http://bazaar-vcs.org/bzr/bzr.dev
1643
 
 
1644
 
Note that the push settings will be added by the first ``push`` on
1645
 
a branch. Indeed the preferred way to generate the lines above is to use
1646
 
``push`` with an argument, then copy-and-paste the other lines into
1647
 
the relevant file.
1648
 
 
1649
 
 
1650
 
Submitting a Change
1651
 
-------------------
1652
 
 
1653
 
Here is one possible recipe once the above environment is set up:
1654
 
 
1655
 
#. pull bzr.dev => my-integration
1656
 
#. merge patch => my-integration
1657
 
#. fix up any final merge conflicts (NEWS being the big killer here).
1658
 
#. commit
1659
 
#. push
1660
 
#. pqm-submit
1661
 
 
1662
 
.. note::
1663
 
  The ``push`` step is not required if ``my-integration`` is a checkout of
1664
 
  a public branch.
1665
 
 
1666
 
  Because of defaults, you can type a single message into commit and
1667
 
  pqm-commit will reuse that.
1668
 
 
1669
 
 
1670
 
Tracking Change Acceptance
1671
 
--------------------------
1672
 
 
1673
 
The web interface to PQM is https://pqm.bazaar-vcs.org/. After submitting
1674
 
a change, you can visit this URL to confirm it was received and placed in
1675
 
PQM's queue.
1676
 
 
1677
 
When PQM completes processing a change, an email is sent to you with the
1678
 
results.
1679
 
 
1680
 
 
1681
 
Reviewing Blueprints
1682
 
====================
1683
 
 
1684
 
Blueprint Tracking Using Launchpad
1685
 
----------------------------------
1686
 
 
1687
 
New features typically require a fair amount of discussion, design and
1688
 
debate. For Bazaar, that information is often captured in a so-called
1689
 
"blueprint" on our Wiki. Overall tracking of blueprints and their status
1690
 
is done using Launchpad's relevant tracker,
1691
 
https://blueprints.launchpad.net/bzr/. Once a blueprint for ready for
1692
 
review, please announce it on the mailing list.
1693
 
 
1694
 
Alternatively, send an email begining with [RFC] with the proposal to the
1695
 
list. In some cases, you may wish to attach proposed code  or a proposed
1696
 
developer document if that best communicates the idea. Debate can then
1697
 
proceed using the normal merge review processes.
1698
 
 
1699
 
 
1700
 
Recording Blueprint Review Feedback
1701
 
-----------------------------------
1702
 
 
1703
 
Unlike its Bug Tracker, Launchpad's Blueprint Tracker doesn't currently
1704
 
(Jun 2007) support a chronological list of comment responses. Review
1705
 
feedback can either be recorded on the Wiki hosting the blueprints or by
1706
 
using Launchpad's whiteboard feature.
1707
 
 
1708
 
 
1709
 
Planning Releases
1710
 
=================
1711
 
 
1712
 
Roadmaps
1713
 
--------
1714
 
 
1715
 
As the two senior developers, Martin Pool and Robert Collins coordinate
1716
 
the overall Bazaar product development roadmap. Core developers provide
1717
 
input and review into this, particularly during sprints. It's totally
1718
 
expected that community members ought to be working on things that
1719
 
interest them the most. The roadmap is valuable though because it provides
1720
 
context for understanding where the product is going as a whole and why.
1721
 
 
1722
 
 
1723
 
Using Releases and Milestones in Launchpad
1724
 
------------------------------------------
1725
 
 
1726
 
TODO ... (Exact policies still under discussion)
1727
 
 
1728
 
 
1729
 
Bug Triage
1730
 
----------
1731
 
 
1732
 
Keeping on top of bugs reported is an important part of ongoing release
1733
 
planning. Everyone in the community is welcome and encouraged to raise
1734
 
bugs, confirm bugs raised by others, and nominate a priority. Practically
1735
 
though, a good percentage of bug triage is often done by the core
1736
 
developers, partially because of their depth of product knowledge.
1737
 
 
1738
 
With respect to bug triage, core developers are encouraged to play an
1739
 
active role with particular attention to the following tasks:
1740
 
 
1741
 
* keeping the number of unconfirmed bugs low
1742
 
* ensuring the priorities are generally right (everything as critical - or
1743
 
  medium - is meaningless)
1744
 
* looking out for regressions and turning those around sooner rather than later.
1745
 
 
1746
 
.. note::
1747
 
  As well as prioritizing bugs and nominating them against a
1748
 
  target milestone, Launchpad lets core developers offer to mentor others in
1749
 
  fixing them. Nice.
1750
 
 
1751
 
 
1752
 
Managing a Release
1753
 
==================
1754
 
 
1755
 
Starting a Release
1756
 
------------------
1757
 
 
1758
 
To start a new release cycle:
1759
 
 
1760
 
#. Send mail to the list with the key dates, who will be the release
1761
 
   manager, and the main themes or targetted bugs.  Ask people to nominate
1762
 
   objectives, or point out an high-risk things that are best done early,
1763
 
   or that interact with other changes.
1764
 
 
1765
 
#. Add a new "series" in Launchpad at <https://launchpad.net/bzr/+addseries>.  There is one 
1766
 
   series for every *x.y* release.
1767
 
 
1768
 
Weekly Status Updates
1769
 
---------------------
1770
 
 
1771
 
TODO: Things to cover:
1772
 
 
1773
 
* Early communication to downstream teams (e.g. Launchpad) about changes in dependencies.
1774
 
* Reminder re lifecycle and where we're up to right now
1775
 
* Summary of recent successes and pending work
1776
 
* Reminder re release objectives
1777
 
* Reminder re things needing attention, e.g. bug triage, reviews, testing of certain things, etc.
1778
 
 
1779
 
 
1780
 
Feature Freeze
1781
 
--------------
1782
 
 
1783
 
TODO: Get material from http://bazaar-vcs.org/FeatureFreeze.
1784
 
 
1785
 
 
1786
 
 
1787
 
Making a Release or Release Candidate
1788
 
-------------------------------------
1789
 
 
1790
 
.. Was previously at http://bazaar-vcs.org/ReleaseChecklist
1791
 
 
1792
 
.. TODO: Still needs more clarity on what's in a RC versus a final
1793
 
.. release?
1794
 
 
1795
 
.. TODO: Too much of this is manual but could be automated...
1796
 
 
1797
 
This is the procedure for making a new bzr release:
1798
 
 
1799
 
#. If the release is the first candidate, make a new branch in PQM. (Contact RobertCollins for this step).
1800
 
 
1801
 
   Register the branch at https://launchpad.net/products/bzr/+addbranch
1802
 
 
1803
 
#. Run the automatic test suite and any non-automated tests.  (For example, try a download over http; these should eventually be scripted though not automatically run.). Try to have all optional dependencies installed so that there are no tests skipped. Also make sure that you have the c extensions compiled (``make`` or ``python setup.py build_ext -i``).
1804
 
 
1805
 
#. In the release branch, update  ``version_info`` in ``./bzrlib/__init__.py``
1806
 
 
1807
 
#. Add the date and release number to ``./NEWS``.
1808
 
 
1809
 
#. Update the release number in the README. (It's not there as of 0.15, but please check).
1810
 
 
1811
 
#. Commit these changes to the release branch, using a command like::
1812
 
    
1813
 
     bzr commit -m "(jam) Release 0.12rc1." 
1814
 
   
1815
 
   The diff before you commit will be something like::
1816
 
 
1817
 
       === modified file 'NEWS'
1818
 
       --- NEWS        2006-10-23 13:11:17 +0000
1819
 
       +++ NEWS        2006-10-23 22:50:50 +0000
1820
 
       @@ -1,4 +1,4 @@
1821
 
       -IN DEVELOPMENT
1822
 
       +bzr 0.12rc1  2006-10-23
1823
 
 
1824
 
          IMPROVEMENTS:
1825
 
 
1826
 
 
1827
 
       === modified file 'bzrlib/__init__.py'
1828
 
       --- bzrlib/__init__.py  2006-10-16 01:47:43 +0000
1829
 
       +++ bzrlib/__init__.py  2006-10-23 22:49:46 +0000
1830
 
       @@ -35,7 +35,7 @@
1831
 
        # Python version 2.0 is (2, 0, 0, 'final', 0)."  Additionally we use a
1832
 
        # releaselevel of 'dev' for unreleased under-development code.
1833
 
 
1834
 
       -version_info = (0, 12, 0, 'dev', 0)
1835
 
       +version_info = (0, 12, 0, 'candidate', 1)
1836
 
 
1837
 
        if version_info[3] == 'final':
1838
 
            version_string = '%d.%d.%d' % version_info[:3]
1839
 
 
1840
 
#. Send the changes to PQM, to update the official master branch.
1841
 
 
1842
 
#. When PQM succeeds, pull down the master release branch.
1843
 
 
1844
 
#. Merge the release branch back into the trunk.  Check that changes in NEWS were merged into the right sections.  If it's not already done, advance the version number in bzr and bzrlib/__init__.py Submit this back into pqm for bzr.dev.
1845
 
 
1846
 
#. Make a distribution directory by running e.g. ``bzr export /tmp/bzr-<version>/`` in the working directory.
1847
 
 
1848
 
#. Run make in /tmp/bzr-<version>. This creates the extensions from the pyrex source.
1849
 
 
1850
 
#. Run the test suite in the distribution directory
1851
 
 
1852
 
#. Run ``setup.py install`` --root=prefix to do a test install into your system directory, home directory, or some other prefix.  Check the install worked and that the installed version is usable. (run the bzr script from the installed path with PYTHONPATH set to the site-packages directory it created). i.e. ::
1853
 
 
1854
 
    python setup.py install --root=installed
1855
 
    PYTHONPATH=installed/usr/lib/python2.4/site-packages installed/usr/bin/bzr
1856
 
 
1857
 
#. Clean the tree to get rid of .pyc files etc: make clean && rm -rf build && rm bzrlib/_*.c bzrlib/_*.so
1858
 
 
1859
 
#. Generate the reference documentation in text format: make doc/en/user-reference/bzr_man.txt.
1860
 
 
1861
 
#. Change back to your original branch and then run: make clean && make to create the compiled pyrex extensions.  You then need to copy the .c files over to the exported directory. 
1862
 
   
1863
 
   ``find . -name "*.c"`` will tell you which files you need.
1864
 
 
1865
 
#. Create the release tarball::
1866
 
   
1867
 
     cd /tmp && tar czf bzr-<version>.tar.gz bzr-<version>
1868
 
 
1869
 
#. Sign the tarball with e.g. ``gpg --detach-sign -a bzr-0.10rc1.tar.gz``
1870
 
 
1871
 
 
1872
 
Publishing the release
1873
 
----------------------
1874
 
 
1875
 
Now you have the releasable product.  The next step is making it
1876
 
available to the world.
1877
 
 
1878
 
#. In <https://launchpad.net/bzr/> click the "Release series" for this
1879
 
   series, to take you to e.g. <https://launchpad.net/bzr/1.1>.  Then
1880
 
   click "Register a release", and add information about this release.
1881
 
 
1882
 
#. Within that release, upload the source tarball and the GPG signature.
1883
 
 
1884
 
   (These used to also be uploaded to 
1885
 
   <sftp://escudero.ubuntu.com/srv/bazaar.canonical.com/www/releases/src>
1886
 
   but that's not accessible to all developers, and gets some mime types
1887
 
   wrong...)
1888
 
 
1889
 
#. Link from http://bazaar-vcs.org/Download to the tarball and signature.
1890
 
 
1891
 
#. Update http://doc.bazaar-vcs.org/ to have a directory of documentation
1892
 
   for this release.  (Controlled by the ``update-bzr-docs`` script on
1893
 
   escudero, and also update the ``latest`` symlink in
1894
 
   ``/srv/bazaar.canonical.com/doc/``.)
1895
 
 
1896
 
#. Announce on the `Bazaar home page`__
1897
 
   
1898
 
 __ http://bazaar-vcs.org/
1899
 
 
1900
 
 
1901
 
Announcing the release
1902
 
----------------------
1903
 
 
1904
 
Now that the release is publicly available, tell people about it.
1905
 
 
1906
 
#. Announce to ``bazaar-announce`` and ``bazaar`` mailing lists. 
1907
 
   The announce mail will look something like this:
1908
 
   
1909
 
    | Subject: bzr 0.11 release candidate 1
1910
 
    | 
1911
 
    | INTRO HERE. Mention the release number and date, and why the release. (i.e. release candidate for testing, final release of a version, backport/bugfix etc).
1912
 
    | 
1913
 
    | Tarballs:
1914
 
    | http://bazaar-vcs.org/releases/src/bzr-VERSION.tar.gz
1915
 
    | and GPG signature:
1916
 
    | http://bazaar-vcs.org/releases/src/bzr-VERSION.tar.gz.sig
1917
 
    | 
1918
 
    | DESCRIBE-CHANGES-IN-OVERVIEW-HERE
1919
 
    | 
1920
 
    | DESCRIBE-when the next release will be (if there is another - i.e. this is a release candidate)
1921
 
    | 
1922
 
    | Many thanks to all the contributors to this release! I've included the
1923
 
    | contents of NEWS for VERSION below:
1924
 
 
1925
 
   To generate the data from NEWS, just copy and paste the relevant news section and clean it up as appropriate. The main clean-up task is to confirm that all major changes are indeed covered. This can be done by running ``bzr log`` back to the point when the branch was opened and cross checking the changes against the NEWS entries.
1926
 
 
1927
 
   (RC announcements should remind plugin maintainers to update their plugins.)
1928
 
 
1929
 
     * For point releases (i.e. a release candidate, or an incremental fix to a released version) take everything in the relevant NEWS secion : for 0.11rc2 take everything in NEWS from the bzr 0.11rc2 line to the bzr 0.11rc1 line further down.
1930
 
 
1931
 
     * For major releases (i.e. 0.11, 0.12 etc), take all the combined NEWS sections from within that version: for 0.11 take all of the 0.11 specific section, plus 0.11rc2, plus 0.11rc1 etc.
1932
 
 
1933
 
#. Update the `news side menu`__ -- this currently requires downloading the file, editing it, deleting it, and uploading a replacement.
1934
 
 
1935
 
   __ http://bazaar-vcs.org/site/menu?action=AttachFile&do=view&target=news.html
1936
 
 
1937
 
#. Update the IRC channel topic. Use the ``/topic`` command to do this, ensuring the new topic text keeps the project name, web site link, etc.
1938
 
 
1939
 
#. Announce on http://freshmeat.net/projects/bzr/
1940
 
   
1941
 
   This should be done for both release candidates and final releases. If you do not have a Freshmeat account yet, ask one of the existing admins.
1942
 
 
1943
 
#. Update http://en.wikipedia.org/wiki/Bzr -- this should be done for final releases but not Release Candidates.
1944
 
 
1945
 
#. Package maintainers should update packages when they see the
1946
 
   announcement.
1947
 
 
1948
 
#. Blog about it.
1949
 
 
1950
 
#. Post to http://mail.python.org/mailman/listinfo/python-announce-list for major releases
1951
 
 
1952
 
#. Update the python package index: <http://pypi.python.org/pypi/bzr> - best
1953
 
   done by running ::
1954
 
 
1955
 
       python setup.py register
1956
 
 
1957
 
   Remember to check the results afterwards.
1958
 
 
1959
 
 
1960
 
Making Win32 installers
1961
 
-----------------------
1962
 
 
1963
 
**XXX:** This information is now probably obsolete, as Alexander uploads
1964
 
direct to Launchpad.  --mbp 20080116
1965
 
 
1966
 
Alexander Belchenko has been very good about getting packaged installers compiled (see Win32ReleaseChecklist for details). He generally e-mails John Arbash Meinel when they are ready. This is just a brief checklist of what needs to be done.
1967
 
 
1968
 
#. Download and verify the sha1 sums and gpg signatures. Frequently the sha1 files are in dos mode, and need to be converted to unix mode (strip off the trailing ``\r``) before they veryify correctly.
1969
 
 
1970
 
#. Upload to the Launchpad page for this release.
1971
 
 
1972
 
#. Upload to escudero (to the b.c.c/www/releases/win32 directory) using sftp, lftp or rsync
1973
 
 
1974
 
#. Cat the contents of the .sha1 files into the SHA1SUM.
1975
 
 
1976
 
#. Update the SHA1SUM and MD5SUM files using something like ``md5sum bzr-0.14.0.win32.exe >> MD5SUM``. Make sure you use append (>>) rather than overwrite (>).
1977
 
 
1978
 
#. Verify once again that everything is correct with ``sha1sum -c SHA1SUM`` and ``md5sum -c MD5SUM``.
1979
 
 
1980
 
#. Update ``.htaccess`` so that the 'bzr-latest.win32.exe' links point to the latest release. This is not done for candidate releases, only for final releases. (example: bzr-0.14.0, but not bzr-0.14.0rc1).
1981
 
 
1982
 
#. Make sure these urls work as expected:
1983
 
 
1984
 
   http://bazaar-vcs.org/releases/win32/bzr-latest.win32-py2.5.exe
1985
 
 
1986
 
   http://bazaar-vcs.org/releases/win32/bzr-latest.win32-py2.5.exe.asc
1987
 
 
1988
 
   http://bazaar-vcs.org/releases/win32/bzr-latest.win32-py2.4.exe
1989
 
 
1990
 
   http://bazaar-vcs.org/releases/win32/bzr-latest.win32-py2.4.exe.asc
1991
 
 
1992
 
   http://bazaar-vcs.org/releases/win32/bzr-setup-latest.exe
1993
 
 
1994
 
   http://bazaar-vcs.org/releases/win32/bzr-setup-latest.exe.asc
1995
 
   
1996
 
They should all try to download a file with the correct version number.
1997
 
 
1998
 
#. Update http://bazaar-vcs.org/Download to indicate the newly available versions.
1999
 
 
2000
 
#. Update http://bazaar-vcs.org/WindowsDownloads to have the correct version number as well as the correct sha1sum displayed.
2001
 
 
2002
 
 
2003
 
..
2004
 
   vim: ft=rst tw=74 ai
 
727
:: vim: ft=rst tw=74 ai