~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to HACKING

Optimize common case where unique_lcs returns a set of lines all in a row

Show diffs side-by-side

added added

removed removed

Lines of Context:
5
5
.. contents::
6
6
 
7
7
(The current version of this document is available in the file ``HACKING``
8
 
in the source tree, or at http://doc.bazaar-vcs.org/current/hacking.html)
 
8
in the source tree, or at http://bazaar-ng.org/hacking.html)
9
9
 
10
10
Overall
11
11
=======
38
38
  pipelines.
39
39
 
40
40
  Recommended values are 
41
 
    0. OK, 
42
 
    1. Conflicts in merge-like operations, or changes are present in
 
41
    0- OK, 
 
42
    1- Conflicts in merge-like operations, or changes are present in
43
43
       diff-like operations. 
44
 
    2. Unrepresentable diff changes (i.e. binary files that we cannot show 
 
44
    2- Unrepresentable diff changes (i.e. binary files that we cannot show 
45
45
       a diff of).
46
 
    3. An error or exception has occurred.
 
46
    3- An error or exception has occurred.
47
47
 
48
48
Evolving interfaces
49
49
-------------------
56
56
applies to modules and classes.
57
57
 
58
58
If you wish to change the behaviour of a supported API in an incompatible
59
 
way, you need to change its name as well. For instance, if I add an optional keyword
 
59
way, you need to change its name as well. For instance, if I add a optional keyword
60
60
parameter to branch.commit - that's fine. On the other hand, if I add a
61
61
keyword parameter to branch.commit which is a *required* transaction
62
62
object, I should rename the API - i.e. to 'branch.commit_transaction'. 
67
67
details for you - such as updating the docstring, and issuing a warning
68
68
when the old api is used.
69
69
 
70
 
For unsupported API's, it does not hurt to follow this discipline, but it's
 
70
For unsupported API's, it does not hurt to follow this discipline, but its
71
71
not required. Minimally though, please try to rename things so that
72
72
callers will at least get an AttributeError rather than weird results.
73
73
 
78
78
There are some common requirements in the library: some parameters need to be
79
79
unicode safe, some need byte strings, and so on. At the moment we have
80
80
only codified one specific pattern: Parameters that need to be unicode
81
 
should be checked via ``bzrlib.osutils.safe_unicode``. This will coerce the
 
81
should be check via 'bzrlib.osutils.safe_unicode'. This will coerce the
82
82
input into unicode in a consistent fashion, allowing trivial strings to be
83
83
used for programmer convenience, but not performing unpredictably in the
84
84
presence of different locales.
85
85
 
86
 
 
87
 
Copyright
88
 
---------
89
 
 
90
 
The copyright policy for bzr was recently made clear in this email (edited
91
 
for grammatical correctness)::
92
 
 
93
 
    The attached patch cleans up the copyright and license statements in
94
 
    the bzr source. It also adds tests to help us remember to add them
95
 
    with the correct text.
96
 
 
97
 
    We had the problem that lots of our files were "Copyright Canonical
98
 
    Development Ltd" which is not a real company, and some other variations
99
 
    on this theme. Also, some files were missing the GPL statements.
100
 
    
101
 
    I want to be clear about the intent of this patch, since copyright can
102
 
    be a little controversial.
103
 
    
104
 
    1) The big motivation for this is not to shut out the community, but
105
 
    just to clean up all of the invalid copyright statements.
106
 
    
107
 
    2) It has been the general policy for bzr that we want a single
108
 
    copyright holder for all of the core code. This is following the model
109
 
    set by the FSF, which makes it easier to update the code to a new
110
 
    license in case problems are encountered. (For example, if we want to
111
 
    upgrade the project universally to GPL v3 it is much simpler if there is
112
 
    a single copyright holder). It also makes it clearer if copyright is
113
 
    ever debated, there is a single holder, which makes it easier to defend
114
 
    in court, etc. (I think the FSF position is that if you assign them
115
 
    copyright, they can defend it in court rather than you needing to, and
116
 
    I'm sure Canonical would do the same).
117
 
    As such, Canonical has requested copyright assignments from all of the
118
 
    major contributers.
119
 
    
120
 
    3) If someone wants to add code and not attribute it to Canonical, there
121
 
    is a specific list of files that are excluded from this check. And the
122
 
    test failure indicates where that is, and how to update it.
123
 
    
124
 
    4) If anyone feels that I changed a copyright statement incorrectly, just
125
 
    let me know, and I'll be happy to correct it. Whenever you have large
126
 
    mechanical changes like this, it is possible to make some mistakes.
127
 
    
128
 
    Just to reiterate, this is a community project, and it is meant to stay
129
 
    that way. Core bzr code is copyright Canonical for legal reasons, and
130
 
    the tests are just there to help us maintain that.
131
 
 
132
 
 
133
86
Documentation
134
87
=============
135
88
 
241
194
    may not catch every case but it's still useful sometimes.
242
195
 
243
196
 
244
 
Factories
245
 
---------
246
 
 
247
 
In some places we have variables which point to callables that construct
248
 
new instances.  That is to say, they can be used a lot like class objects,
249
 
but they shouldn't be *named* like classes:
250
 
 
251
 
> I think that things named FooBar should create instances of FooBar when
252
 
> called. Its plain confusing for them to do otherwise. When we have
253
 
> something that is going to be used as a class - that is, checked for via
254
 
> isinstance or other such idioms, them I would call it foo_class, so that
255
 
> it is clear that a callable is not sufficient. If it is only used as a
256
 
> factory, then yes, foo_factory is what I would use.
257
 
 
258
 
 
259
 
Registries
260
 
----------
261
 
 
262
 
Several places in Bazaar use (or will use) a registry, which is a 
263
 
mapping from names to objects or classes.  The registry allows for 
264
 
loading in registered code only when it's needed, and keeping
265
 
associated information such as a help string or description.
266
 
 
267
 
 
268
 
Lazy Imports
269
 
------------
270
 
 
271
 
To make startup time faster, we use the ``bzrlib.lazy_import`` module to
272
 
delay importing modules until they are actually used. ``lazy_import`` uses
273
 
the same syntax as regular python imports. So to import a few modules in a
274
 
lazy fashion do::
275
 
 
276
 
  from bzrlib.lazy_import import lazy_import
277
 
  lazy_import(globals(), """
278
 
  import os
279
 
  import subprocess
280
 
  import sys
281
 
  import time
282
 
 
283
 
  from bzrlib import (
284
 
     errors,
285
 
     transport,
286
 
     revision as _mod_revision,
287
 
     )
288
 
  import bzrlib.transport
289
 
  import bzrlib.xml5
290
 
  """)
291
 
 
292
 
At this point, all of these exist as a ``ImportReplacer`` object, ready to
293
 
be imported once a member is accessed. Also, when importing a module into
294
 
the local namespace, which is likely to clash with variable names, it is
295
 
recommended to prefix it as ``_mod_<module>``. This makes it clean that
296
 
the variable is a module, and these object should be hidden anyway, since
297
 
they shouldn't be imported into other namespaces.
298
 
 
299
 
 
300
 
Modules versus Members
301
 
~~~~~~~~~~~~~~~~~~~~~~
302
 
 
303
 
While it is possible for ``lazy_import()`` to import members of a module
304
 
when using the ``from module import member`` syntax, it is recommended to
305
 
only use that syntax to load sub modules ``from module import submodule``.
306
 
This is because variables and classes can frequently be used without
307
 
needing a sub-member for example::
308
 
 
309
 
  lazy_import(globals(), """
310
 
  from module import MyClass
311
 
  """)
312
 
 
313
 
  def test(x):
314
 
      return isinstance(x, MyClass)
315
 
 
316
 
This will incorrectly fail, because ``MyClass`` is a ``ImportReplacer``
317
 
object, rather than the real class.
318
 
 
319
 
 
320
 
Passing to other variables
321
 
~~~~~~~~~~~~~~~~~~~~~~~~~~
322
 
 
323
 
It also is incorrect to assign ``ImportReplacer`` objects to other variables.
324
 
Because the replacer only knows about the original name, it is unable to
325
 
replace other variables. The ``ImportReplacer`` class will raise an
326
 
``IllegalUseOfScopeReplacer`` exception if it can figure out that this
327
 
happened. But it requires accessing a member more than once from the new
328
 
variable, so some bugs are not detected right away.
329
 
 
330
 
 
331
197
Writing output
332
198
==============
333
199
 
367
233
 
368
234
Writing tests
369
235
=============
370
 
 
371
236
In general tests should be placed in a file named test_FOO.py where 
372
237
FOO is the logical thing under test. That file should be placed in the
373
238
tests subdirectory under the package being tested.
380
245
option, then you should be writing a UI test.  If you are both adding UI
381
246
functionality and library functionality, you will want to write tests for 
382
247
both the UI and the core behaviours.  We call UI tests 'blackbox' tests
383
 
and they are found in ``bzrlib/tests/blackbox/*.py``. 
 
248
and they are found in bzrlib/tests/blackbox/*.py. 
384
249
 
385
250
When writing blackbox tests please honour the following conventions:
386
251
 
399
264
    the command. We do this so that the library api has continual pressure
400
265
    on it to be as functional as the command line in a simple manner, and
401
266
    to isolate knock-on effects throughout the blackbox test suite when a
402
 
    command changes its name or signature. Ideally only the tests for a
 
267
    command changes it name or signature. Ideally only the tests for a
403
268
    given command are affected when a given command is changed.
404
269
 
405
 
 4. If you have a test which does actually require running bzr in a
406
 
    subprocess you can use ``run_bzr_subprocess``. By default the spawned
407
 
    process will not load plugins unless ``--allow-plugins`` is supplied.
408
 
 
409
 
 
410
 
Doctests
411
 
--------
412
 
 
413
 
We make selective use of doctests__.  In general they should provide 
414
 
*examples* within the API documentation which can incidentally be tested.  We 
415
 
don't try to test every important case using doctests -- regular Python
416
 
tests are generally a better solution.
417
 
 
418
 
Most of these are in ``bzrlib/doc/api``.  More additions are welcome.
419
 
 
420
 
  __ http://docs.python.org/lib/module-doctest.html
421
 
 
422
 
 
423
270
Running tests
424
271
=============
425
272
Currently, bzr selftest is used to invoke tests.
428
275
 
429
276
  ./bzr selftest -v blackbox
430
277
 
431
 
To skip a particular test (or set of tests), you need to use a negative
432
 
match, like so::
433
 
 
434
 
  ./bzr selftest '^(?!.*blackbox)'  
435
 
 
436
278
 
437
279
Errors and exceptions
438
280
=====================
439
281
 
440
 
Errors are handled through Python exceptions.
441
 
 
442
 
We broadly classify errors as either being either internal or not,
443
 
depending on whether ``user_error`` is set or not.  If we think it's our
444
 
fault, we show a backtrace, an invitation to report the bug, and possibly
445
 
other details.  This is the default for errors that aren't specifically
446
 
recognized as being caused by a user error.  Otherwise we show a briefer
447
 
message, unless -Derror was given.
448
 
 
449
 
Many errors originate as "environmental errors" which are raised by Python
450
 
or builtin libraries -- for example IOError.  These are treated as being
451
 
our fault, unless they're caught in a particular tight scope where we know
452
 
that they indicate a user errors.  For example if the repository format
453
 
is not found, the user probably gave the wrong path or URL.  But if one of
454
 
the files inside the repository is not found, then it's our fault --
455
 
either there's a bug in bzr, or something complicated has gone wrong in
456
 
the environment that means one internal file was deleted.
457
 
 
458
 
Many errors are defined in ``bzrlib/errors.py`` but it's OK for new errors
459
 
to be added near the place where they are used.
460
 
 
461
 
Exceptions are formatted for the user by conversion to a string
462
 
(eventually calling their ``__str__`` method.)  As a convenience the
463
 
``._fmt`` member can be used as a template which will be mapped to the
464
 
error's instance dict.
465
 
 
466
 
New exception classes should be defined when callers might want to catch
467
 
that exception specifically, or when it needs a substantially different
468
 
format string.
469
 
 
470
 
Exception strings should start with a capital letter and should not have a
471
 
final fullstop.  If long, they may contain newlines to break the text.
472
 
 
 
282
Errors are handled through Python exceptions.  They can represent user
 
283
errors, environmental errors or program bugs.  Sometimes we can't be sure
 
284
at the time it's raised which case applies.  See bzrlib/errors.py for 
 
285
details on the error-handling practices.
473
286
 
474
287
 
475
288
Jargon
520
333
for those characters.  (Although this is not totally reliable we might still
521
334
accept these and assume they should be put into UTF-8.)
522
335
 
523
 
A similar edge case is that the url ``http://foo/sweet%2Fsour`` contains
 
336
A similar edge case is that the url ``http://foo/sweet%2Fsour" contains
524
337
one directory component whose name is "sweet/sour".  The escaped slash is
525
338
not a directory separator.  If we try to convert URLs to regular Unicode
526
339
paths this information will be lost.
531
344
the form of URL components.
532
345
 
533
346
 
534
 
Unicode and Encoding Support
535
 
============================
536
 
 
537
 
This section discusses various techniques that Bazaar uses to handle
538
 
characters that are outside the ASCII set.
539
 
 
540
 
``Command.outf``
541
 
----------------
542
 
 
543
 
When a ``Command`` object is created, it is given a member variable
544
 
accessible by ``self.outf``.  This is a file-like object, which is bound to
545
 
``sys.stdout``, and should be used to write information to the screen,
546
 
rather than directly writing to ``sys.stdout`` or calling ``print``.
547
 
This file has the ability to translate Unicode objects into the correct
548
 
representation, based on the console encoding.  Also, the class attribute
549
 
``encoding_type`` will effect how unprintable characters will be
550
 
handled.  This parameter can take one of 3 values:
551
 
 
552
 
  replace
553
 
    Unprintable characters will be represented with a suitable replacement
554
 
    marker (typically '?'), and no exception will be raised. This is for
555
 
    any command which generates text for the user to review, rather than
556
 
    for automated processing.
557
 
    For example: ``bzr log`` should not fail if one of the entries has text
558
 
    that cannot be displayed.
559
 
  
560
 
  strict
561
 
    Attempting to print an unprintable character will cause a UnicodeError.
562
 
    This is for commands that are intended more as scripting support, rather
563
 
    than plain user review.
564
 
    For exampl: ``bzr ls`` is designed to be used with shell scripting. One
565
 
    use would be ``bzr ls --null --unknows | xargs -0 rm``.  If ``bzr``
566
 
    printed a filename with a '?', the wrong file could be deleted. (At the
567
 
    very least, the correct file would not be deleted). An error is used to
568
 
    indicate that the requested action could not be performed.
569
 
  
570
 
  exact
571
 
    Do not attempt to automatically convert Unicode strings. This is used
572
 
    for commands that must handle conversion themselves.
573
 
    For example: ``bzr diff`` needs to translate Unicode paths, but should
574
 
    not change the exact text of the contents of the files.
575
 
 
576
 
 
577
 
``bzrlib.urlutils.unescape_for_display``
578
 
----------------------------------------
579
 
 
580
 
Because Transports work in URLs (as defined earlier), printing the raw URL
581
 
to the user is usually less than optimal. Characters outside the standard
582
 
set are printed as escapes, rather than the real character, and local
583
 
paths would be printed as ``file://`` urls. The function
584
 
``unescape_for_display`` attempts to unescape a URL, such that anything
585
 
that cannot be printed in the current encoding stays an escaped URL, but
586
 
valid characters are generated where possible.
587
 
 
588
 
 
589
347
Merge/review process
590
348
====================
591
349
 
629
387
so, please reply and say so.)
630
388
 
631
389
 
632
 
Making installers for OS Windows
633
 
================================
634
 
To build a win32 installer, see the instructions on the wiki page:
635
 
http://bazaar-vcs.org/BzrWin32Installer
636
 
 
637
 
 
638
 
:: vim: ft=rst tw=74 ai
 
390
:: vim:tw=74:ai