~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to HACKING

Optimize Tree._iter_changes with specific file_ids

Show diffs side-by-side

added added

removed removed

Lines of Context:
5
5
.. contents::
6
6
 
7
7
(The current version of this document is available in the file ``HACKING``
8
 
in the source tree, or at http://bazaar-ng.org/hacking.html)
 
8
in the source tree, or at http://doc.bazaar-vcs.org/current/hacking.html)
9
9
 
10
10
Overall
11
11
=======
38
38
  pipelines.
39
39
 
40
40
  Recommended values are 
41
 
    0- OK, 
42
 
    1- Conflicts in merge-like operations, or changes are present in
 
41
    0. OK, 
 
42
    1. Conflicts in merge-like operations, or changes are present in
43
43
       diff-like operations. 
44
 
    2- Unrepresentable diff changes (i.e. binary files that we cannot show 
 
44
    2. Unrepresentable diff changes (i.e. binary files that we cannot show 
45
45
       a diff of).
46
 
    3- An error or exception has occurred.
 
46
    3. An error or exception has occurred.
47
47
 
48
48
Evolving interfaces
49
49
-------------------
56
56
applies to modules and classes.
57
57
 
58
58
If you wish to change the behaviour of a supported API in an incompatible
59
 
way, you need to change its name as well. For instance, if I add a optional keyword
 
59
way, you need to change its name as well. For instance, if I add an optional keyword
60
60
parameter to branch.commit - that's fine. On the other hand, if I add a
61
61
keyword parameter to branch.commit which is a *required* transaction
62
62
object, I should rename the API - i.e. to 'branch.commit_transaction'. 
67
67
details for you - such as updating the docstring, and issuing a warning
68
68
when the old api is used.
69
69
 
70
 
For unsupported API's, it does not hurt to follow this discipline, but its
 
70
For unsupported API's, it does not hurt to follow this discipline, but it's
71
71
not required. Minimally though, please try to rename things so that
72
72
callers will at least get an AttributeError rather than weird results.
73
73
 
78
78
There are some common requirements in the library: some parameters need to be
79
79
unicode safe, some need byte strings, and so on. At the moment we have
80
80
only codified one specific pattern: Parameters that need to be unicode
81
 
should be check via 'bzrlib.osutils.safe_unicode'. This will coerce the
 
81
should be checked via ``bzrlib.osutils.safe_unicode``. This will coerce the
82
82
input into unicode in a consistent fashion, allowing trivial strings to be
83
83
used for programmer convenience, but not performing unpredictably in the
84
84
presence of different locales.
85
85
 
 
86
 
 
87
Copyright
 
88
---------
 
89
 
 
90
The copyright policy for bzr was recently made clear in this email (edited
 
91
for grammatical correctness)::
 
92
 
 
93
    The attached patch cleans up the copyright and license statements in
 
94
    the bzr source. It also adds tests to help us remember to add them
 
95
    with the correct text.
 
96
 
 
97
    We had the problem that lots of our files were "Copyright Canonical
 
98
    Development Ltd" which is not a real company, and some other variations
 
99
    on this theme. Also, some files were missing the GPL statements.
 
100
    
 
101
    I want to be clear about the intent of this patch, since copyright can
 
102
    be a little controversial.
 
103
    
 
104
    1) The big motivation for this is not to shut out the community, but
 
105
    just to clean up all of the invalid copyright statements.
 
106
    
 
107
    2) It has been the general policy for bzr that we want a single
 
108
    copyright holder for all of the core code. This is following the model
 
109
    set by the FSF, which makes it easier to update the code to a new
 
110
    license in case problems are encountered. (For example, if we want to
 
111
    upgrade the project universally to GPL v3 it is much simpler if there is
 
112
    a single copyright holder). It also makes it clearer if copyright is
 
113
    ever debated, there is a single holder, which makes it easier to defend
 
114
    in court, etc. (I think the FSF position is that if you assign them
 
115
    copyright, they can defend it in court rather than you needing to, and
 
116
    I'm sure Canonical would do the same).
 
117
    As such, Canonical has requested copyright assignments from all of the
 
118
    major contributers.
 
119
    
 
120
    3) If someone wants to add code and not attribute it to Canonical, there
 
121
    is a specific list of files that are excluded from this check. And the
 
122
    test failure indicates where that is, and how to update it.
 
123
    
 
124
    4) If anyone feels that I changed a copyright statement incorrectly, just
 
125
    let me know, and I'll be happy to correct it. Whenever you have large
 
126
    mechanical changes like this, it is possible to make some mistakes.
 
127
    
 
128
    Just to reiterate, this is a community project, and it is meant to stay
 
129
    that way. Core bzr code is copyright Canonical for legal reasons, and
 
130
    the tests are just there to help us maintain that.
 
131
 
 
132
 
86
133
Documentation
87
134
=============
88
135
 
209
256
> factory, then yes, foo_factory is what I would use.
210
257
 
211
258
 
 
259
Registries
 
260
----------
 
261
 
 
262
Several places in Bazaar use (or will use) a registry, which is a 
 
263
mapping from names to objects or classes.  The registry allows for 
 
264
loading in registered code only when it's needed, and keeping
 
265
associated information such as a help string or description.
 
266
 
 
267
 
 
268
Lazy Imports
 
269
------------
 
270
 
 
271
To make startup time faster, we use the ``bzrlib.lazy_import`` module to
 
272
delay importing modules until they are actually used. ``lazy_import`` uses
 
273
the same syntax as regular python imports. So to import a few modules in a
 
274
lazy fashion do::
 
275
 
 
276
  from bzrlib.lazy_import import lazy_import
 
277
  lazy_import(globals(), """
 
278
  import os
 
279
  import subprocess
 
280
  import sys
 
281
  import time
 
282
 
 
283
  from bzrlib import (
 
284
     errors,
 
285
     transport,
 
286
     revision as _mod_revision,
 
287
     )
 
288
  import bzrlib.transport
 
289
  import bzrlib.xml5
 
290
  """)
 
291
 
 
292
At this point, all of these exist as a ``ImportReplacer`` object, ready to
 
293
be imported once a member is accessed. Also, when importing a module into
 
294
the local namespace, which is likely to clash with variable names, it is
 
295
recommended to prefix it as ``_mod_<module>``. This makes it clean that
 
296
the variable is a module, and these object should be hidden anyway, since
 
297
they shouldn't be imported into other namespaces.
 
298
 
 
299
 
 
300
Modules versus Members
 
301
~~~~~~~~~~~~~~~~~~~~~~
 
302
 
 
303
While it is possible for ``lazy_import()`` to import members of a module
 
304
when using the ``from module import member`` syntax, it is recommended to
 
305
only use that syntax to load sub modules ``from module import submodule``.
 
306
This is because variables and classes can frequently be used without
 
307
needing a sub-member for example::
 
308
 
 
309
  lazy_import(globals(), """
 
310
  from module import MyClass
 
311
  """)
 
312
 
 
313
  def test(x):
 
314
      return isinstance(x, MyClass)
 
315
 
 
316
This will incorrectly fail, because ``MyClass`` is a ``ImportReplacer``
 
317
object, rather than the real class.
 
318
 
 
319
 
 
320
Passing to other variables
 
321
~~~~~~~~~~~~~~~~~~~~~~~~~~
 
322
 
 
323
It also is incorrect to assign ``ImportReplacer`` objects to other variables.
 
324
Because the replacer only knows about the original name, it is unable to
 
325
replace other variables. The ``ImportReplacer`` class will raise an
 
326
``IllegalUseOfScopeReplacer`` exception if it can figure out that this
 
327
happened. But it requires accessing a member more than once from the new
 
328
variable, so some bugs are not detected right away.
 
329
 
 
330
 
212
331
Writing output
213
332
==============
214
333
 
248
367
 
249
368
Writing tests
250
369
=============
 
370
 
251
371
In general tests should be placed in a file named test_FOO.py where 
252
372
FOO is the logical thing under test. That file should be placed in the
253
373
tests subdirectory under the package being tested.
260
380
option, then you should be writing a UI test.  If you are both adding UI
261
381
functionality and library functionality, you will want to write tests for 
262
382
both the UI and the core behaviours.  We call UI tests 'blackbox' tests
263
 
and they are found in bzrlib/tests/blackbox/*.py. 
 
383
and they are found in ``bzrlib/tests/blackbox/*.py``. 
264
384
 
265
385
When writing blackbox tests please honour the following conventions:
266
386
 
279
399
    the command. We do this so that the library api has continual pressure
280
400
    on it to be as functional as the command line in a simple manner, and
281
401
    to isolate knock-on effects throughout the blackbox test suite when a
282
 
    command changes it name or signature. Ideally only the tests for a
 
402
    command changes its name or signature. Ideally only the tests for a
283
403
    given command are affected when a given command is changed.
284
404
 
 
405
 4. If you have a test which does actually require running bzr in a
 
406
    subprocess you can use ``run_bzr_subprocess``. By default the spawned
 
407
    process will not load plugins unless ``--allow-plugins`` is supplied.
 
408
 
 
409
 
285
410
Doctests
286
411
--------
287
412
 
305
430
 
306
431
To skip a particular test (or set of tests), you need to use a negative
307
432
match, like so::
 
433
 
308
434
  ./bzr selftest '^(?!.*blackbox)'  
309
435
 
310
436
 
311
437
Errors and exceptions
312
438
=====================
313
439
 
314
 
Errors are handled through Python exceptions.  They can represent user
315
 
errors, environmental errors or program bugs.  Sometimes we can't be sure
316
 
at the time it's raised which case applies.  See bzrlib/errors.py for 
317
 
details on the error-handling practices.
 
440
Errors are handled through Python exceptions.
 
441
 
 
442
We broadly classify errors as either being either internal or not,
 
443
depending on whether ``user_error`` is set or not.  If we think it's our
 
444
fault, we show a backtrace, an invitation to report the bug, and possibly
 
445
other details.  This is the default for errors that aren't specifically
 
446
recognized as being caused by a user error.  Otherwise we show a briefer
 
447
message, unless -Derror was given.
 
448
 
 
449
Many errors originate as "environmental errors" which are raised by Python
 
450
or builtin libraries -- for example IOError.  These are treated as being
 
451
our fault, unless they're caught in a particular tight scope where we know
 
452
that they indicate a user errors.  For example if the repository format
 
453
is not found, the user probably gave the wrong path or URL.  But if one of
 
454
the files inside the repository is not found, then it's our fault --
 
455
either there's a bug in bzr, or something complicated has gone wrong in
 
456
the environment that means one internal file was deleted.
 
457
 
 
458
Many errors are defined in ``bzrlib/errors.py`` but it's OK for new errors
 
459
to be added near the place where they are used.
 
460
 
 
461
Exceptions are formatted for the user by conversion to a string
 
462
(eventually calling their ``__str__`` method.)  As a convenience the
 
463
``._fmt`` member can be used as a template which will be mapped to the
 
464
error's instance dict.
 
465
 
 
466
New exception classes should be defined when callers might want to catch
 
467
that exception specifically, or when it needs a substantially different
 
468
format string.
 
469
 
 
470
Exception strings should start with a capital letter and should not have a
 
471
final fullstop.  If long, they may contain newlines to break the text.
 
472
 
318
473
 
319
474
 
320
475
Jargon
365
520
for those characters.  (Although this is not totally reliable we might still
366
521
accept these and assume they should be put into UTF-8.)
367
522
 
368
 
A similar edge case is that the url ``http://foo/sweet%2Fsour" contains
 
523
A similar edge case is that the url ``http://foo/sweet%2Fsour`` contains
369
524
one directory component whose name is "sweet/sour".  The escaped slash is
370
525
not a directory separator.  If we try to convert URLs to regular Unicode
371
526
paths this information will be lost.
376
531
the form of URL components.
377
532
 
378
533
 
 
534
Unicode and Encoding Support
 
535
============================
 
536
 
 
537
This section discusses various techniques that Bazaar uses to handle
 
538
characters that are outside the ASCII set.
 
539
 
 
540
``Command.outf``
 
541
----------------
 
542
 
 
543
When a ``Command`` object is created, it is given a member variable
 
544
accessible by ``self.outf``.  This is a file-like object, which is bound to
 
545
``sys.stdout``, and should be used to write information to the screen,
 
546
rather than directly writing to ``sys.stdout`` or calling ``print``.
 
547
This file has the ability to translate Unicode objects into the correct
 
548
representation, based on the console encoding.  Also, the class attribute
 
549
``encoding_type`` will effect how unprintable characters will be
 
550
handled.  This parameter can take one of 3 values:
 
551
 
 
552
  replace
 
553
    Unprintable characters will be represented with a suitable replacement
 
554
    marker (typically '?'), and no exception will be raised. This is for
 
555
    any command which generates text for the user to review, rather than
 
556
    for automated processing.
 
557
    For example: ``bzr log`` should not fail if one of the entries has text
 
558
    that cannot be displayed.
 
559
  
 
560
  strict
 
561
    Attempting to print an unprintable character will cause a UnicodeError.
 
562
    This is for commands that are intended more as scripting support, rather
 
563
    than plain user review.
 
564
    For exampl: ``bzr ls`` is designed to be used with shell scripting. One
 
565
    use would be ``bzr ls --null --unknows | xargs -0 rm``.  If ``bzr``
 
566
    printed a filename with a '?', the wrong file could be deleted. (At the
 
567
    very least, the correct file would not be deleted). An error is used to
 
568
    indicate that the requested action could not be performed.
 
569
  
 
570
  exact
 
571
    Do not attempt to automatically convert Unicode strings. This is used
 
572
    for commands that must handle conversion themselves.
 
573
    For example: ``bzr diff`` needs to translate Unicode paths, but should
 
574
    not change the exact text of the contents of the files.
 
575
 
 
576
 
 
577
``bzrlib.urlutils.unescape_for_display``
 
578
----------------------------------------
 
579
 
 
580
Because Transports work in URLs (as defined earlier), printing the raw URL
 
581
to the user is usually less than optimal. Characters outside the standard
 
582
set are printed as escapes, rather than the real character, and local
 
583
paths would be printed as ``file://`` urls. The function
 
584
``unescape_for_display`` attempts to unescape a URL, such that anything
 
585
that cannot be printed in the current encoding stays an escaped URL, but
 
586
valid characters are generated where possible.
 
587
 
 
588
 
379
589
Merge/review process
380
590
====================
381
591
 
419
629
so, please reply and say so.)
420
630
 
421
631
 
 
632
Making installers for OS Windows
 
633
================================
 
634
To build a win32 installer, see the instructions on the wiki page:
 
635
http://bazaar-vcs.org/BzrWin32Installer
 
636
 
 
637
 
422
638
:: vim: ft=rst tw=74 ai