~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to doc/developers/overview.txt

  • Committer: Vincent Ladeuil
  • Date: 2010-12-07 10:16:53 UTC
  • mto: (5575.1.1 trunk)
  • mto: This revision was merged to the branch mainline in revision 5576.
  • Revision ID: v.ladeuil+lp@free.fr-20101207101653-20iiufih26buvmy3
Use assertLength as it provides a better ouput to debug tests.

Show diffs side-by-side

added added

removed removed

Lines of Context:
5
5
This document describes the key classes and concepts within Bazaar.  It is
6
6
intended to be useful to people working on the Bazaar codebase, or to
7
7
people writing plugins.  People writing plugins may also like to read the 
8
 
guide to `Integrating with Bazaar <integration.html>`_ for some specific recipes.
9
 
 
10
 
There's some overlap between this and the `Core Concepts`_ section of the
11
 
user guide, but this document is targetted to people interested in the
12
 
internals.  In particular the user guide doesn't go any deeper than
13
 
"revision", because regular users don't care about lower-level details
14
 
like inventories, but this guide does.
 
8
guide to `Integrating with Bazaar <integration.html>`_ for some specific
 
9
recipes.
15
10
 
16
11
If you have any questions, or if something seems to be incorrect, unclear
17
 
or missing, please talk to us in ``irc://irc.freenode.net/#bzr``, write to
18
 
the Bazaar mailing list, or simply file a bug report.
19
 
 
20
 
 
21
 
IDs and keys
 
12
or missing, please talk to us in ``irc://irc.freenode.net/#bzr``, or write
 
13
to the Bazaar mailing list.  
 
14
 
 
15
 
 
16
Using bzrlib
22
17
############
23
18
 
24
 
IDs
25
 
===
26
 
 
27
 
All IDs are globally unique identifiers.  Inside bzrlib they are almost
28
 
always represented as UTF-8 encoded bytestrings (i.e. ``str`` objects).
29
 
 
30
 
The main two IDs are:
31
 
 
32
 
:Revision IDs: The unique identifier of a single revision, such as
33
 
  ``pqm@pqm.ubuntu.com-20110201161347-ao76mv267gc1b5v2``
34
 
:File IDs: The unique identifier of a single file.
35
 
 
36
 
By convention, in the bzrlib API, parameters of methods that are expected
37
 
to be IDs (as opposed to keys, revision numbers, or some other handle)
38
 
will end in ``id``, e.g.  ``revid`` or ``file_id``.
39
 
 
40
 
Ids may be stored directly or they can be inferred from other
41
 
data. Native Bazaar formats store ids directly; foreign VCS
42
 
support usually generates them somehow. For example, the
43
 
Git commit with SHA ``fb235a3be6372e40ff7f7ebbcd7905a08cb04444``
44
 
is referred to with the revision ID
45
 
``git-v1:fb235a3be6372e40ff7f7ebbcd7905a08cb04444``. IDs are expected
46
 
to be persistent
47
 
 
48
 
File ids
49
 
--------
50
 
 
51
 
File ids are unique identifiers for files. There are three slightly different
52
 
categories of file ids.
53
 
 
54
 
Tree file ids
55
 
~~~~~~~~~~~~~
56
 
 
57
 
Tree file ids are used in the ``Tree`` API and can either be UTF-8 encoded
58
 
bytestrings or tuples of UTF-8 encoded bytestrings. Plain bytestrings
59
 
are considered to be the equivalent of a 1-tuple containing that
60
 
bytestring.
61
 
 
62
 
Tree file ids should be considered valid only for a specific tree context.
63
 
Note that this is a stricter interpretation than what the current bzr
64
 
format implementation provides - its file ids are persistent across runs
65
 
and across revisions.
66
 
 
67
 
For some formats (most notably bzr's own formats) it's possible for the
68
 
implementation to specify the file id to use. In other case the tree
69
 
mandates a specific file id.
70
 
 
71
 
Inventory file ids
72
 
~~~~~~~~~~~~~~~~~~
73
 
 
74
 
Inventories are specific to the bzr native format and are the main layer
75
 
below the ``Tree`` implementation of bzr. File ids in inventories can
76
 
only be UTF-8 encoded bytestrings. A single Tree object can be associated
77
 
with multiple inventories if there are nested trees.
78
 
 
79
 
Tree file ids for bzr formats are a tuple of inventory file ids for the file
80
 
in question. Each non-last item in the tuple refers to the tree
81
 
reference of an inner tree. The last item in the tuple refers to the
82
 
actual file. This means that lookups of file ids doesn't scale with
83
 
the number of nested trees.
84
 
 
85
 
Inventory file ids are only relevant for native Bazaar formats; foreign
86
 
formats don't use inventories.
87
 
 
88
 
Transform ids
89
 
~~~~~~~~~~~~~
90
 
 
91
 
Transform ids are used during tree transform operations (used by e.g. merge).
92
 
The same transform id is expected to be used for two instances of the
93
 
same file. At the moment transform ids are directly derived from file
94
 
ids, but in the future they could be based on other data too (e.g.
95
 
automatic rename detection or format-specific rules).
96
 
 
97
 
Keys
98
 
====
99
 
 
100
 
A composite of one or more ID elements.  E.g. a (file-id, revision-id)
101
 
pair is the key to the "texts" store, but a single element key of
102
 
(revision-id) is the key to the "revisions" store.
 
19
Within bzr
 
20
==========
 
21
 
 
22
When using bzrlib within the ``bzr`` program (for instance as a bzr
 
23
plugin), bzrlib's global state is already available for use.
 
24
 
 
25
From outside bzr
 
26
================
 
27
 
 
28
To use bzrlib outside of ``bzr`` some global state needs to be setup.
 
29
bzrlib needs ways to handle user input, passwords, a place to emit
 
30
progress bars, logging setup appropriately for your program. The easiest
 
31
way to set all this up in the same fashion ``bzr`` does is to call
 
32
``bzrlib.initialize``. This returns a context manager within which bzrlib
 
33
functions will work correctly. See the pydoc for ``bzrlib.initialize`` for
 
34
more information. In Python 2.4 the ``with`` keyword is not supported and
 
35
so you need to use the context manager manually::
 
36
 
 
37
  # This sets up your ~/.bzr.log, ui factory and so on and so forth. It is
 
38
  # not safe to use as a doctest.
 
39
  library_state = bzrlib.initialize()
 
40
  library_state.__enter__()
 
41
  try:
 
42
      pass
 
43
      # do stuff here
 
44
  finally:
 
45
      library_state.__exit__(None, None, None)
103
46
 
104
47
 
105
48
Core classes
155
98
elsewhere.  Information that Transports return, such as from ``list_dir``,
156
99
is also in the form of URL components.
157
100
 
158
 
More information
159
 
----------------
160
 
 
161
 
See also:
162
 
 
163
 
* `Developer guide to bzrlib transports <transports.html>`_ 
164
 
* API docs for ``bzrlib.transport.Transport``
165
 
 
166
 
Control directory
167
 
=================
168
 
 
169
 
Each control directory (such as ".bzr/") can contain zero or one
170
 
repositories, zero or one working trees and zero or more branches.
171
 
 
172
 
The ``BzrDir`` class is the ``ControlDir`` implementation that is
173
 
responsible for the ".bzr/" directory and its implementation. Plugins
174
 
that provide support for other version control systems can provide
175
 
other subclasses of ``ControlDir``.
176
 
 
177
 
Tree
178
 
====
179
 
 
180
 
A representation of a directory of files (and other directories and
181
 
symlinks etc).  The most important kinds of Tree are:
182
 
 
183
 
:WorkingTree: the files on disk editable by the user
184
 
:RevisionTree: a tree as recorded at some point in the past
185
 
 
186
 
Trees can map file paths to file-ids and vice versa (although trees such
187
 
as WorkingTree may have unversioned files not described in that mapping).
188
 
Trees have an inventory and parents (an ordered list of zero or more
189
 
revision IDs).
190
 
 
191
 
The implementation of ``Tree`` for Bazaar's own formats is based around
192
 
``Inventory`` objects which describe the shape of the tree. Each tree has
193
 
at least one inventory associated with it, which is available as the
194
 
``root_inventory`` attribute on tree. The tree can have more inventories
195
 
associated with it if there are references to other trees in it. These
196
 
references are indicated with ``tree-reference`` inventory entry at the
197
 
point where the other tree is nested. The tree reference entry contains
198
 
sufficient information for looking up the inventory associated with the
199
 
nested tree. There can be multiple layers of nesting.
200
 
 
201
 
Not each ``Tree`` implementation will necessarily have an associated
202
 
``root_inventory``, as not all implementations of ``Tree`` are based
203
 
around inventories (most notably, implementations of foreign VCS file
204
 
formats).
205
101
 
206
102
WorkingTree
207
103
===========
211
107
 
212
108
Responsibilities:
213
109
 
214
 
* Maintaining a WorkingTree on disk at a file path.
215
 
* Maintaining the basis inventory (the inventory of the last commit done)
216
 
* Maintaining the working inventory.
217
 
* Maintaining the pending merges list.
218
 
* Maintaining the stat cache.
219
 
* Maintaining the last revision the working tree was updated to.
220
 
* Knows where its Branch is located.
 
110
 * Maintaining a WorkingTree on disk at a file path.
 
111
 * Maintaining the basis inventory (the inventory of the last commit done)
 
112
 * Maintaining the working inventory.
 
113
 * Maintaining the pending merges list.
 
114
 * Maintaining the stat cache.
 
115
 * Maintaining the last revision the working tree was updated to.
 
116
 * Knows where its Branch is located.
221
117
 
222
118
Dependencies:
223
119
 
224
 
* a Branch
225
 
* local access to the working tree
226
 
 
 
120
 * a Branch
 
121
 * an MutableInventory
 
122
 * local access to the working tree
227
123
 
228
124
Branch
229
125
======
233
129
 
234
130
A Branch is responsible for:
235
131
 
236
 
* Holding user preferences that are set in a Branch.
237
 
* Holding the 'tip': the last revision to be committed to this Branch.
238
 
  (And the revno of that revision.)
239
 
* Knowing how to open the Repository that holds its history.
240
 
* Allowing write locks to be taken out to prevent concurrent alterations to the branch.
 
132
 * Holding user preferences that are set in a Branch.
 
133
 * Holding the 'tip': the last revision to be committed to this Branch. (And the revno of that revision.)
 
134
 * Knowing how to open the Repository that holds its history.
 
135
 * Allowing write locks to be taken out to prevent concurrent alterations to the branch.
241
136
 
242
137
Depends on:
243
 
 
244
 
* URL access to its base directory.
245
 
* A Transport to access its files.
246
 
* A Repository to hold its history.
247
 
 
 
138
 * URL access to its base directory.
 
139
 * A Transport to access its files.
 
140
 * A Repository to hold its history.
248
141
 
249
142
Repository
250
143
==========
253
146
and graph relationships between them.  A repository holds a bag of
254
147
revision data that can be pointed to by various branches:
255
148
 
256
 
* Maintains storage of various history data at a URL:
257
 
  
258
 
  * Revisions (Must have a matching inventory)
259
 
  * Digital Signatures
260
 
  * Inventories for each Revision. (Must have all the file texts available).
261
 
  * File texts
262
 
 
263
 
* Synchronizes concurrent access to the repository by different
264
 
  processes.  (Most repository implementations use a physical mutex only
265
 
  for a short period, and effectively support multiple readers and
266
 
  writers.)
 
149
 * Maintains storage of various history data at a URL:
 
150
 
 
151
   * Revisions (Must have a matching inventory)
 
152
   * Digital Signatures
 
153
   * Inventories for each Revision. (Must have all the file texts available).
 
154
   * File texts
 
155
 
 
156
 * Synchronizes concurrent access to the repository by different
 
157
   processes.  (Most repository implementations use a physical 
 
158
   mutex only for a short period, and effectively support multiple readers
 
159
   and writers.)
267
160
 
268
161
Stacked Repositories
269
162
--------------------
292
185
server exposes the stacked-on URL and the client can open that.
293
186
 
294
187
 
295
 
Storage model
296
 
#############
297
 
 
298
 
This section describes the model for how bzr stores its data.  The
299
 
representation of that data on disk varies considerable depending on the
300
 
format of the repository (and to a lesser extent the format of the branch
301
 
and working tree), but ultimately the set of objects being represented is
302
 
the same.
303
 
 
304
 
Branch
305
 
======
306
 
 
307
 
A branch directly contains:
308
 
 
309
 
* the ID of the current revision that branch (a.k.a. the “tip”)
310
 
* some settings for that branch (the values in “branch.conf”)
311
 
* the set of tags for that branch (not supported in all formats)
312
 
 
313
 
A branch implicitly references:
314
 
 
315
 
* A repository.  The repository might be colocated in the same directory
316
 
  as the branch, or it might be somewhere else entirely.
317
 
 
318
 
 
319
 
Repository
320
 
==========
321
 
 
322
 
A repository contains:
323
 
 
324
 
* a revision store
325
 
* an inventory store
326
 
* a text store
327
 
* a signature store
328
 
 
329
 
A store is a key-value mapping.  This says nothing about the layout on
330
 
disk, just that conceptually there are distinct stores, each with a
331
 
separate namespace for the keys.  Internally the repository may serialize
332
 
stores in the same file, and/or e.g. apply compression algorithms that
333
 
combine records from separate stores in one block, etc.
334
 
 
335
 
You can consider the repository as a single key space, with keys that look
336
 
like *(store-name, ...)*.  For example, *('revisions',
337
 
revision-id)* or *('texts', revision-id, file-id)*.
338
 
 
339
 
Revision store
340
 
--------------
341
 
 
342
 
Stores revision objects.  The keys are GUIDs.  The value is a revision
343
 
object (the exact representation on disk depends on the repository
344
 
format).
345
 
 
346
 
As described in `Core Concepts`_ a revision describes a snapshot of the
347
 
tree of files and some metadata about them.
348
 
 
349
 
* metadata:
350
 
 
351
 
  * parent revisions (an ordered sequence of zero or more revision IDs)
352
 
  * commit message
353
 
  * author(s)
354
 
  * timestamp
355
 
  * (and all other revision properties)
356
 
 
357
 
* an inventory ID (that inventory describes the tree contents).  Is often
358
 
  the same as the revision ID, but doesn't have to be (e.g. if no files
359
 
  were changed between two revisions then both revisions will refer to
360
 
  the same inventory).
361
 
 
362
 
 
363
 
Inventory store
364
 
---------------
365
 
 
366
 
Stores inventory objects.  The keys are GUIDs.  (Footnote: there will
367
 
usually be a revision with the same key in the revision store, but there
368
 
are rare cases where this is not true.)
369
 
 
370
 
An inventory object contains:
371
 
 
372
 
* a set of inventory entries
373
 
 
374
 
An inventory entry has the following attributes
375
 
 
376
 
* a file-id (a GUID, or the special value TREE_ROOT for the root entry of
377
 
  inventories created by older versions of bzr)
378
 
* a revision-id, a GUID (generally corresponding to the ID of a
379
 
  revision).  The combination of (file-id, revision-id) is a key into the
380
 
  texts store.
381
 
* a kind: one of file, directory, symlink, tree-reference (tree-reference
382
 
  is only supported in unsupported developer formats)
383
 
* parent-id: the file-id of the directory that contains this entry (this
384
 
  value is unset for the root of the tree).
385
 
* name: the name of the file/directory/etc in that parent directory
386
 
* executable: a flag indicating if the executable bit is set for that
387
 
  file.
388
 
 
389
 
An inventory entry will have other attributes, depending on the kind:
390
 
 
391
 
* file:
392
 
 
393
 
  * SHA1
394
 
  * size
395
 
 
396
 
* directory
397
 
 
398
 
  * children
399
 
 
400
 
* symlink
401
 
 
402
 
  * symlink_target
403
 
 
404
 
* tree-reference
405
 
 
406
 
  * reference_revision
407
 
 
408
 
For some more details see `Inventories <inventory.html>`_.
409
 
 
410
 
 
411
 
Texts store
412
 
-----------
413
 
 
414
 
Stores the contents of individual versions of files.  The keys are pairs
415
 
of (file-id, revision-id), and the values are the full content (or
416
 
"text") of a version of a file.
417
 
 
418
 
For consistency/simplicity text records exist for all inventory entries,
419
 
but in general only entries with of kind "file" have interesting records.
420
 
 
421
 
 
422
 
Signature store
423
 
---------------
424
 
 
425
 
Stores cryptographic signatures of revision contents.  The keys match
426
 
those of the revision store.
427
 
 
428
 
.. _Core Concepts: http://doc.bazaar.canonical.com/latest/en/user-guide/core_concepts.html
429
 
 
430
188
..
431
189
   vim: ft=rst tw=74 ai