~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to TODO

Refactoring blackbox tests into a package, rather than just a single file.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
                                                 -*- indented-text -*-
 
1
.. -*- mode: indented-text; compile-command: "make -C doc" -*-
 
2
 
 
3
 
 
4
*******************
 
5
Things to do in bzr
 
6
*******************
 
7
 
2
8
 
3
9
See also various low-level TODOs in the source code.  Try looking in
4
10
the list archive or on gmane.org for previous discussion of these
11
17
Small things
12
18
------------
13
19
 
 
20
* Fix tests so that import errors caused by modules don't produce false reports
 
21
  that the tests themselves don't exist.
 
22
 
 
23
* Fix tests so that one test failure doesn't prevent other tests from running
 
24
 
 
25
* print a message at the end of running the tests telling them that the
 
26
  test log and output exists but can be removed
 
27
 
 
28
* tests for running the commit editor, and fix problem of not passing in 
 
29
  multiple arguments
 
30
 
 
31
* Merging add of a new file clashing with an existing file doesn't
 
32
  work; add gets an error that it's already versioned and the merge
 
33
  aborts.
 
34
 
 
35
* Merge should ignore the destination's working directory, otherwise
 
36
  we get an error about the statcache when pulling from a remote
 
37
  branch.
 
38
 
14
39
* Add of a file that was present in the base revision should put back
15
40
  the previous file-id.
16
41
 
 
42
* Not sure I'm happy with needing to pass a root id to EmptyTree;
 
43
  comparing anything against an EmptyTree with no root should have the
 
44
  same effect(?)
 
45
 
17
46
* Handle diff of files which do not have a trailing newline; probably
18
47
  requires patching difflib to get it exactly right, or otherwise
19
48
  calling out to GNU diff.
20
49
 
21
 
* Import ElementTree update patch.
22
 
 
23
 
* Syntax should be "bzr export -r REV".
24
 
 
25
 
* "cat -rREV FILE"
26
 
 
27
 
* Plugins that provide commands.  By just installing a file into some
28
 
  directory (e.g. /usr/share/bzr/plugins) it should be possible to
29
 
  create new top-level commands ("bzr frob").  Extensions can be
30
 
  written in either Python (in which case they use the bzrlib API) or
31
 
  in a separate process (in sh, C, whatever).   It should be possible
32
 
  to get help for plugin commands.
33
 
 
34
 
* Smart rewrap text in help messages to fit in $COLUMNS (or equivalent
35
 
  on Windows)
 
50
* Should be able to copy files between branches to preserve their
 
51
  file-id (and perhaps eventually parentage.)
36
52
 
37
53
* -r option should take a revision-id as well as a revno.
38
54
 
39
 
* "bzr info" could show space used by working tree, versioned files,
40
 
  unknown and ignored files. 
41
 
 
42
 
* "bzr info" should count only people with distinct email addresses as
 
55
* ``bzr info`` should count only people with distinct email addresses as
43
56
  different committers.  (Or perhaps only distinct userids?)
44
57
 
45
 
* Tidier error for EPIPE: should be just "bzr: broken pipe" with no
46
 
  other details because debugging information is rarely interesting.
47
 
 
48
 
* On Windows, command-line arguments should be glob-expanded__,
 
58
* On Windows, command-line arguments should be `glob-expanded`__,
49
59
  because the shell doesn't do this.  However, there are probably some
50
60
  commands where this shouldn't be done, such as 'bzr ignore', because
51
61
  we want to accept globs.
52
62
 
 
63
* ``bzr ignore`` command that just adds a line to the ``.bzrignore`` file
 
64
  and makes it versioned.  Fix this to break symlinks.
 
65
 
 
66
* Any useful sanity checks in 'bzr ignore'?  Perhaps give a warning if
 
67
  they try to add a single file which is already versioned, or if they
 
68
  add a pattern which already exists, or if it looks like they gave an
 
69
  unquoted glob.
 
70
 
53
71
__ http://mail.python.org/pipermail/python-list/2001-April/037847.html
54
72
 
 
73
* Separate read and write version checks?
 
74
 
 
75
* ``bzr status DIR`` should give status on all files under that
 
76
  directory.
 
77
 
 
78
* ``bzr log DIR`` should give changes to any files within DIR; at the
 
79
  moment it only lists things which modify the specific named file
 
80
  (and not its contents)
 
81
 
 
82
* ``bzr inventory -r REV`` and perhaps unify this with ``bzr ls``,
 
83
  giving options to display ids, types, etc.
 
84
 
 
85
* Split BzrError into various more specific subclasses for different
 
86
  errors people might want to catch.
 
87
 
 
88
* If the export destination ends in '.tar', '.tar.gz', etc then create
 
89
  a tarball instead of a directory.  (Need to actually make a
 
90
  temporary directory and then tar that up.)
 
91
 
 
92
  http://www.gelato.unsw.edu.au/archives/git/0504/2194.html
 
93
 
 
94
* RemoteBranch could maintain a cache either in memory or on disk.  We
 
95
  know more than an external cache might about which files are
 
96
  immutable and which can vary.  On the other hand, it's much simpler
 
97
  to just use an external proxy cache.
 
98
 
 
99
  Perhaps ~/.bzr/http-cache.  Baz has a fairly simple cache under
 
100
  ~/.arch-cache, containing revision information encoded almost as a
 
101
  bunch of archives.  Perhaps we could simply store full paths.
 
102
 
 
103
* Maybe also store directories in the statcache so that we can quickly
 
104
  identify that they still exist.
 
105
 
 
106
* Diff should show timestamps; for files from the working directory we
 
107
  can use the file itself; for files from a revision we should use the
 
108
  commit time of the revision.
 
109
 
 
110
* Perhaps split command infrastructure from the actual command
 
111
  definitions.
 
112
 
 
113
* Cleaner support for negative boolean options like --no-recurse.
 
114
 
 
115
* Statcache should possibly map all file paths to / separators
 
116
 
 
117
* quotefn doubles all backslashes on Windows; this is probably not the
 
118
  best thing to do.  What would be a better way to safely represent
 
119
  filenames?  Perhaps we could doublequote things containing spaces,
 
120
  on the principle that filenames containing quotes are unlikely?
 
121
  Nice for humans; less good for machine parsing.
 
122
 
 
123
* Patches should probably use only forward slashes, even on Windows,
 
124
  otherwise Unix patch can't apply them. (?)
 
125
 
 
126
* Branch.update_revisions() inefficiently fetches revisions from the
 
127
  remote server twice; once to find out what text and inventory they
 
128
  need and then again to actually get the thing.  This is a bit
 
129
  inefficient.
 
130
 
 
131
  One complicating factor here is that we don't really want to have
 
132
  revisions present in the revision-store until all their constituent
 
133
  parts are also stored.
 
134
 
 
135
  The basic problem is that RemoteBranch.get_revision() and similar
 
136
  methods return object, but what we really want is the raw XML, which
 
137
  can be popped into our own store.  That needs to be refactored.
 
138
 
 
139
* Guard against repeatedly merging any particular patch.
 
140
 
 
141
* More options for diff:
 
142
 
 
143
  - diff two revisions of the same tree
 
144
 
 
145
  - diff two different branches, optionally at different revisions
 
146
 
 
147
  - diff a particular file in another tree against the corresponding
 
148
    version in this tree (which should be the default if the second
 
149
    parameter is a tree root)
 
150
 
 
151
  - diff everything under a particular directory, in any of the above
 
152
    ways
 
153
 
 
154
  - diff two files inside the same tree, even if they have different
 
155
    ids
 
156
 
 
157
  - and, of course, tests for all this
 
158
 
 
159
* Reproducible performance benchmark to measure whether performance is 
 
160
  getting better or worse.
 
161
 
 
162
* ``bzr log -m foo`` should perhaps error if nothing matches?
 
163
 
 
164
* ``bzr diff -r 30 -r 40 foo.c`` or ``bzr diff -r30..40 foo.c``
 
165
 
 
166
  If diffing between two branches then we probably want two -r
 
167
  options, since the revisions don't form a range that can be
 
168
  evaluated on either one.
 
169
 
 
170
* bzr diff shouldn't diff binary files
 
171
 
 
172
* setup.py install when run from a bzr tree should freeze the tree
 
173
  revision-id into the installed bzr.
 
174
 
 
175
* bzr script should trap ImportError and perhaps give a better error
 
176
  message?
 
177
 
 
178
* revert after a merge should possibly remove all the BASE/THIS/OTHER
 
179
  files to get you back to where you were.
 
180
 
 
181
* files that are added and then deleted are still reported as added
 
182
 
 
183
* stores should raise KeyError, not IndexError
 
184
 
 
185
* merging from a remote branch seems to sometimes raise errors not
 
186
  present locally
 
187
 
 
188
* should be possible to give a related branch when pulling from a
 
189
  remote branch to make things faster
 
190
 
 
191
* sometimes gives "conflicting add" even when the contents are in fact
 
192
  the same???
 
193
 
 
194
* BZRDIR should be in branch.py not __init__.py.
 
195
 
55
196
Medium things
56
197
-------------
57
198
 
58
 
* Selective commit of only some files.
59
 
 
60
 
* Faster diff/status.  
61
 
 
62
 
  Status should be handled differently because it needs to report on
63
 
  deleted and unknown files.  diff only needs to deal with versioned
64
 
  files.
65
 
 
66
 
* Merge Aaron's merge code.
67
 
 
68
 
* Merge revert patch.
69
 
 
70
 
* Turn on stat cache code, and add optimization about avoiding
71
 
  dangerous cache entries.
72
 
 
73
 
* mv command?
74
 
 
75
 
* More efficient diff of only selected files.
 
199
* merge should add all revision and inventory XML to the local store.
 
200
 
 
201
* check should give a warning for revisions that are named in the
 
202
  chain but not actually present in the store.
 
203
 
 
204
* remove anything outside of the branch implementation that directly
 
205
  accesses the stores.
 
206
 
 
207
* More efficient diff of only selected files.  We should be able to
 
208
  just get the id for the selected files, look up their location and
 
209
  diff just those files.  No need to traverse the entire inventories.
76
210
 
77
211
* Fix up Inventory objects to represent root object as an entry.
78
212
 
79
 
* Don't convert entire entry from 
 
213
* Don't convert entire entry from ElementTree to an object when it is
 
214
  read in, but rather wait until the program actually wants to know
 
215
  about that node.
80
216
 
81
217
* Extract changes from one revision to the next to a text form
82
218
  suitable for transmission over email.
83
219
 
84
220
* More test cases.
85
221
 
 
222
  - ``missing`` command
 
223
 
 
224
  - Selected-file commit
 
225
 
 
226
  - Impossible selected-file commit: adding things in non-versioned
 
227
    directories, crossing renames, etc.
 
228
 
86
229
* Write a reproducible benchmark, perhaps importing various kernel versions.
87
230
 
88
 
* Change test.sh from Bourne shell into something in pure Python so
89
 
  that it can be more portable.
90
 
 
91
231
* Directly import diffs!  It seems a bit redundant to need to rescan
92
232
  the directory to work out what files diff added/deleted/changed when
93
233
  all the information is there in the diff in the first place.
97
237
  At the very least we could run diffstat over the diff, or perhaps
98
238
  read the status output from patch.  Just knowing which files might
99
239
  be modified would be enough to guide the add and commit.
100
 
  
 
240
 
101
241
  Given this we might be able to import patches at 1/second or better.
102
242
 
103
 
* Get branch over http.
104
 
 
105
 
* Pull pure updates over http.
106
 
 
107
243
* revfile compression.
108
244
 
109
 
* Split inventory into per-directory files.
 
245
* Split inventory into per-directory files?
110
246
 
111
247
* Fix ignore file parsing:
112
248
 
116
252
 
117
253
  - perhaps a pattern that matches only directories or non-directories
118
254
 
119
 
* Expansion of $Id$ keywords within working files.  Perhaps do this in
120
 
  exports first as a simpler case because then we don't need to deal
121
 
  with removing the tags on the way back in.
 
255
* Consider using Python logging library as well as/instead of
 
256
  bzrlib.trace.
 
257
 
 
258
* Commands should give some progress indication by default.
 
259
 
 
260
  - But quieten this with ``--silent``.
 
261
 
 
262
* Change to using gettext message localization.
 
263
 
 
264
* Make a clearer separation between internal and external bzrlib
 
265
  interfaces.  Make internal interfaces use protected names.  Write at
 
266
  least some documentation for those APIs, probably as docstrings.
 
267
 
 
268
  Consider using ZopeInterface definitions for the external interface;
 
269
  I think these are already used in PyBaz.  They allow automatic
 
270
  checking of the interface but may be unfamiliar to general Python
 
271
  developers, so I'm not really keen.
 
272
 
 
273
* Commands to dump out all command help into a manpage or HTML file or
 
274
  whatever.
 
275
 
 
276
* Handle symlinks in the working directory; at the very least it
 
277
  should be possible for them to be present and ignored/unknown
 
278
  without causing assertion failures.
 
279
 
 
280
  Eventually symlinks should be versioned.
 
281
 
 
282
* Allow init in a subdirectory to create a nested repository, but only
 
283
  if the subdirectory is not already versioned.   Perhaps also require
 
284
  a ``--nested`` to protect against confusion.
 
285
 
 
286
* Branch names?
 
287
 
 
288
* More test framework:
 
289
 
 
290
  - Class that describes the state of a working tree so we can just
 
291
    assert it's equal.
 
292
 
 
293
* There are too many methods on Branch() that really manipulate the
 
294
  WorkingTree.  They should be moved across.
 
295
 
 
296
  Also there are some methods which are duplicated on Tree and
 
297
  Inventory objects, and it should be made more clear which ones are
 
298
  proxies and which ones behave differently, and how.
 
299
 
 
300
* Try using XSLT to add some formatting to REST-generated HTML.  Or
 
301
  maybe write a small Python program that specifies a header and foot
 
302
  for the pages and calls into the docutils libraries.
 
303
 
 
304
* --format=xml for log, status and other commands.
 
305
 
 
306
* Attempting to explicitly add a file that's already added should give
 
307
  a warning; however there should be no warning for directories (since
 
308
  we scan for new children) or files encountered in a directory that's
 
309
  being scanned.
 
310
 
 
311
* Better handling of possible collisions on case-losing filesystems;
 
312
  make sure a single file does not get added twice under different
 
313
  names.
 
314
 
 
315
* Clean up XML inventory:
 
316
 
 
317
  - Use nesting rather than parent_id pointers.
 
318
 
 
319
  - Hold the ElementTree in memory in the Inventory object and work
 
320
    directly on that, rather than converting into Python objects every
 
321
    time it is read in.  Probably still expose it through some kind of
 
322
    object interface though, but perhaps that should just be a proxy
 
323
    for the elements.
 
324
 
 
325
  - Less special cases for the root directory.
 
326
 
 
327
* Perhaps inventories should remember the revision in which each file
 
328
  was last changed, as well as its current state?  This is a bit
 
329
  redundant but might often be interested to know.
 
330
 
 
331
* stat cache should perhaps only stat files as necessary, rather than
 
332
  doing them all up-front.  On the other hand, that disallows the
 
333
  optimization of stating them in inode order.
 
334
 
 
335
* It'd be nice to pipeline multiple HTTP requests.  Often we can
 
336
  predict what will be wanted in future: all revisions, or all texts
 
337
  in a particular revision, etc.
 
338
 
 
339
  urlgrabber's docs say they are working on batched downloads; we
 
340
  could perhaps ride on that or just create a background thread (ew).
 
341
 
 
342
* Paranoid mode where we never trust SHA-1 matches.
 
343
 
 
344
* Don't commit if there are no changes unless forced.
 
345
 
 
346
* --dry-run mode for commit?  (Or maybe just run with
 
347
  check-command=false?)
 
348
 
 
349
* Generally, be a bit more verbose unless --silent is specified.
 
350
 
 
351
* Function that finds all changes to files under a given directory;
 
352
  perhaps log should use this if a directory is given.
 
353
 
 
354
* XML attributes might have trouble with filenames containing \n and
 
355
  \r.  Do we really want to support this?  I think perhaps not.
 
356
 
 
357
* Remember execute bits, so that exports will work OK.
 
358
 
 
359
* Unify smart_add and plain Branch.add(); perhaps smart_add should
 
360
  just build a list of files to add and pass that to the regular add
 
361
  function.
 
362
 
 
363
* Function to list a directory, saying in which revision each file was
 
364
  last modified.  Useful for web and GUI interfaces, and slow to
 
365
  compute one file at a time.
 
366
  
 
367
  This will be done when we track file texts by referring to the
 
368
  version that created them. 
 
369
 
 
370
* Check locking is correct during merge-related operations.
 
371
 
 
372
* Perhaps attempts to get locks should timeout after some period of
 
373
  time, or at least display a progress message.
 
374
 
 
375
* Split out upgrade functionality from check command into a separate
 
376
  ``bzr upgrade``.
 
377
 
 
378
* Don't pass around command classes but rather pass objects.  This'd
 
379
  make it cleaner to construct objects wrapping external commands.
 
380
 
 
381
* Track all merged-in revisions in a versioned add-only metafile.
 
382
 
 
383
* ``pull --clobber`` should discard any local changes not present
 
384
  remotely.  Not generally what you want, but possibly useful when
 
385
  you're just mirroring another branch and want to keep tracking it
 
386
  even when they e.g. uncommit or make similar non-forward movements.
 
387
  Also for push I suppose.  Clobber may not be the best name, maybe
 
388
  ``--destroy``?
 
389
 
 
390
* ``uncommit`` command that removes a revision from the end of the
 
391
  revision-history; just doing this is enough to remove the commit,
 
392
  and a new commit will automatically be made against the
 
393
  predecessor.  This can be repeated.
 
394
 
 
395
  It only makes sense to delete from the tail of history, not from the
 
396
  end.
 
397
 
 
398
  The revision, its inventory and texts remain floating in the store.
 
399
  We should perhaps add the revision to a list of removed-commits, so
 
400
  that it can be restored or at least accounted for when checking
 
401
  consistency.  This file would not be versioned, and probably should
 
402
  not propagate when branched.
 
403
 
 
404
  If we track merged revisions then we need to update this list too.
 
405
  If the list is stored in a weave it's easy (implicit): the version
 
406
  of the list can remain but it won't be referenced anymore.  It's
 
407
  probably best to just store this list in a weave in the first place
 
408
  and be done.
122
409
 
123
410
 
124
411
Large things
125
412
------------
126
413
 
 
414
* Generate annotations from current file relative to previous
 
415
  annotations.
 
416
 
 
417
  - Is it necessary to store any kind of annotation where data was
 
418
    deleted?
 
419
 
 
420
* Update revfile_ format and make it active:
 
421
 
 
422
  - Texts should be identified by something keyed on the revision, not
 
423
    an individual text-id.  This is much more useful for annotate I
 
424
    think; we want to map back to the revision that last changed it.
 
425
 
 
426
  - Access revfile revisions through the Tree/Store classes.
 
427
 
 
428
  - Check them from check commands.
 
429
 
 
430
  - Store annotations.
 
431
 
 
432
.. _revfile: revfile.html
 
433
 
127
434
* Hooks for pre-commit, post-commit, etc.
128
435
 
129
436
  Consider the security implications; probably should not enable hooks
135
442
  files, and respecting selective commits.  Run the pre-commit check
136
443
  (e.g. compile and run test suite) in there.
137
444
 
 
445
  Possibly this should be done by splitting the commit function into
 
446
  several parts (under a single interface).  It is already rather
 
447
  large.  Decomposition:
 
448
 
 
449
   - find tree modifications and prepare in-memory inventory
 
450
 
 
451
   - export that inventory to a temporary directory
 
452
 
 
453
   - run the test in that temporary directory
 
454
 
 
455
   - if that succeeded, continue to actually finish the commit
 
456
 
 
457
  What should be done with the text of modified files while this is
 
458
  underway?  I don't think we want to count on holding them in memory
 
459
  and we can't trust the working files to stay in one place so I
 
460
  suppose we need to move them into the text store, or otherwise into
 
461
  a temporary directory.
 
462
 
 
463
  If the commit does not actually complete, we would rather the
 
464
  content was not left behind in the stores.
 
465
 
138
466
* Web interface
139
467
 
140
468
* GUI (maybe in Python GTK+?)
141
469
 
142
470
* C library interface
 
471
 
 
472
* Expansion of $Id$ keywords within working files.  Perhaps do this in
 
473
  exports first as a simpler case because then we don't need to deal
 
474
  with removing the tags on the way back in.
 
475
 
 
476
* ``bzr find``