~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to TODO

  • Committer: Martin Pool
  • Date: 2005-05-02 04:24:33 UTC
  • Revision ID: mbp@sourcefrog.net-20050502042433-c825a7f7235f6b15
doc: notes on merge

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
.. -*- mode: indented-text; compile-command: "make -C doc" -*-
2
 
 
3
 
 
4
 
*******************
5
 
Things to do in bzr
6
 
*******************
7
 
 
 
1
                                                 -*- indented-text -*-
8
2
 
9
3
See also various low-level TODOs in the source code.  Try looking in
10
4
the list archive or on gmane.org for previous discussion of these
17
11
Small things
18
12
------------
19
13
 
20
 
* ``bzr status`` should show some description of patches that are merged but 
21
 
  not yet committed.  Preferably in a very compact format so that they
22
 
  just fit on a single line; this could also be used for say ``log
23
 
  --tiny``::
24
 
 
25
 
  2005-11-05      mbp  Flowers for stephane
26
 
 
27
 
* Fix tests so that import errors caused by modules don't produce false reports
28
 
  that the tests themselves don't exist.
29
 
 
30
 
* Fix tests so that one test failure doesn't prevent other tests from running
31
 
 
32
 
* print a message at the end of running the tests telling them that the
33
 
  test log and output exists but can be removed
34
 
 
35
 
* tests for running the commit editor, and fix problem of not passing in 
36
 
  multiple arguments
37
 
 
38
 
* Merging add of a new file clashing with an existing file doesn't
39
 
  work; add gets an error that it's already versioned and the merge
40
 
  aborts.
41
 
 
42
 
* Merge should ignore the destination's working directory, otherwise
43
 
  we get an error about the statcache when pulling from a remote
44
 
  branch.
45
 
 
46
14
* Add of a file that was present in the base revision should put back
47
15
  the previous file-id.
48
16
 
49
 
* Not sure I'm happy with needing to pass a root id to EmptyTree;
50
 
  comparing anything against an EmptyTree with no root should have the
51
 
  same effect(?)
52
 
 
53
17
* Handle diff of files which do not have a trailing newline; probably
54
18
  requires patching difflib to get it exactly right, or otherwise
55
19
  calling out to GNU diff.
56
20
 
57
 
* Should be able to copy files between branches to preserve their
58
 
  file-id (and perhaps eventually parentage.)
 
21
* Import ElementTree update patch.
 
22
 
 
23
* Syntax should be "bzr export -r REV".
 
24
 
 
25
* "cat -rREV FILE"
 
26
 
 
27
* Plugins that provide commands.  By just installing a file into some
 
28
  directory (e.g. /usr/share/bzr/plugins) it should be possible to
 
29
  create new top-level commands ("bzr frob").  Extensions can be
 
30
  written in either Python (in which case they use the bzrlib API) or
 
31
  in a separate process (in sh, C, whatever).   It should be possible
 
32
  to get help for plugin commands.
 
33
 
 
34
* Smart rewrap text in help messages to fit in $COLUMNS (or equivalent
 
35
  on Windows)
59
36
 
60
37
* -r option should take a revision-id as well as a revno.
61
38
 
62
 
* allow ``bzr st -r 300`` to show a summary of changes since then.
 
39
* "bzr info" could show space used by working tree, versioned files,
 
40
  unknown and ignored files. 
63
41
 
64
 
* ``bzr info`` should count only people with distinct email addresses as
 
42
* "bzr info" should count only people with distinct email addresses as
65
43
  different committers.  (Or perhaps only distinct userids?)
66
44
 
67
 
* On Windows, command-line arguments should be `glob-expanded`__,
 
45
* Tidier error for EPIPE: should be just "bzr: broken pipe" with no
 
46
  other details because debugging information is rarely interesting.
 
47
 
 
48
* On Windows, command-line arguments should be glob-expanded__,
68
49
  because the shell doesn't do this.  However, there are probably some
69
50
  commands where this shouldn't be done, such as 'bzr ignore', because
70
51
  we want to accept globs.
71
52
 
72
 
* ``bzr ignore`` command that just adds a line to the ``.bzrignore`` file
73
 
  and makes it versioned.  Fix this to break symlinks.
 
53
__ http://mail.python.org/pipermail/python-list/2001-April/037847.html
 
54
 
 
55
* 'bzr ignore' command that just adds a line to the .bzrignore file
 
56
  and makes it versioned.
 
57
 
 
58
* 'bzr help commands' should give a one-line summary of each command.
74
59
 
75
60
* Any useful sanity checks in 'bzr ignore'?  Perhaps give a warning if
76
61
  they try to add a single file which is already versioned, or if they
77
62
  add a pattern which already exists, or if it looks like they gave an
78
63
  unquoted glob.
79
64
 
80
 
__ http://mail.python.org/pipermail/python-list/2001-April/037847.html
81
 
 
82
 
* Separate read and write version checks?
83
 
 
84
 
* ``bzr status DIR`` should give status on all files under that
85
 
  directory.
86
 
 
87
 
* ``bzr log DIR`` should give changes to any files within DIR; at the
88
 
  moment it only lists things which modify the specific named file
89
 
  (and not its contents)
90
 
 
91
 
* ``bzr inventory -r REV`` and perhaps unify this with ``bzr ls``,
92
 
  giving options to display ids, types, etc.
93
 
 
94
 
* Split BzrError into various more specific subclasses for different
95
 
  errors people might want to catch.
96
 
 
97
 
* If the export destination ends in '.tar', '.tar.gz', etc then create
98
 
  a tarball instead of a directory.  (Need to actually make a
99
 
  temporary directory and then tar that up.)
100
 
 
101
 
  http://www.gelato.unsw.edu.au/archives/git/0504/2194.html
102
 
 
103
 
* RemoteBranch could maintain a cache either in memory or on disk.  We
104
 
  know more than an external cache might about which files are
105
 
  immutable and which can vary.  On the other hand, it's much simpler
106
 
  to just use an external proxy cache.
107
 
 
108
 
  Perhaps ~/.bzr/http-cache.  Baz has a fairly simple cache under
109
 
  ~/.arch-cache, containing revision information encoded almost as a
110
 
  bunch of archives.  Perhaps we could simply store full paths.
111
 
 
112
 
* Maybe also store directories in the statcache so that we can quickly
113
 
  identify that they still exist.
114
 
 
115
 
* Diff should show timestamps; for files from the working directory we
116
 
  can use the file itself; for files from a revision we should use the
117
 
  commit time of the revision.
118
 
 
119
 
* Perhaps split command infrastructure from the actual command
120
 
  definitions.
121
 
 
122
 
* Cleaner support for negative boolean options like --no-recurse.
123
 
 
124
 
* Statcache should possibly map all file paths to / separators
125
 
 
126
 
* quotefn doubles all backslashes on Windows; this is probably not the
127
 
  best thing to do.  What would be a better way to safely represent
128
 
  filenames?  Perhaps we could doublequote things containing spaces,
129
 
  on the principle that filenames containing quotes are unlikely?
130
 
  Nice for humans; less good for machine parsing.
131
 
 
132
 
* Patches should probably use only forward slashes, even on Windows,
133
 
  otherwise Unix patch can't apply them. (?)
134
 
 
135
 
* Branch.update_revisions() inefficiently fetches revisions from the
136
 
  remote server twice; once to find out what text and inventory they
137
 
  need and then again to actually get the thing.  This is a bit
138
 
  inefficient.
139
 
 
140
 
  One complicating factor here is that we don't really want to have
141
 
  revisions present in the revision-store until all their constituent
142
 
  parts are also stored.
143
 
 
144
 
  The basic problem is that RemoteBranch.get_revision() and similar
145
 
  methods return object, but what we really want is the raw XML, which
146
 
  can be popped into our own store.  That needs to be refactored.
147
 
 
148
 
* ``bzr status FOO`` where foo is ignored should say so.
149
 
 
150
 
* ``bzr mkdir A...`` should just create and add A.
151
 
 
152
 
* Guard against repeatedly merging any particular patch.
153
 
 
154
 
* More options for diff:
155
 
 
156
 
  - diff two revisions of the same tree
157
 
 
158
 
  - diff two different branches, optionally at different revisions
159
 
 
160
 
  - diff a particular file in another tree against the corresponding
161
 
    version in this tree (which should be the default if the second
162
 
    parameter is a tree root)
163
 
 
164
 
  - diff everything under a particular directory, in any of the above
165
 
    ways
166
 
 
167
 
  - diff two files inside the same tree, even if they have different
168
 
    ids
169
 
 
170
 
  - and, of course, tests for all this
171
 
 
172
 
* ``bzr add`` with no arguments should probably be the same as ``bzr add .``
173
 
 
174
 
* Reproducible performance benchmark to measure whether performance is 
175
 
  getting better or worse.
176
 
 
177
 
* ``bzr log -m foo`` should perhaps error if nothing matches?
178
 
 
179
 
* ``bzr diff -r 30 -r 40 foo.c`` or ``bzr diff -r30..40 foo.c``
180
 
 
181
 
  If diffing between two branches then we probably want two -r
182
 
  options, since the revisions don't form a range that can be
183
 
  evaluated on either one.
184
 
 
185
 
* bzr diff shouldn't diff binary files
186
 
 
187
 
* setup.py install when run from a bzr tree should freeze the tree
188
 
  revision-id into the installed bzr.
189
 
 
190
 
* bzr script should trap ImportError and perhaps give a better error
191
 
  message?
192
 
 
193
 
* revert after a merge should possibly remove all the BASE/THIS/OTHER
194
 
  files to get you back to where you were.
195
 
 
196
 
* files that are added and then deleted are still reported as added
197
 
 
198
 
* stores should raise KeyError, not IndexError
199
 
 
200
 
* merging from a remote branch seems to sometimes raise errors not
201
 
  present locally
202
 
 
203
 
* should be possible to give a related branch when pulling from a
204
 
  remote branch to make things faster
205
 
 
206
 
* sometimes gives "conflicting add" even when the contents are in fact
207
 
  the same???
208
 
 
209
 
* BZRDIR should be in branch.py not __init__.py.
210
 
 
211
 
* ``status `` should accept a -r option to show changes relative to a revision,
212
 
  or between revisions
213
 
 
214
65
Medium things
215
66
-------------
216
67
 
217
 
* ~/.bzr.log is not written anymore for some reason.
218
 
 
219
 
* merge should add all revision and inventory XML to the local store.
220
 
 
221
 
* check should give a warning for revisions that are named in the
222
 
  chain but not actually present in the store.
223
 
 
224
 
* remove anything outside of the branch implementation that directly
225
 
  accesses the stores.
226
 
 
227
 
* More efficient diff of only selected files.  We should be able to
228
 
  just get the id for the selected files, look up their location and
229
 
  diff just those files.  No need to traverse the entire inventories.
230
 
 
231
 
* ``bzr status DIR`` or ``bzr diff DIR`` should report on all changes
232
 
  under that directory.
 
68
* Display command grammar in help messages rather than hardcoding it.
 
69
 
 
70
* Change command functions into Command() objects, like in hct, and
 
71
  then the grammar can be described directly in there.  Since all
 
72
  option definitions are global we can define them just once and
 
73
  reference them from each command.
 
74
 
 
75
* Selective commit of only some files.
 
76
 
 
77
* Faster diff/status.  
 
78
 
 
79
  Status should be handled differently because it needs to report on
 
80
  deleted and unknown files.  diff only needs to deal with versioned
 
81
  files.
 
82
 
 
83
* Merge Aaron's merge code.
 
84
 
 
85
* Merge revert patch.
 
86
 
 
87
* Turn on stat cache code, and add optimization about avoiding
 
88
  dangerous cache entries.
 
89
 
 
90
* mv command?
 
91
 
 
92
* More efficient diff of only selected files.
233
93
 
234
94
* Fix up Inventory objects to represent root object as an entry.
235
95
 
236
 
* Don't convert entire entry from ElementTree to an object when it is
237
 
  read in, but rather wait until the program actually wants to know
238
 
  about that node.
 
96
* Don't convert entire entry from 
239
97
 
240
98
* Extract changes from one revision to the next to a text form
241
99
  suitable for transmission over email.
242
100
 
243
101
* More test cases.
244
102
 
245
 
  - ``missing`` command
246
 
 
247
 
  - Selected-file commit
248
 
 
249
 
  - Impossible selected-file commit: adding things in non-versioned
250
 
    directories, crossing renames, etc.
251
 
 
252
103
* Write a reproducible benchmark, perhaps importing various kernel versions.
253
104
 
 
105
* Change test.sh from Bourne shell into something in pure Python so
 
106
  that it can be more portable.
 
107
 
254
108
* Directly import diffs!  It seems a bit redundant to need to rescan
255
109
  the directory to work out what files diff added/deleted/changed when
256
110
  all the information is there in the diff in the first place.
260
114
  At the very least we could run diffstat over the diff, or perhaps
261
115
  read the status output from patch.  Just knowing which files might
262
116
  be modified would be enough to guide the add and commit.
263
 
 
 
117
  
264
118
  Given this we might be able to import patches at 1/second or better.
265
119
 
 
120
* Get branch over http.
 
121
 
 
122
* Pull pure updates over http.
 
123
 
266
124
* revfile compression.
267
125
 
268
 
* Split inventory into per-directory files?
 
126
* Split inventory into per-directory files.
269
127
 
270
128
* Fix ignore file parsing:
271
129
 
275
133
 
276
134
  - perhaps a pattern that matches only directories or non-directories
277
135
 
 
136
* Expansion of $Id$ keywords within working files.  Perhaps do this in
 
137
  exports first as a simpler case because then we don't need to deal
 
138
  with removing the tags on the way back in.
 
139
 
278
140
* Consider using Python logging library as well as/instead of
279
141
  bzrlib.trace.
280
142
 
281
 
* Commands should give some progress indication by default.
282
 
 
283
 
  - But quieten this with ``--silent``.
284
 
 
285
143
* Change to using gettext message localization.
286
144
 
287
145
* Make a clearer separation between internal and external bzrlib
291
149
  Consider using ZopeInterface definitions for the external interface;
292
150
  I think these are already used in PyBaz.  They allow automatic
293
151
  checking of the interface but may be unfamiliar to general Python
294
 
  developers, so I'm not really keen.
 
152
  developers.
295
153
 
296
154
* Commands to dump out all command help into a manpage or HTML file or
297
155
  whatever.
298
156
 
299
 
* Handle symlinks in the working directory; at the very least it
300
 
  should be possible for them to be present and ignored/unknown
301
 
  without causing assertion failures.
302
 
 
303
 
  Eventually symlinks should be versioned.
304
 
 
305
 
* Allow init in a subdirectory to create a nested repository, but only
306
 
  if the subdirectory is not already versioned.   Perhaps also require
307
 
  a ``--nested`` to protect against confusion.
308
 
 
309
 
* Branch names?
310
 
 
311
 
* More test framework:
312
 
 
313
 
  - Class that describes the state of a working tree so we can just
314
 
    assert it's equal.
315
 
 
316
 
* There are too many methods on Branch() that really manipulate the
317
 
  WorkingTree.  They should be moved across.
318
 
 
319
 
  Also there are some methods which are duplicated on Tree and
320
 
  Inventory objects, and it should be made more clear which ones are
321
 
  proxies and which ones behave differently, and how.
322
 
 
323
 
* Try using XSLT to add some formatting to REST-generated HTML.  Or
324
 
  maybe write a small Python program that specifies a header and foot
325
 
  for the pages and calls into the docutils libraries.
326
 
 
327
 
* --format=xml for log, status and other commands.
328
 
 
329
 
* Attempting to explicitly add a file that's already added should give
330
 
  a warning; however there should be no warning for directories (since
331
 
  we scan for new children) or files encountered in a directory that's
332
 
  being scanned.
333
 
 
334
 
* Better handling of possible collisions on case-losing filesystems;
335
 
  make sure a single file does not get added twice under different
336
 
  names.
337
 
 
338
 
* Clean up XML inventory:
339
 
 
340
 
  - Use nesting rather than parent_id pointers.
341
 
 
342
 
  - Hold the ElementTree in memory in the Inventory object and work
343
 
    directly on that, rather than converting into Python objects every
344
 
    time it is read in.  Probably still exposoe it through some kind of
345
 
    object interface though, but perhaps that should just be a proxy
346
 
    for the elements.
347
 
 
348
 
  - Less special cases for the root directory.
349
 
 
350
 
* Perhaps inventories should remember the revision in which each file
351
 
  was last changed, as well as its current state?  This is a bit
352
 
  redundant but might often be interested to know.
353
 
 
354
 
* stat cache should perhaps only stat files as necessary, rather than
355
 
  doing them all up-front.  On the other hand, that disallows the
356
 
  opimization of stating them in inode order.
357
 
 
358
 
* It'd be nice to pipeline multiple HTTP requests.  Often we can
359
 
  predict what will be wanted in future: all revisions, or all texts
360
 
  in a particular revision, etc.
361
 
 
362
 
  urlgrabber's docs say they are working on batched downloads; we
363
 
  could perhaps ride on that or just create a background thread (ew).
364
 
 
365
 
* Paranoid mode where we never trust SHA-1 matches.
366
 
 
367
 
* Don't commit if there are no changes unless forced.
368
 
 
369
 
* --dry-run mode for commit?  (Or maybe just run with
370
 
  check-command=false?)
371
 
 
372
 
* Generally, be a bit more verbose unless --silent is specified.
373
 
 
374
 
* Function that finds all changes to files under a given directory;
375
 
  perhaps log should use this if a directory is given.
376
 
 
377
 
* XML attributes might have trouble with filenames containing \n and
378
 
  \r.  Do we really want to support this?  I think perhaps not.
379
 
 
380
 
* Remember execute bits, so that exports will work OK.
381
 
 
382
 
* Unify smart_add and plain Branch.add(); perhaps smart_add should
383
 
  just build a list of files to add and pass that to the regular add
384
 
  function.
385
 
 
386
 
* Function to list a directory, saying in which revision each file was
387
 
  last modified.  Useful for web and gui interfaces, and slow to
388
 
  compute one file at a time.
389
 
  
390
 
  This will be done when we track file texts by referring to the
391
 
  version that created them. 
392
 
 
393
 
* Check locking is correct during merge-related operations.
394
 
 
395
 
* Perhaps attempts to get locks should timeout after some period of
396
 
  time, or at least display a progress message.
397
 
 
398
 
* Split out upgrade functionality from check command into a separate
399
 
  ``bzr upgrade``.
400
 
 
401
 
* Don't pass around command classes but rather pass objects.  This'd
402
 
  make it cleaner to construct objects wrapping external commands.
403
 
 
404
 
* Track all merged-in revisions in a versioned add-only metafile.
405
 
 
406
 
* ``pull --clobber`` should discard any local changes not present
407
 
  remotely.  Not generally what you want, but possibly useful when
408
 
  you're just mirroring another branch and want to keep tracking it
409
 
  even when they e.g. uncommit or make similar non-forward movements.
410
 
  Also for push I suppose.  Clobber may not be the best name, maybe
411
 
  ``--destroy``?
412
 
 
413
 
* ``uncommit`` command that removes a revision from the end of the
414
 
  revision-history; just doing this is enough to remove the commit,
415
 
  and a new commit will automatically be made against the
416
 
  predecessor.  This can be repeated.
417
 
 
418
 
  It only makes sense to delete from the tail of history, not from the
419
 
  end.
420
 
 
421
 
  The revision, its inventory and texts remain floating in the store.
422
 
  We should perhaps add the revision to a list of removed-commits, so
423
 
  that it can be restored or at least accounted for when checking
424
 
  consistency.  This file would not be versioned, and probably should
425
 
  not propagate when branched.
426
 
 
427
 
  If we track merged revisions then we need to update this list too.
428
 
  If the list is stored in a weave it's easy (implicit): the version
429
 
  of the list can remain but it won't be referenced anymore.  It's
430
 
  probably best to just store this list in a weave in the first place
431
 
  and be done.
432
 
 
433
157
 
434
158
Large things
435
159
------------
436
160
 
437
 
* Generate annotations from current file relative to previous
438
 
  annotations.
439
 
 
440
 
  - Is it necessary to store any kind of annotation where data was
441
 
    deleted?
442
 
 
443
 
* Update revfile_ format and make it active:
444
 
 
445
 
  - Texts should be identified by something keyed on the revision, not
446
 
    an individual text-id.  This is much more useful for annotate I
447
 
    think; we want to map back to the revision that last changed it.
448
 
 
449
 
  - Access revfile revisions through the Tree/Store classes.
450
 
 
451
 
  - Check them from check commands.
452
 
 
453
 
  - Store annotations.
454
 
 
455
 
.. _revfile: revfile.html
456
 
 
457
161
* Hooks for pre-commit, post-commit, etc.
458
162
 
459
163
  Consider the security implications; probably should not enable hooks
465
169
  files, and respecting selective commits.  Run the pre-commit check
466
170
  (e.g. compile and run test suite) in there.
467
171
 
468
 
  Possibly this should be done by splitting the commit function into
469
 
  several parts (under a single interface).  It is already rather
470
 
  large.  Decomposition:
471
 
 
472
 
   - find tree modifications and prepare in-memory inventory
473
 
 
474
 
   - export that inventory to a temporary directory
475
 
 
476
 
   - run the test in that temporary directory
477
 
 
478
 
   - if that succeeded, continue to actually finish the commit
479
 
 
480
 
  What should be done with the text of modified files while this is
481
 
  underway?  I don't think we want to count on holding them in memory
482
 
  and we can't trust the working files to stay in one place so I
483
 
  suppose we need to move them into the text store, or otherwise into
484
 
  a temporary directory.
485
 
 
486
 
  If the commit does not actually complete, we would rather the
487
 
  content was not left behind in the stores.
488
 
 
489
172
* Web interface
490
173
 
491
174
* GUI (maybe in Python GTK+?)
492
175
 
493
176
* C library interface
494
 
 
495
 
* Expansion of $Id$ keywords within working files.  Perhaps do this in
496
 
  exports first as a simpler case because then we don't need to deal
497
 
  with removing the tags on the way back in.
498
 
 
499
 
* ``bzr find``