~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to TODO

  • Committer: Martin Pool
  • Date: 2005-07-29 19:53:21 UTC
  • Revision ID: mbp@sourcefrog.net-20050729195321-6d9eef1a43dd6c81
- notes from discussion on splitting and joining files

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
For things to do in Bazaar development, see
2
 
 
3
 
https://bugs.launchpad.net/bzr/
4
 
https://blueprints.launchpad.net/bzr/
 
1
.. -*- mode: indented-text; compile-command: "make -C doc" -*-
 
2
 
 
3
 
 
4
*******************
 
5
Things to do in bzr
 
6
*******************
 
7
 
 
8
 
 
9
See also various low-level TODOs in the source code.  Try looking in
 
10
the list archive or on gmane.org for previous discussion of these
 
11
issues.
 
12
 
 
13
These are classified by approximate size: an hour or less, a day or
 
14
less, and several days or more.
 
15
 
 
16
 
 
17
Small things
 
18
------------
 
19
 
 
20
* ``bzr status`` should show some description of patches that are merged but 
 
21
  not yet committed.  Preferably in a very compact format so that they
 
22
  just fit on a single line; this could also be used for say ``log
 
23
  --tiny``::
 
24
 
 
25
  2005-11-05      mbp  Flowers for stephane
 
26
 
 
27
* print a message at the end of running the tests telling them tht the
 
28
  test log and output exists but can be removed
 
29
 
 
30
* tests for running the commit editor, and fix problem of not passing in 
 
31
  multiple arguments
 
32
 
 
33
* Merging add of a new file clashing with an existing file doesn't
 
34
  work; add gets an error that it's already versioned and the merge
 
35
  aborts.
 
36
 
 
37
* Merge should ignore the destination's working directory, otherwise
 
38
  we get an error about the statcache when pulling from a remote
 
39
  branch.
 
40
 
 
41
* Add of a file that was present in the base revision should put back
 
42
  the previous file-id.
 
43
 
 
44
* Not sure I'm happy with needing to pass a root id to EmptyTree;
 
45
  comparing anything against an EmptyTree with no root should have the
 
46
  same effect(?)
 
47
 
 
48
* Handle diff of files which do not have a trailing newline; probably
 
49
  requires patching difflib to get it exactly right, or otherwise
 
50
  calling out to GNU diff.
 
51
 
 
52
* Should be able to copy files between branches to preserve their
 
53
  file-id (and perhaps eventually parentage.)
 
54
 
 
55
* -r option should take a revision-id as well as a revno.
 
56
 
 
57
* allow ``bzr st -r 300`` to show a summary of changes since then.
 
58
 
 
59
* ``bzr info`` should count only people with distinct email addresses as
 
60
  different committers.  (Or perhaps only distinct userids?)
 
61
 
 
62
* On Windows, command-line arguments should be `glob-expanded`__,
 
63
  because the shell doesn't do this.  However, there are probably some
 
64
  commands where this shouldn't be done, such as 'bzr ignore', because
 
65
  we want to accept globs.
 
66
 
 
67
* ``bzr ignore`` command that just adds a line to the ``.bzrignore`` file
 
68
  and makes it versioned.  Fix this to break symlinks.
 
69
 
 
70
* Any useful sanity checks in 'bzr ignore'?  Perhaps give a warning if
 
71
  they try to add a single file which is already versioned, or if they
 
72
  add a pattern which already exists, or if it looks like they gave an
 
73
  unquoted glob.
 
74
 
 
75
__ http://mail.python.org/pipermail/python-list/2001-April/037847.html
 
76
 
 
77
* Separate read and write version checks?
 
78
 
 
79
* ``bzr status DIR`` should give status on all files under that
 
80
  directory.
 
81
 
 
82
* ``bzr log DIR`` should give changes to any files within DIR.
 
83
 
 
84
* ``bzr inventory -r REV`` and perhaps unify this with ``bzr ls``,
 
85
  giving options to display ids, types, etc.
 
86
 
 
87
* Split BzrError into various more specific subclasses for different
 
88
  errors people might want to catch.
 
89
 
 
90
* If the export destination ends in '.tar', '.tar.gz', etc then create
 
91
  a tarball instead of a directory.  (Need to actually make a
 
92
  temporary directory and then tar that up.)
 
93
 
 
94
  http://www.gelato.unsw.edu.au/archives/git/0504/2194.html
 
95
 
 
96
* RemoteBranch could maintain a cache either in memory or on disk.  We
 
97
  know more than an external cache might about which files are
 
98
  immutable and which can vary.  On the other hand, it's much simpler
 
99
  to just use an external proxy cache.
 
100
 
 
101
  Perhaps ~/.bzr/http-cache.  Baz has a fairly simple cache under
 
102
  ~/.arch-cache, containing revision information encoded almost as a
 
103
  bunch of archives.  Perhaps we could simply store full paths.
 
104
 
 
105
* Maybe also store directories in the statcache so that we can quickly
 
106
  identify that they still exist.
 
107
 
 
108
* Diff should show timestamps; for files from the working directory we
 
109
  can use the file itself; for files from a revision we should use the
 
110
  commit time of the revision.
 
111
 
 
112
* Perhaps split command infrastructure from the actual command
 
113
  definitions.
 
114
 
 
115
* Cleaner support for negative boolean options like --no-recurse.
 
116
 
 
117
* Statcache should possibly map all file paths to / separators
 
118
 
 
119
* quotefn doubles all backslashes on Windows; this is probably not the
 
120
  best thing to do.  What would be a better way to safely represent
 
121
  filenames?  Perhaps we could doublequote things containing spaces,
 
122
  on the principle that filenames containing quotes are unlikely?
 
123
  Nice for humans; less good for machine parsing.
 
124
 
 
125
* Patches should probably use only forward slashes, even on Windows,
 
126
  otherwise Unix patch can't apply them. (?)
 
127
 
 
128
* Branch.update_revisions() inefficiently fetches revisions from the
 
129
  remote server twice; once to find out what text and inventory they
 
130
  need and then again to actually get the thing.  This is a bit
 
131
  inefficient.
 
132
 
 
133
  One complicating factor here is that we don't really want to have
 
134
  revisions present in the revision-store until all their constituent
 
135
  parts are also stored.
 
136
 
 
137
  The basic problem is that RemoteBranch.get_revision() and similar
 
138
  methods return object, but what we really want is the raw XML, which
 
139
  can be popped into our own store.  That needs to be refactored.
 
140
 
 
141
* ``bzr status FOO`` where foo is ignored should say so.
 
142
 
 
143
* ``bzr mkdir A...`` should just create and add A.
 
144
 
 
145
* Guard against repeatedly merging any particular patch.
 
146
 
 
147
* More options for diff:
 
148
 
 
149
  - diff two revisions of the same tree
 
150
 
 
151
  - diff two different branches, optionally at different revisions
 
152
 
 
153
  - diff a particular file in another tree against the corresponding
 
154
    version in this tree (which should be the default if the second
 
155
    parameter is a tree root)
 
156
 
 
157
  - diff everything under a particular directory, in any of the above
 
158
    ways
 
159
 
 
160
  - diff two files inside the same tree, even if they have different
 
161
    ids
 
162
 
 
163
  - and, of course, tests for all this
 
164
 
 
165
* ``bzr add`` with no arguments should probably be the same as ``bzr add .``
 
166
 
 
167
* Reproducible performance benchmark to measure whether performance is 
 
168
  getting better or worse.
 
169
 
 
170
* ``bzr log -m foo`` should perhaps error if nothing matches?
 
171
 
 
172
 
 
173
Medium things
 
174
-------------
 
175
 
 
176
* Merge revert patch.
 
177
 
 
178
* ``bzr mv`` that does either rename or move as in Unix.
 
179
 
 
180
* More efficient diff of only selected files.  We should be able to
 
181
  just get the id for the selected files, look up their location and
 
182
  diff just those files.  No need to traverse the entire inventories.
 
183
 
 
184
* ``bzr status DIR`` or ``bzr diff DIR`` should report on all changes
 
185
  under that directory.
 
186
 
 
187
* Fix up Inventory objects to represent root object as an entry.
 
188
 
 
189
* Don't convert entire entry from ElementTree to an object when it is
 
190
  read in, but rather wait until the program actually wants to know
 
191
  about that node.
 
192
 
 
193
* Extract changes from one revision to the next to a text form
 
194
  suitable for transmission over email.
 
195
 
 
196
* More test cases.
 
197
 
 
198
  - Selected-file commit
 
199
 
 
200
  - Impossible selected-file commit: adding things in non-versioned
 
201
    directories, crossing renames, etc.
 
202
 
 
203
* Write a reproducible benchmark, perhaps importing various kernel versions.
 
204
 
 
205
* Directly import diffs!  It seems a bit redundant to need to rescan
 
206
  the directory to work out what files diff added/deleted/changed when
 
207
  all the information is there in the diff in the first place.
 
208
  Getting the exact behaviour for added/deleted subdirectories etc
 
209
  might be hard.
 
210
 
 
211
  At the very least we could run diffstat over the diff, or perhaps
 
212
  read the status output from patch.  Just knowing which files might
 
213
  be modified would be enough to guide the add and commit.
 
214
 
 
215
  Given this we might be able to import patches at 1/second or better.
 
216
 
 
217
* Get branch over http.
 
218
 
 
219
* Pull pure updates over http.
 
220
 
 
221
* revfile compression.
 
222
 
 
223
* Split inventory into per-directory files.
 
224
 
 
225
* Fix ignore file parsing:
 
226
 
 
227
  - fnmatch is not the same as unix patterns
 
228
 
 
229
  - perhaps add extended globs from rsh/rsync
 
230
 
 
231
  - perhaps a pattern that matches only directories or non-directories
 
232
 
 
233
* Consider using Python logging library as well as/instead of
 
234
  bzrlib.trace.
 
235
 
 
236
* Commands should give some progress indication by default.
 
237
 
 
238
  - But quieten this with ``--silent``.
 
239
 
 
240
* Change to using gettext message localization.
 
241
 
 
242
* Make a clearer separation between internal and external bzrlib
 
243
  interfaces.  Make internal interfaces use protected names.  Write at
 
244
  least some documentation for those APIs, probably as docstrings.
 
245
 
 
246
  Consider using ZopeInterface definitions for the external interface;
 
247
  I think these are already used in PyBaz.  They allow automatic
 
248
  checking of the interface but may be unfamiliar to general Python
 
249
  developers, so I'm not really keen.
 
250
 
 
251
* Commands to dump out all command help into a manpage or HTML file or
 
252
  whatever.
 
253
 
 
254
* Handle symlinks in the working directory; at the very least it
 
255
  should be possible for them to be present and ignored/unknown
 
256
  without causing assertion failures.
 
257
 
 
258
  Eventually symlinks should be versioned.
 
259
 
 
260
* Allow init in a subdirectory to create a nested repository, but only
 
261
  if the subdirectory is not already versioned.   Perhaps also require
 
262
  a ``--nested`` to protect against confusion.
 
263
 
 
264
* Branch names?
 
265
 
 
266
* More test framework:
 
267
 
 
268
  - Class that describes the state of a working tree so we can just
 
269
    assert it's equal.
 
270
 
 
271
* There are too many methods on Branch() that really manipulate the
 
272
  WorkingTree.  They should be moved across.
 
273
 
 
274
  Also there are some methods which are duplicated on Tree and
 
275
  Inventory objects, and it should be made more clear which ones are
 
276
  proxies and which ones behave differently, and how.
 
277
 
 
278
* Try using XSLT to add some formatting to REST-generated HTML.  Or
 
279
  maybe write a small Python program that specifies a header and foot
 
280
  for the pages and calls into the docutils libraries.
 
281
 
 
282
* --format=xml for log, status and other commands.
 
283
 
 
284
* Attempting to explicitly add a file that's already added should give
 
285
  a warning; however there should be no warning for directories (since
 
286
  we scan for new children) or files encountered in a directory that's
 
287
  being scanned.
 
288
 
 
289
* Better handling of possible collisions on case-losing filesystems;
 
290
  make sure a single file does not get added twice under different
 
291
  names.
 
292
 
 
293
* Clean up XML inventory:
 
294
 
 
295
  - Use nesting rather than parent_id pointers.
 
296
 
 
297
  - Hold the ElementTree in memory in the Inventory object and work
 
298
    directly on that, rather than converting into Python objects every
 
299
    time it is read in.  Probably still exposoe it through some kind of
 
300
    object interface though, but perhaps that should just be a proxy
 
301
    for the elements.
 
302
 
 
303
  - Less special cases for the root directory.
 
304
 
 
305
* Perhaps inventories should remember the revision in which each file
 
306
  was last changed, as well as its current state?  This is a bit
 
307
  redundant but might often be interested to know.
 
308
 
 
309
* stat cache should perhaps only stat files as necessary, rather than
 
310
  doing them all up-front.  On the other hand, that disallows the
 
311
  opimization of stating them in inode order.
 
312
 
 
313
* It'd be nice to pipeline multiple HTTP requests.  Often we can
 
314
  predict what will be wanted in future: all revisions, or all texts
 
315
  in a particular revision, etc.
 
316
 
 
317
  urlgrabber's docs say they are working on batched downloads; we
 
318
  could perhaps ride on that or just create a background thread (ew).
 
319
 
 
320
* Paranoid mode where we never trust SHA-1 matches.
 
321
 
 
322
* Don't commit if there are no changes unless forced.
 
323
 
 
324
* --dry-run mode for commit?  (Or maybe just run with
 
325
  check-command=false?)
 
326
 
 
327
* Generally, be a bit more verbose unless --silent is specified.
 
328
 
 
329
* Function that finds all changes to files under a given directory;
 
330
  perhaps log should use this if a directory is given.
 
331
 
 
332
* XML attributes might have trouble with filenames containing \n and
 
333
  \r.  Do we really want to support this?  I think perhaps not.
 
334
 
 
335
* Remember execute bits, so that exports will work OK.
 
336
 
 
337
* Unify smart_add and plain Branch.add(); perhaps smart_add should
 
338
  just build a list of files to add and pass that to the regular add
 
339
  function.
 
340
 
 
341
* Function to list a directory, saying in which revision each file was
 
342
  last modified.  Useful for web and gui interfaces, and slow to
 
343
  compute one file at a time.
 
344
 
 
345
* unittest is standard, but the results are kind of ugly; would be
 
346
  nice to make it cleaner.
 
347
 
 
348
* Check locking is correct during merge-related operations.
 
349
 
 
350
* Perhaps attempts to get locks should timeout after some period of
 
351
  time, or at least display a progress message.
 
352
 
 
353
* Split out upgrade functionality from check command into a separate
 
354
  ``bzr upgrade``.
 
355
 
 
356
* Don't pass around command classes but rather pass objects.  This'd
 
357
  make it cleaner to construct objects wrapping external commands.
 
358
 
 
359
* Track all merged-in revisions in a versioned add-only metafile.
 
360
 
 
361
* ``pull --clobber`` should discard any local changes not present
 
362
  remotely.  Not generally what you want, but possibly useful when
 
363
  you're just mirroring another branch and want to keep tracking it
 
364
  even when they e.g. uncommit or make similar non-forward movements.
 
365
  Also for push I suppose.  Clobber may not be the best name, maybe
 
366
  ``--destroy``?
 
367
 
 
368
* ``uncommit`` command that removes a revision from the end of the
 
369
  revision-history; just doing this is enough to remove the commit,
 
370
  and a new commit will automatically be made against the
 
371
  predecessor.  This can be repeated.
 
372
 
 
373
  It only makes sense to delete from the tail of history, not from the
 
374
  end.
 
375
 
 
376
  The revision, its inventory and texts remain floating in the store.
 
377
  We should perhaps add the revision to a list of removed-commits, so
 
378
  that it can be restored or at least accounted for when checking
 
379
  consistency.  This file would not be versioned, and probably should
 
380
  not propagate when branched.
 
381
 
 
382
  If we track merged revisions then we need to update this list too.
 
383
  If the list is stored in a weave it's easy (implicit): the version
 
384
  of the list can remain but it won't be referenced anymore.  It's
 
385
  probably best to just store this list in a weave in the first place
 
386
  and be done.
 
387
 
 
388
 
 
389
Large things
 
390
------------
 
391
 
 
392
* Generate annotations from current file relative to previous
 
393
  annotations.
 
394
 
 
395
  - Is it necessary to store any kind of annotation where data was
 
396
    deleted?
 
397
 
 
398
* Update revfile_ format and make it active:
 
399
 
 
400
  - Texts should be identified by something keyed on the revision, not
 
401
    an individual text-id.  This is much more useful for annotate I
 
402
    think; we want to map back to the revision that last changed it.
 
403
 
 
404
  - Access revfile revisions through the Tree/Store classes.
 
405
 
 
406
  - Check them from check commands.
 
407
 
 
408
  - Store annotations.
 
409
 
 
410
.. _revfile: revfile.html
 
411
 
 
412
* Hooks for pre-commit, post-commit, etc.
 
413
 
 
414
  Consider the security implications; probably should not enable hooks
 
415
  for remotely-fetched branches by default.
 
416
 
 
417
* Pre-commit check.  If this hook is defined, it needs to be handled
 
418
  specially: create a temporary directory containing the tree as it
 
419
  will be after the commit.  This means excluding any ignored/unknown
 
420
  files, and respecting selective commits.  Run the pre-commit check
 
421
  (e.g. compile and run test suite) in there.
 
422
 
 
423
  Possibly this should be done by splitting the commit function into
 
424
  several parts (under a single interface).  It is already rather
 
425
  large.  Decomposition:
 
426
 
 
427
   - find tree modifications and prepare in-memory inventory
 
428
 
 
429
   - export that inventory to a temporary directory
 
430
 
 
431
   - run the test in that temporary directory
 
432
 
 
433
   - if that succeeded, continue to actually finish the commit
 
434
 
 
435
  What should be done with the text of modified files while this is
 
436
  underway?  I don't think we want to count on holding them in memory
 
437
  and we can't trust the working files to stay in one place so I
 
438
  suppose we need to move them into the text store, or otherwise into
 
439
  a temporary directory.
 
440
 
 
441
  If the commit does not actually complete, we would rather the
 
442
  content was not left behind in the stores.
 
443
 
 
444
* Web interface
 
445
 
 
446
* GUI (maybe in Python GTK+?)
 
447
 
 
448
* C library interface
 
449
 
 
450
* Expansion of $Id$ keywords within working files.  Perhaps do this in
 
451
  exports first as a simpler case because then we don't need to deal
 
452
  with removing the tags on the way back in.
 
453
 
 
454
* ``bzr find``