~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/commit.py

  • Committer: Martin Pool
  • Date: 2005-07-04 12:26:02 UTC
  • Revision ID: mbp@sourcefrog.net-20050704122602-69901910521e62c3
- check command checks that all inventory-ids are the same as in the revision.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
2
 
#
 
1
# Copyright (C) 2005 Canonical Ltd
 
2
 
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
#
 
7
 
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
#
 
12
 
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
 
18
 
# The newly committed revision is going to have a shape corresponding
19
 
# to that of the working inventory.  Files that are not in the
20
 
# working tree and that were in the predecessor are reported as
21
 
# removed --- this can include files that were either removed from the
22
 
# inventory or deleted in the working tree.  If they were only
23
 
# deleted from disk, they are removed from the working inventory.
24
 
 
25
 
# We then consider the remaining entries, which will be in the new
26
 
# version.  Directory entries are simply copied across.  File entries
27
 
# must be checked to see if a new version of the file should be
28
 
# recorded.  For each parent revision inventory, we check to see what
29
 
# version of the file was present.  If the file was present in at
30
 
# least one tree, and if it was the same version in all the trees,
31
 
# then we can just refer to that version.  Otherwise, a new version
32
 
# representing the merger of the file versions must be added.
33
 
 
34
 
# TODO: Update hashcache before and after - or does the WorkingTree
35
 
# look after that?
36
 
 
37
 
# TODO: Rather than mashing together the ancestry and storing it back,
38
 
# perhaps the weave should have single method which does it all in one
39
 
# go, avoiding a lot of redundant work.
40
 
 
41
 
# TODO: Perhaps give a warning if one of the revisions marked as
42
 
# merged is already in the ancestry, and then don't record it as a
43
 
# distinct parent.
44
 
 
45
 
# TODO: If the file is newly merged but unchanged from the version it
46
 
# merges from, then it should still be reported as newly added
47
 
# relative to the basis revision.
48
 
 
49
 
# TODO: Change the parameter 'rev_id' to 'revision_id' to be consistent with
50
 
# the rest of the code; add a deprecation of the old name.
51
 
 
52
 
import os
53
 
import re
54
 
import sys
55
 
import time
56
 
 
57
 
from cStringIO import StringIO
58
 
 
59
 
from bzrlib import (
60
 
    debug,
61
 
    errors,
62
 
    inventory,
63
 
    tree,
64
 
    )
65
 
from bzrlib.branch import Branch
66
 
import bzrlib.config
67
 
from bzrlib.errors import (BzrError, PointlessCommit,
68
 
                           ConflictsInTree,
69
 
                           StrictCommitFailed
70
 
                           )
71
 
from bzrlib.osutils import (kind_marker, isdir,isfile, is_inside_any,
72
 
                            is_inside_or_parent_of_any,
73
 
                            minimum_path_selection,
74
 
                            quotefn, sha_file, split_lines)
75
 
from bzrlib.testament import Testament
76
 
from bzrlib.trace import mutter, note, warning, is_quiet
77
 
from bzrlib.xml5 import serializer_v5
78
 
from bzrlib.inventory import Inventory, InventoryEntry
79
 
from bzrlib import symbol_versioning
80
 
from bzrlib.symbol_versioning import (deprecated_passed,
81
 
        deprecated_function,
82
 
        DEPRECATED_PARAMETER)
83
 
from bzrlib.workingtree import WorkingTree
84
 
from bzrlib.urlutils import unescape_for_display
85
 
import bzrlib.ui
86
 
 
87
 
 
88
 
class NullCommitReporter(object):
89
 
    """I report on progress of a commit."""
90
 
 
91
 
    def started(self, revno, revid, location=None):
92
 
        pass
93
 
 
94
 
    def snapshot_change(self, change, path):
95
 
        pass
96
 
 
97
 
    def completed(self, revno, rev_id):
98
 
        pass
99
 
 
100
 
    def deleted(self, file_id):
101
 
        pass
102
 
 
103
 
    def escaped(self, escape_count, message):
104
 
        pass
105
 
 
106
 
    def missing(self, path):
107
 
        pass
108
 
 
109
 
    def renamed(self, change, old_path, new_path):
110
 
        pass
111
 
 
112
 
    def is_verbose(self):
113
 
        return False
114
 
 
115
 
 
116
 
class ReportCommitToLog(NullCommitReporter):
117
 
 
118
 
    def _note(self, format, *args):
119
 
        """Output a message.
120
 
 
121
 
        Subclasses may choose to override this method.
122
 
        """
123
 
        note(format, *args)
124
 
 
125
 
    def snapshot_change(self, change, path):
126
 
        if change == 'unchanged':
127
 
            return
128
 
        if change == 'added' and path == '':
129
 
            return
130
 
        self._note("%s %s", change, path)
131
 
 
132
 
    def started(self, revno, rev_id, location=None):
133
 
        if location is not None:
134
 
            location = ' to "' + unescape_for_display(location, 'utf-8') + '"'
135
 
        else:
136
 
            location = ''
137
 
        self._note('Committing revision %d%s.', revno, location)
138
 
 
139
 
    def completed(self, revno, rev_id):
140
 
        self._note('Committed revision %d.', revno)
141
 
 
142
 
    def deleted(self, file_id):
143
 
        self._note('deleted %s', file_id)
144
 
 
145
 
    def escaped(self, escape_count, message):
146
 
        self._note("replaced %d control characters in message", escape_count)
147
 
 
148
 
    def missing(self, path):
149
 
        self._note('missing %s', path)
150
 
 
151
 
    def renamed(self, change, old_path, new_path):
152
 
        self._note('%s %s => %s', change, old_path, new_path)
153
 
 
154
 
    def is_verbose(self):
155
 
        return True
156
 
 
157
 
 
158
 
class Commit(object):
159
 
    """Task of committing a new revision.
160
 
 
161
 
    This is a MethodObject: it accumulates state as the commit is
162
 
    prepared, and then it is discarded.  It doesn't represent
163
 
    historical revisions, just the act of recording a new one.
164
 
 
165
 
            missing_ids
166
 
            Modified to hold a list of files that have been deleted from
167
 
            the working directory; these should be removed from the
168
 
            working inventory.
169
 
    """
170
 
    def __init__(self,
171
 
                 reporter=None,
172
 
                 config=None):
173
 
        """Create a Commit object.
174
 
 
175
 
        :param reporter: the default reporter to use or None to decide later
176
 
        """
177
 
        self.reporter = reporter
178
 
        self.config = config
179
 
 
180
 
    def commit(self,
181
 
               message=None,
182
 
               timestamp=None,
183
 
               timezone=None,
184
 
               committer=None,
185
 
               specific_files=None,
186
 
               rev_id=None,
187
 
               allow_pointless=True,
188
 
               strict=False,
189
 
               verbose=False,
190
 
               revprops=None,
191
 
               working_tree=None,
192
 
               local=False,
193
 
               reporter=None,
194
 
               config=None,
195
 
               message_callback=None,
196
 
               recursive='down'):
197
 
        """Commit working copy as a new revision.
198
 
 
199
 
        :param message: the commit message (it or message_callback is required)
200
 
 
201
 
        :param timestamp: if not None, seconds-since-epoch for a
202
 
            postdated/predated commit.
203
 
 
204
 
        :param specific_files: If true, commit only those files.
205
 
 
206
 
        :param rev_id: If set, use this as the new revision id.
207
 
            Useful for test or import commands that need to tightly
208
 
            control what revisions are assigned.  If you duplicate
209
 
            a revision id that exists elsewhere it is your own fault.
210
 
            If null (default), a time/random revision id is generated.
211
 
 
212
 
        :param allow_pointless: If true (default), commit even if nothing
213
 
            has changed and no merges are recorded.
214
 
 
215
 
        :param strict: If true, don't allow a commit if the working tree
216
 
            contains unknown files.
217
 
 
218
 
        :param revprops: Properties for new revision
219
 
        :param local: Perform a local only commit.
220
 
        :param reporter: the reporter to use or None for the default
221
 
        :param verbose: if True and the reporter is not None, report everything
222
 
        :param recursive: If set to 'down', commit in any subtrees that have
223
 
            pending changes of any sort during this commit.
224
 
        """
225
 
        mutter('preparing to commit')
226
 
 
227
 
        if working_tree is None:
228
 
            raise BzrError("working_tree must be passed into commit().")
229
 
        else:
230
 
            self.work_tree = working_tree
231
 
            self.branch = self.work_tree.branch
232
 
            if getattr(self.work_tree, 'requires_rich_root', lambda: False)():
233
 
                if not self.branch.repository.supports_rich_root():
234
 
                    raise errors.RootNotRich()
235
 
        if message_callback is None:
236
 
            if message is not None:
237
 
                if isinstance(message, str):
238
 
                    message = message.decode(bzrlib.user_encoding)
239
 
                message_callback = lambda x: message
240
 
            else:
241
 
                raise BzrError("The message or message_callback keyword"
242
 
                               " parameter is required for commit().")
243
 
 
244
 
        self.bound_branch = None
245
 
        self.any_entries_changed = False
246
 
        self.any_entries_deleted = False
247
 
        self.local = local
248
 
        self.master_branch = None
249
 
        self.master_locked = False
250
 
        self.rev_id = None
251
 
        if specific_files is not None:
252
 
            self.specific_files = sorted(
253
 
                minimum_path_selection(specific_files))
254
 
        else:
255
 
            self.specific_files = None
256
 
        self.specific_file_ids = None
257
 
        self.allow_pointless = allow_pointless
258
 
        self.recursive = recursive
259
 
        self.revprops = revprops
260
 
        self.message_callback = message_callback
261
 
        self.timestamp = timestamp
262
 
        self.timezone = timezone
263
 
        self.committer = committer
264
 
        self.strict = strict
265
 
        self.verbose = verbose
266
 
 
267
 
        self.work_tree.lock_write()
268
 
        self.pb = bzrlib.ui.ui_factory.nested_progress_bar()
269
 
        self.basis_tree = self.work_tree.basis_tree()
270
 
        self.basis_tree.lock_read()
271
 
        try:
272
 
            # Cannot commit with conflicts present.
273
 
            if len(self.work_tree.conflicts()) > 0:
274
 
                raise ConflictsInTree
275
 
 
276
 
            # Setup the bound branch variables as needed.
277
 
            self._check_bound_branch()
278
 
 
279
 
            # Check that the working tree is up to date
280
 
            old_revno, new_revno = self._check_out_of_date_tree()
281
 
 
282
 
            # Complete configuration setup
283
 
            if reporter is not None:
284
 
                self.reporter = reporter
285
 
            elif self.reporter is None:
286
 
                self.reporter = self._select_reporter()
287
 
            if self.config is None:
288
 
                self.config = self.branch.get_config()
289
 
 
290
 
            # If provided, ensure the specified files are versioned
291
 
            if self.specific_files is not None:
292
 
                # Note: This routine
293
 
                # is being called because it raises PathNotVerisonedError
294
 
                # as a side effect of finding the IDs. We later use the ids we
295
 
                # found as input to the working tree inventory iterator, so we
296
 
                # only consider those ids rather than examining the whole tree
297
 
                # again.
298
 
                # XXX: Dont we have filter_unversioned to do this more
299
 
                # cheaply?
300
 
                self.specific_file_ids = tree.find_ids_across_trees(
301
 
                    specific_files, [self.basis_tree, self.work_tree])
302
 
 
303
 
            # Setup the progress bar. As the number of files that need to be
304
 
            # committed in unknown, progress is reported as stages.
305
 
            # We keep track of entries separately though and include that
306
 
            # information in the progress bar during the relevant stages.
307
 
            self.pb_stage_name = ""
308
 
            self.pb_stage_count = 0
309
 
            self.pb_stage_total = 5
310
 
            if self.bound_branch:
311
 
                self.pb_stage_total += 1
312
 
            self.pb.show_pct = False
313
 
            self.pb.show_spinner = False
314
 
            self.pb.show_eta = False
315
 
            self.pb.show_count = True
316
 
            self.pb.show_bar = True
317
 
 
318
 
            # After a merge, a selected file commit is not supported.
319
 
            # See 'bzr help merge' for an explanation as to why.
320
 
            self.basis_inv = self.basis_tree.inventory
321
 
            self._gather_parents()
322
 
            if len(self.parents) > 1 and self.specific_files:
323
 
                raise errors.CannotCommitSelectedFileMerge(self.specific_files)
324
 
 
325
 
            # Collect the changes
326
 
            self._set_progress_stage("Collecting changes",
327
 
                    entries_title="Directory")
328
 
            self.builder = self.branch.get_commit_builder(self.parents,
329
 
                self.config, timestamp, timezone, committer, revprops, rev_id)
330
 
            
331
 
            try:
332
 
                # find the location being committed to
333
 
                if self.bound_branch:
334
 
                    master_location = self.master_branch.base
335
 
                else:
336
 
                    master_location = self.branch.base
337
 
 
338
 
                # report the start of the commit
339
 
                self.reporter.started(new_revno, self.rev_id, master_location)
340
 
 
341
 
                self._update_builder_with_changes()
342
 
                self._check_pointless()
343
 
 
344
 
                # TODO: Now the new inventory is known, check for conflicts.
345
 
                # ADHB 2006-08-08: If this is done, populate_new_inv should not add
346
 
                # weave lines, because nothing should be recorded until it is known
347
 
                # that commit will succeed.
348
 
                self._set_progress_stage("Saving data locally")
349
 
                self.builder.finish_inventory()
350
 
 
351
 
                # Prompt the user for a commit message if none provided
352
 
                message = message_callback(self)
353
 
                assert isinstance(message, unicode), type(message)
354
 
                self.message = message
355
 
                self._escape_commit_message()
356
 
 
357
 
                # Add revision data to the local branch
358
 
                self.rev_id = self.builder.commit(self.message)
359
 
 
360
 
            except:
361
 
                self.builder.abort()
362
 
                raise
363
 
 
364
 
            self._process_pre_hooks(old_revno, new_revno)
365
 
 
366
 
            # Upload revision data to the master.
367
 
            # this will propagate merged revisions too if needed.
368
 
            if self.bound_branch:
369
 
                self._set_progress_stage("Uploading data to master branch")
370
 
                self.master_branch.repository.fetch(self.branch.repository,
371
 
                                                    revision_id=self.rev_id)
372
 
                # now the master has the revision data
373
 
                # 'commit' to the master first so a timeout here causes the
374
 
                # local branch to be out of date
375
 
                self.master_branch.set_last_revision_info(new_revno,
376
 
                                                          self.rev_id)
377
 
 
378
 
            # and now do the commit locally.
379
 
            self.branch.set_last_revision_info(new_revno, self.rev_id)
380
 
 
381
 
            # Make the working tree up to date with the branch
382
 
            self._set_progress_stage("Updating the working tree")
383
 
            rev_tree = self.builder.revision_tree()
384
 
            self.work_tree.set_parent_trees([(self.rev_id, rev_tree)])
385
 
            self.reporter.completed(new_revno, self.rev_id)
386
 
            self._process_post_hooks(old_revno, new_revno)
387
 
        finally:
388
 
            self._cleanup()
389
 
        return self.rev_id
390
 
 
391
 
    def _select_reporter(self):
392
 
        """Select the CommitReporter to use."""
393
 
        if is_quiet():
394
 
            return NullCommitReporter()
395
 
        return ReportCommitToLog()
396
 
 
397
 
    def _check_pointless(self):
398
 
        if self.allow_pointless:
399
 
            return
400
 
        # A merge with no effect on files
401
 
        if len(self.parents) > 1:
402
 
            return
403
 
        # work around the fact that a newly-initted tree does differ from its
404
 
        # basis
405
 
        if len(self.basis_inv) == 0 and len(self.builder.new_inventory) == 1:
406
 
            raise PointlessCommit()
407
 
        # Shortcut, if the number of entries changes, then we obviously have
408
 
        # a change
409
 
        if len(self.builder.new_inventory) != len(self.basis_inv):
410
 
            return
411
 
        # If length == 1, then we only have the root entry. Which means
412
 
        # that there is no real difference (only the root could be different)
413
 
        if len(self.builder.new_inventory) != 1 and (self.any_entries_changed
414
 
            or self.any_entries_deleted):
415
 
            return
416
 
        raise PointlessCommit()
417
 
 
418
 
    def _check_bound_branch(self):
419
 
        """Check to see if the local branch is bound.
420
 
 
421
 
        If it is bound, then most of the commit will actually be
422
 
        done using the remote branch as the target branch.
423
 
        Only at the end will the local branch be updated.
424
 
        """
425
 
        if self.local and not self.branch.get_bound_location():
426
 
            raise errors.LocalRequiresBoundBranch()
427
 
 
428
 
        if not self.local:
429
 
            self.master_branch = self.branch.get_master_branch()
430
 
 
431
 
        if not self.master_branch:
432
 
            # make this branch the reference branch for out of date checks.
433
 
            self.master_branch = self.branch
434
 
            return
435
 
 
436
 
        # If the master branch is bound, we must fail
437
 
        master_bound_location = self.master_branch.get_bound_location()
438
 
        if master_bound_location:
439
 
            raise errors.CommitToDoubleBoundBranch(self.branch,
440
 
                    self.master_branch, master_bound_location)
441
 
 
442
 
        # TODO: jam 20051230 We could automatically push local
443
 
        #       commits to the remote branch if they would fit.
444
 
        #       But for now, just require remote to be identical
445
 
        #       to local.
446
 
        
447
 
        # Make sure the local branch is identical to the master
448
 
        master_info = self.master_branch.last_revision_info()
449
 
        local_info = self.branch.last_revision_info()
450
 
        if local_info != master_info:
451
 
            raise errors.BoundBranchOutOfDate(self.branch,
452
 
                    self.master_branch)
453
 
 
454
 
        # Now things are ready to change the master branch
455
 
        # so grab the lock
456
 
        self.bound_branch = self.branch
457
 
        self.master_branch.lock_write()
458
 
        self.master_locked = True
459
 
 
460
 
    def _check_out_of_date_tree(self):
461
 
        """Check that the working tree is up to date.
462
 
 
463
 
        :return: old_revision_number,new_revision_number tuple
464
 
        """
465
 
        try:
466
 
            first_tree_parent = self.work_tree.get_parent_ids()[0]
467
 
        except IndexError:
468
 
            # if there are no parents, treat our parent as 'None'
469
 
            # this is so that we still consider the master branch
470
 
            # - in a checkout scenario the tree may have no
471
 
            # parents but the branch may do.
472
 
            first_tree_parent = bzrlib.revision.NULL_REVISION
473
 
        old_revno, master_last = self.master_branch.last_revision_info()
474
 
        if master_last != first_tree_parent:
475
 
            if master_last != bzrlib.revision.NULL_REVISION:
476
 
                raise errors.OutOfDateTree(self.work_tree)
477
 
        if self.branch.repository.has_revision(first_tree_parent):
478
 
            new_revno = old_revno + 1
479
 
        else:
480
 
            # ghost parents never appear in revision history.
481
 
            new_revno = 1
482
 
        return old_revno,new_revno
483
 
 
484
 
    def _process_pre_hooks(self, old_revno, new_revno):
485
 
        """Process any registered pre commit hooks."""
486
 
        self._set_progress_stage("Running pre_commit hooks")
487
 
        self._process_hooks("pre_commit", old_revno, new_revno)
488
 
 
489
 
    def _process_post_hooks(self, old_revno, new_revno):
490
 
        """Process any registered post commit hooks."""
491
 
        # Process the post commit hooks, if any
492
 
        self._set_progress_stage("Running post_commit hooks")
493
 
        # old style commit hooks - should be deprecated ? (obsoleted in
494
 
        # 0.15)
495
 
        if self.config.post_commit() is not None:
496
 
            hooks = self.config.post_commit().split(' ')
497
 
            # this would be nicer with twisted.python.reflect.namedAny
498
 
            for hook in hooks:
499
 
                result = eval(hook + '(branch, rev_id)',
500
 
                              {'branch':self.branch,
501
 
                               'bzrlib':bzrlib,
502
 
                               'rev_id':self.rev_id})
503
 
        # process new style post commit hooks
504
 
        self._process_hooks("post_commit", old_revno, new_revno)
505
 
 
506
 
    def _process_hooks(self, hook_name, old_revno, new_revno):
507
 
        if not Branch.hooks[hook_name]:
508
 
            return
509
 
        
510
 
        # new style commit hooks:
511
 
        if not self.bound_branch:
512
 
            hook_master = self.branch
513
 
            hook_local = None
514
 
        else:
515
 
            hook_master = self.master_branch
516
 
            hook_local = self.branch
517
 
        # With bound branches, when the master is behind the local branch,
518
 
        # the 'old_revno' and old_revid values here are incorrect.
519
 
        # XXX: FIXME ^. RBC 20060206
520
 
        if self.parents:
521
 
            old_revid = self.parents[0]
522
 
        else:
523
 
            old_revid = bzrlib.revision.NULL_REVISION
524
 
        
525
 
        if hook_name == "pre_commit":
526
 
            future_tree = self.builder.revision_tree()
527
 
            tree_delta = future_tree.changes_from(self.basis_tree,
528
 
                                             include_root=True)
529
 
        
530
 
        for hook in Branch.hooks[hook_name]:
531
 
            # show the running hook in the progress bar. As hooks may
532
 
            # end up doing nothing (e.g. because they are not configured by
533
 
            # the user) this is still showing progress, not showing overall
534
 
            # actions - its up to each plugin to show a UI if it want's to
535
 
            # (such as 'Emailing diff to foo@example.com').
536
 
            self.pb_stage_name = "Running %s hooks [%s]" % \
537
 
                (hook_name, Branch.hooks.get_hook_name(hook))
538
 
            self._emit_progress()
539
 
            if 'hooks' in debug.debug_flags:
540
 
                mutter("Invoking commit hook: %r", hook)
541
 
            if hook_name == "post_commit":
542
 
                hook(hook_local, hook_master, old_revno, old_revid, new_revno,
543
 
                     self.rev_id)
544
 
            elif hook_name == "pre_commit":
545
 
                hook(hook_local, hook_master,
546
 
                     old_revno, old_revid, new_revno, self.rev_id,
547
 
                     tree_delta, future_tree)
548
 
 
549
 
    def _cleanup(self):
550
 
        """Cleanup any open locks, progress bars etc."""
551
 
        cleanups = [self._cleanup_bound_branch,
552
 
                    self.basis_tree.unlock,
553
 
                    self.work_tree.unlock,
554
 
                    self.pb.finished]
555
 
        found_exception = None
556
 
        for cleanup in cleanups:
557
 
            try:
558
 
                cleanup()
559
 
            # we want every cleanup to run no matter what.
560
 
            # so we have a catchall here, but we will raise the
561
 
            # last encountered exception up the stack: and
562
 
            # typically this will be useful enough.
563
 
            except Exception, e:
564
 
                found_exception = e
565
 
        if found_exception is not None: 
566
 
            # don't do a plan raise, because the last exception may have been
567
 
            # trashed, e is our sure-to-work exception even though it loses the
568
 
            # full traceback. XXX: RBC 20060421 perhaps we could check the
569
 
            # exc_info and if its the same one do a plain raise otherwise 
570
 
            # 'raise e' as we do now.
571
 
            raise e
572
 
 
573
 
    def _cleanup_bound_branch(self):
574
 
        """Executed at the end of a try/finally to cleanup a bound branch.
575
 
 
576
 
        If the branch wasn't bound, this is a no-op.
577
 
        If it was, it resents self.branch to the local branch, instead
578
 
        of being the master.
579
 
        """
580
 
        if not self.bound_branch:
581
 
            return
582
 
        if self.master_locked:
583
 
            self.master_branch.unlock()
584
 
 
585
 
    def _escape_commit_message(self):
586
 
        """Replace xml-incompatible control characters."""
587
 
        # FIXME: RBC 20060419 this should be done by the revision
588
 
        # serialiser not by commit. Then we can also add an unescaper
589
 
        # in the deserializer and start roundtripping revision messages
590
 
        # precisely. See repository_implementations/test_repository.py
591
 
        
592
 
        # Python strings can include characters that can't be
593
 
        # represented in well-formed XML; escape characters that
594
 
        # aren't listed in the XML specification
595
 
        # (http://www.w3.org/TR/REC-xml/#NT-Char).
596
 
        self.message, escape_count = re.subn(
597
 
            u'[^\x09\x0A\x0D\u0020-\uD7FF\uE000-\uFFFD]+',
598
 
            lambda match: match.group(0).encode('unicode_escape'),
599
 
            self.message)
600
 
        if escape_count:
601
 
            self.reporter.escaped(escape_count, self.message)
602
 
 
603
 
    def _gather_parents(self):
604
 
        """Record the parents of a merge for merge detection."""
605
 
        # TODO: Make sure that this list doesn't contain duplicate 
606
 
        # entries and the order is preserved when doing this.
607
 
        self.parents = self.work_tree.get_parent_ids()
608
 
        self.parent_invs = [self.basis_inv]
609
 
        for revision in self.parents[1:]:
610
 
            if self.branch.repository.has_revision(revision):
611
 
                mutter('commit parent revision {%s}', revision)
612
 
                inventory = self.branch.repository.get_inventory(revision)
613
 
                self.parent_invs.append(inventory)
614
 
            else:
615
 
                mutter('commit parent ghost revision {%s}', revision)
616
 
 
617
 
    def _update_builder_with_changes(self):
618
 
        """Update the commit builder with the data about what has changed.
619
 
        """
620
 
        # Build the revision inventory.
621
 
        #
622
 
        # This starts by creating a new empty inventory. Depending on
623
 
        # which files are selected for commit, and what is present in the
624
 
        # current tree, the new inventory is populated. inventory entries 
625
 
        # which are candidates for modification have their revision set to
626
 
        # None; inventory entries that are carried over untouched have their
627
 
        # revision set to their prior value.
628
 
        #
629
 
        # ESEPARATIONOFCONCERNS: this function is diffing and using the diff
630
 
        # results to create a new inventory at the same time, which results
631
 
        # in bugs like #46635.  Any reason not to use/enhance Tree.changes_from?
632
 
        # ADHB 11-07-2006
633
 
 
634
 
        specific_files = self.specific_files
635
 
        mutter("Selecting files for commit with filter %s", specific_files)
636
 
 
637
 
        # Check and warn about old CommitBuilders
638
 
        if not self.builder.record_root_entry:
639
 
            symbol_versioning.warn('CommitBuilders should support recording'
640
 
                ' the root entry as of bzr 0.10.', DeprecationWarning, 
641
 
                stacklevel=1)
642
 
            self.builder.new_inventory.add(self.basis_inv.root.copy())
643
 
 
644
 
        # Build the new inventory
645
 
        self._populate_from_inventory(specific_files)
646
 
 
647
 
        # If specific files are selected, then all un-selected files must be
648
 
        # recorded in their previous state. For more details, see
649
 
        # https://lists.ubuntu.com/archives/bazaar/2007q3/028476.html.
650
 
        if specific_files:
651
 
            for path, old_ie in self.basis_inv.iter_entries():
652
 
                if old_ie.file_id in self.builder.new_inventory:
653
 
                    continue
654
 
                if is_inside_any(specific_files, path):
655
 
                    continue
656
 
                if old_ie.kind == 'directory':
657
 
                    self._next_progress_entry()
658
 
                ie = old_ie.copy()
659
 
                # Note: specific file commits after a merge are currently
660
 
                # prohibited. This test is for sanity/safety in case it's
661
 
                # required after that changes.
662
 
                if len(self.parents) > 1:
663
 
                    ie.revision = None
664
 
                if self.builder.record_entry_contents(ie, self.parent_invs, path,
665
 
                    self.basis_tree):
666
 
                    self.any_entries_changed = True
667
 
 
668
 
        # note that deletes have occurred
669
 
        if set(self.basis_inv._byid.keys()) - set(self.builder.new_inventory._byid.keys()):
670
 
            self.any_entries_deleted = True
671
 
        # Report what was deleted.
672
 
        if self.any_entries_deleted and self.reporter.is_verbose():
673
 
            for path, ie in self.basis_inv.iter_entries():
674
 
                if ie.file_id not in self.builder.new_inventory:
675
 
                    self.reporter.deleted(path)
676
 
 
677
 
    def _populate_from_inventory(self, specific_files):
678
 
        """Populate the CommitBuilder by walking the working tree inventory."""
679
 
        if self.strict:
680
 
            # raise an exception as soon as we find a single unknown.
681
 
            for unknown in self.work_tree.unknowns():
682
 
                raise StrictCommitFailed()
683
 
               
684
 
        report_changes = self.reporter.is_verbose()
685
 
        deleted_ids = []
686
 
        deleted_paths = set()
687
 
        work_inv = self.work_tree.inventory
688
 
        assert work_inv.root is not None
689
 
        entries = work_inv.iter_entries_by_dir(
690
 
            specific_file_ids=self.specific_file_ids, yield_parents=True)
691
 
        if not self.builder.record_root_entry:
692
 
            entries.next()
693
 
        for path, existing_ie in entries:
694
 
            file_id = existing_ie.file_id
695
 
            name = existing_ie.name
696
 
            parent_id = existing_ie.parent_id
697
 
            kind = existing_ie.kind
698
 
            if kind == 'directory':
699
 
                self._next_progress_entry()
700
 
            # Skip files that have been deleted from the working tree.
701
 
            # The deleted files/directories are also recorded so they
702
 
            # can be explicitly unversioned later. Note that when a
703
 
            # filter of specific files is given, we must only skip/record
704
 
            # deleted files matching that filter.
705
 
            if is_inside_any(deleted_paths, path):
706
 
                continue
707
 
            if not self.work_tree.has_filename(path):
708
 
                deleted_paths.add(path)
709
 
                self.reporter.missing(path)
710
 
                deleted_ids.append(file_id)
711
 
                continue
712
 
            try:
713
 
                kind = self.work_tree.kind(file_id)
714
 
                # TODO: specific_files filtering before nested tree processing
715
 
                if kind == 'tree-reference' and self.recursive == 'down':
716
 
                    self._commit_nested_tree(file_id, path)
717
 
            except errors.NoSuchFile:
 
18
 
 
19
# FIXME: "bzr commit doc/format" commits doc/format.txt!
 
20
 
 
21
def commit(branch, message,
 
22
           timestamp=None,
 
23
           timezone=None,
 
24
           committer=None,
 
25
           verbose=True,
 
26
           specific_files=None,
 
27
           rev_id=None):
 
28
    """Commit working copy as a new revision.
 
29
 
 
30
    The basic approach is to add all the file texts into the
 
31
    store, then the inventory, then make a new revision pointing
 
32
    to that inventory and store that.
 
33
 
 
34
    This is not quite safe if the working copy changes during the
 
35
    commit; for the moment that is simply not allowed.  A better
 
36
    approach is to make a temporary copy of the files before
 
37
    computing their hashes, and then add those hashes in turn to
 
38
    the inventory.  This should mean at least that there are no
 
39
    broken hash pointers.  There is no way we can get a snapshot
 
40
    of the whole directory at an instant.  This would also have to
 
41
    be robust against files disappearing, moving, etc.  So the
 
42
    whole thing is a bit hard.
 
43
 
 
44
    timestamp -- if not None, seconds-since-epoch for a
 
45
         postdated/predated commit.
 
46
 
 
47
    specific_files
 
48
        If true, commit only those files.
 
49
 
 
50
    rev_id
 
51
        If set, use this as the new revision id.
 
52
        Useful for test or import commands that need to tightly
 
53
        control what revisions are assigned.  If you duplicate
 
54
        a revision id that exists elsewhere it is your own fault.
 
55
        If null (default), a time/random revision id is generated.
 
56
    """
 
57
 
 
58
    import time, tempfile
 
59
 
 
60
    from bzrlib.osutils import local_time_offset, username
 
61
    from bzrlib.branch import gen_file_id
 
62
    from bzrlib.errors import BzrError
 
63
    from bzrlib.revision import Revision, RevisionReference
 
64
    from bzrlib.trace import mutter, note
 
65
    from bzrlib.xml import pack_xml
 
66
 
 
67
    branch.lock_write()
 
68
 
 
69
    try:
 
70
        # First walk over the working inventory; and both update that
 
71
        # and also build a new revision inventory.  The revision
 
72
        # inventory needs to hold the text-id, sha1 and size of the
 
73
        # actual file versions committed in the revision.  (These are
 
74
        # not present in the working inventory.)  We also need to
 
75
        # detect missing/deleted files, and remove them from the
 
76
        # working inventory.
 
77
 
 
78
        work_tree = branch.working_tree()
 
79
        work_inv = work_tree.inventory
 
80
        basis = branch.basis_tree()
 
81
        basis_inv = basis.inventory
 
82
 
 
83
        if verbose:
 
84
            note('looking for changes...')
 
85
 
 
86
        pending_merges = branch.pending_merges()
 
87
 
 
88
        missing_ids, new_inv = _gather_commit(branch,
 
89
                                              work_tree,
 
90
                                              work_inv,
 
91
                                              basis_inv,
 
92
                                              specific_files,
 
93
                                              verbose)
 
94
 
 
95
        for file_id in missing_ids:
 
96
            # Any files that have been deleted are now removed from the
 
97
            # working inventory.  Files that were not selected for commit
 
98
            # are left as they were in the working inventory and ommitted
 
99
            # from the revision inventory.
 
100
 
 
101
            # have to do this later so we don't mess up the iterator.
 
102
            # since parents may be removed before their children we
 
103
            # have to test.
 
104
 
 
105
            # FIXME: There's probably a better way to do this; perhaps
 
106
            # the workingtree should know how to filter itbranch.
 
107
            if work_inv.has_id(file_id):
 
108
                del work_inv[file_id]
 
109
 
 
110
 
 
111
        if rev_id is None:
 
112
            rev_id = _gen_revision_id(time.time())
 
113
        inv_id = rev_id
 
114
 
 
115
        inv_tmp = tempfile.TemporaryFile()
 
116
        pack_xml(new_inv, inv_tmp)
 
117
        inv_tmp.seek(0)
 
118
        branch.inventory_store.add(inv_tmp, inv_id)
 
119
        mutter('new inventory_id is {%s}' % inv_id)
 
120
 
 
121
        # We could also just sha hash the inv_tmp file
 
122
        # however, in the case that branch.inventory_store.add()
 
123
        # ever actually does anything special
 
124
        inv_sha1 = branch.get_inventory_sha1(inv_id)
 
125
 
 
126
        branch._write_inventory(work_inv)
 
127
 
 
128
        if timestamp == None:
 
129
            timestamp = time.time()
 
130
 
 
131
        if committer == None:
 
132
            committer = username()
 
133
 
 
134
        if timezone == None:
 
135
            timezone = local_time_offset()
 
136
 
 
137
        mutter("building commit log message")
 
138
        rev = Revision(timestamp=timestamp,
 
139
                       timezone=timezone,
 
140
                       committer=committer,
 
141
                       message = message,
 
142
                       inventory_id=inv_id,
 
143
                       inventory_sha1=inv_sha1,
 
144
                       revision_id=rev_id)
 
145
 
 
146
        rev.parents = []
 
147
        precursor_id = branch.last_patch()
 
148
        if precursor_id:
 
149
            precursor_sha1 = branch.get_revision_sha1(precursor_id)
 
150
            rev.parents.append(RevisionReference(precursor_id, precursor_sha1))
 
151
        for merge_rev in pending_merges:
 
152
            rev.parents.append(RevisionReference(merge_rev))            
 
153
 
 
154
        rev_tmp = tempfile.TemporaryFile()
 
155
        pack_xml(rev, rev_tmp)
 
156
        rev_tmp.seek(0)
 
157
        branch.revision_store.add(rev_tmp, rev_id)
 
158
        mutter("new revision_id is {%s}" % rev_id)
 
159
 
 
160
        ## XXX: Everything up to here can simply be orphaned if we abort
 
161
        ## the commit; it will leave junk files behind but that doesn't
 
162
        ## matter.
 
163
 
 
164
        ## TODO: Read back the just-generated changeset, and make sure it
 
165
        ## applies and recreates the right state.
 
166
 
 
167
        ## TODO: Also calculate and store the inventory SHA1
 
168
        mutter("committing patch r%d" % (branch.revno() + 1))
 
169
 
 
170
        branch.append_revision(rev_id)
 
171
 
 
172
        branch.set_pending_merges([])
 
173
 
 
174
        if verbose:
 
175
            note("commited r%d" % branch.revno())
 
176
    finally:
 
177
        branch.unlock()
 
178
 
 
179
 
 
180
 
 
181
def _gen_revision_id(when):
 
182
    """Return new revision-id."""
 
183
    from binascii import hexlify
 
184
    from osutils import rand_bytes, compact_date, user_email
 
185
 
 
186
    s = '%s-%s-' % (user_email(), compact_date(when))
 
187
    s += hexlify(rand_bytes(8))
 
188
    return s
 
189
 
 
190
 
 
191
def _gather_commit(branch, work_tree, work_inv, basis_inv, specific_files,
 
192
                   verbose):
 
193
    """Build inventory preparatory to commit.
 
194
 
 
195
    This adds any changed files into the text store, and sets their
 
196
    test-id, sha and size in the returned inventory appropriately.
 
197
 
 
198
    missing_ids
 
199
        Modified to hold a list of files that have been deleted from
 
200
        the working directory; these should be removed from the
 
201
        working inventory.
 
202
    """
 
203
    from bzrlib.inventory import Inventory
 
204
    from osutils import isdir, isfile, sha_string, quotefn, \
 
205
         local_time_offset, username, kind_marker, is_inside_any
 
206
    
 
207
    from branch import gen_file_id
 
208
    from errors import BzrError
 
209
    from revision import Revision
 
210
    from bzrlib.trace import mutter, note
 
211
 
 
212
    inv = Inventory()
 
213
    missing_ids = []
 
214
    
 
215
    for path, entry in work_inv.iter_entries():
 
216
        ## TODO: Check that the file kind has not changed from the previous
 
217
        ## revision of this file (if any).
 
218
 
 
219
        p = branch.abspath(path)
 
220
        file_id = entry.file_id
 
221
        mutter('commit prep file %s, id %r ' % (p, file_id))
 
222
 
 
223
        if specific_files and not is_inside_any(specific_files, path):
 
224
            if basis_inv.has_id(file_id):
 
225
                # carry over with previous state
 
226
                inv.add(basis_inv[file_id].copy())
 
227
            else:
 
228
                # omit this from committed inventory
718
229
                pass
719
 
 
720
 
            # Record an entry for this item
721
 
            # Note: I don't particularly want to have the existing_ie
722
 
            # parameter but the test suite currently (28-Jun-07) breaks
723
 
            # without it thanks to a unicode normalisation issue. :-(
724
 
            definitely_changed = kind != existing_ie.kind
725
 
            self._record_entry(path, file_id, specific_files, kind, name,
726
 
                parent_id, definitely_changed, existing_ie, report_changes)
727
 
 
728
 
        # Unversion IDs that were found to be deleted
729
 
        self.work_tree.unversion(deleted_ids)
730
 
 
731
 
    def _commit_nested_tree(self, file_id, path):
732
 
        "Commit a nested tree."
733
 
        sub_tree = self.work_tree.get_nested_tree(file_id, path)
734
 
        # FIXME: be more comprehensive here:
735
 
        # this works when both trees are in --trees repository,
736
 
        # but when both are bound to a different repository,
737
 
        # it fails; a better way of approaching this is to 
738
 
        # finally implement the explicit-caches approach design
739
 
        # a while back - RBC 20070306.
740
 
        if sub_tree.branch.repository.has_same_location(
741
 
            self.work_tree.branch.repository):
742
 
            sub_tree.branch.repository = \
743
 
                self.work_tree.branch.repository
744
 
        try:
745
 
            sub_tree.commit(message=None, revprops=self.revprops,
746
 
                recursive=self.recursive,
747
 
                message_callback=self.message_callback,
748
 
                timestamp=self.timestamp, timezone=self.timezone,
749
 
                committer=self.committer,
750
 
                allow_pointless=self.allow_pointless,
751
 
                strict=self.strict, verbose=self.verbose,
752
 
                local=self.local, reporter=self.reporter)
753
 
        except errors.PointlessCommit:
754
 
            pass
755
 
 
756
 
    def _record_entry(self, path, file_id, specific_files, kind, name,
757
 
            parent_id, definitely_changed, existing_ie=None,
758
 
            report_changes=True):
759
 
        "Record the new inventory entry for a path if any."
760
 
        # mutter('check %s {%s}', path, file_id)
761
 
        # mutter('%s selected for commit', path)
762
 
        if definitely_changed or existing_ie is None:
763
 
            ie = inventory.make_entry(kind, name, parent_id, file_id)
764
 
        else:
765
 
            ie = existing_ie.copy()
766
 
            ie.revision = None
767
 
        if self.builder.record_entry_contents(ie, self.parent_invs, 
768
 
            path, self.work_tree):
769
 
            self.any_entries_changed = True
770
 
        if report_changes:
771
 
            self._report_change(ie, path)
772
 
        return ie
773
 
 
774
 
    def _report_change(self, ie, path):
775
 
        """Report a change to the user.
776
 
 
777
 
        The change that has occurred is described relative to the basis
778
 
        inventory.
779
 
        """
780
 
        if (self.basis_inv.has_id(ie.file_id)):
781
 
            basis_ie = self.basis_inv[ie.file_id]
782
 
        else:
783
 
            basis_ie = None
784
 
        change = ie.describe_change(basis_ie, ie)
785
 
        if change in (InventoryEntry.RENAMED, 
786
 
            InventoryEntry.MODIFIED_AND_RENAMED):
787
 
            old_path = self.basis_inv.id2path(ie.file_id)
788
 
            self.reporter.renamed(change, old_path, path)
789
 
        else:
790
 
            self.reporter.snapshot_change(change, path)
791
 
 
792
 
    def _set_progress_stage(self, name, entries_title=None):
793
 
        """Set the progress stage and emit an update to the progress bar."""
794
 
        self.pb_stage_name = name
795
 
        self.pb_stage_count += 1
796
 
        self.pb_entries_title = entries_title
797
 
        if entries_title is not None:
798
 
            self.pb_entries_count = 0
799
 
            self.pb_entries_total = '?'
800
 
        self._emit_progress()
801
 
 
802
 
    def _next_progress_entry(self):
803
 
        """Emit an update to the progress bar and increment the entry count."""
804
 
        self.pb_entries_count += 1
805
 
        self._emit_progress()
806
 
 
807
 
    def _emit_progress(self):
808
 
        if self.pb_entries_title:
809
 
            if self.pb_entries_total == '?':
810
 
                text = "%s [%s %d] - Stage" % (self.pb_stage_name,
811
 
                    self.pb_entries_title, self.pb_entries_count)
812
 
            else:
813
 
                text = "%s [%s %d/%s] - Stage" % (self.pb_stage_name,
814
 
                    self.pb_entries_title, self.pb_entries_count,
815
 
                    str(self.pb_entries_total))
816
 
        else:
817
 
            text = "%s - Stage" % (self.pb_stage_name)
818
 
        self.pb.update(text, self.pb_stage_count, self.pb_stage_total)
 
230
            continue
 
231
 
 
232
        if not work_tree.has_id(file_id):
 
233
            if verbose:
 
234
                print('deleted %s%s' % (path, kind_marker(entry.kind)))
 
235
            mutter("    file is missing, removing from inventory")
 
236
            missing_ids.append(file_id)
 
237
            continue
 
238
 
 
239
        # this is present in the new inventory; may be new, modified or
 
240
        # unchanged.
 
241
        old_ie = basis_inv.has_id(file_id) and basis_inv[file_id]
 
242
        
 
243
        entry = entry.copy()
 
244
        inv.add(entry)
 
245
 
 
246
        if old_ie:
 
247
            old_kind = old_ie.kind
 
248
            if old_kind != entry.kind:
 
249
                raise BzrError("entry %r changed kind from %r to %r"
 
250
                        % (file_id, old_kind, entry.kind))
 
251
 
 
252
        if entry.kind == 'directory':
 
253
            if not isdir(p):
 
254
                raise BzrError("%s is entered as directory but not a directory"
 
255
                               % quotefn(p))
 
256
        elif entry.kind == 'file':
 
257
            if not isfile(p):
 
258
                raise BzrError("%s is entered as file but is not a file" % quotefn(p))
 
259
 
 
260
            new_sha1 = work_tree.get_file_sha1(file_id)
 
261
 
 
262
            if (old_ie
 
263
                and old_ie.text_sha1 == new_sha1):
 
264
                ## assert content == basis.get_file(file_id).read()
 
265
                entry.text_id = old_ie.text_id
 
266
                entry.text_sha1 = new_sha1
 
267
                entry.text_size = old_ie.text_size
 
268
                mutter('    unchanged from previous text_id {%s}' %
 
269
                       entry.text_id)
 
270
            else:
 
271
                content = file(p, 'rb').read()
 
272
 
 
273
                # calculate the sha again, just in case the file contents
 
274
                # changed since we updated the cache
 
275
                entry.text_sha1 = sha_string(content)
 
276
                entry.text_size = len(content)
 
277
 
 
278
                entry.text_id = gen_file_id(entry.name)
 
279
                branch.text_store.add(content, entry.text_id)
 
280
                mutter('    stored with text_id {%s}' % entry.text_id)
 
281
 
 
282
        if verbose:
 
283
            marked = path + kind_marker(entry.kind)
 
284
            if not old_ie:
 
285
                print 'added', marked
 
286
            elif old_ie == entry:
 
287
                pass                    # unchanged
 
288
            elif (old_ie.name == entry.name
 
289
                  and old_ie.parent_id == entry.parent_id):
 
290
                print 'modified', marked
 
291
            else:
 
292
                print 'renamed', marked
 
293
                        
 
294
    return missing_ids, inv
 
295
 
819
296