~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/commit.py

  • Committer: Martin Pool
  • Date: 2005-09-30 05:56:05 UTC
  • mto: (1185.14.2)
  • mto: This revision was merged to the branch mainline in revision 1396.
  • Revision ID: mbp@sourcefrog.net-20050930055605-a2c534529b392a7d
- fix upgrade for transport changes

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006 Canonical Ltd
 
1
# Copyright (C) 2005 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
 
 
18
# XXX: Can we do any better about making interrupted commits change
 
19
# nothing?  Perhaps the best approach is to integrate commit of
 
20
# AtomicFiles with releasing the lock on the Branch.
 
21
 
 
22
# TODO: Separate 'prepare' phase where we find a list of potentially
 
23
# committed files.  We then can then pause the commit to prompt for a
 
24
# commit message, knowing the summary will be the same as what's
 
25
# actually used for the commit.  (But perhaps simpler to simply get
 
26
# the tree status, then use that for a selective commit?)
 
27
 
18
28
# The newly committed revision is going to have a shape corresponding
19
29
# to that of the working inventory.  Files that are not in the
20
30
# working tree and that were in the predecessor are reported as
34
44
# TODO: Update hashcache before and after - or does the WorkingTree
35
45
# look after that?
36
46
 
 
47
# This code requires all merge parents to be present in the branch.
 
48
# We could relax this but for the sake of simplicity the constraint is
 
49
# here for now.  It's not totally clear to me how we'd know which file
 
50
# need new text versions if some parents are absent.  -- mbp 20050915
 
51
 
37
52
# TODO: Rather than mashing together the ancestry and storing it back,
38
53
# perhaps the weave should have single method which does it all in one
39
54
# go, avoiding a lot of redundant work.
46
61
# merges from, then it should still be reported as newly added
47
62
# relative to the basis revision.
48
63
 
49
 
# TODO: Change the parameter 'rev_id' to 'revision_id' to be consistent with
50
 
# the rest of the code; add a deprecation of the old name.
51
64
 
52
65
import os
53
66
import re
54
67
import sys
55
68
import time
 
69
import pdb
56
70
 
 
71
from binascii import hexlify
57
72
from cStringIO import StringIO
58
73
 
59
 
from bzrlib import (
60
 
    errors,
61
 
    inventory,
62
 
    tree,
63
 
    )
64
 
from bzrlib.branch import Branch
65
 
import bzrlib.config
 
74
from bzrlib.osutils import (local_time_offset, username,
 
75
                            rand_bytes, compact_date, user_email,
 
76
                            kind_marker, is_inside_any, quotefn,
 
77
                            sha_string, sha_strings, sha_file, isdir, isfile,
 
78
                            split_lines)
 
79
from bzrlib.branch import gen_file_id
66
80
from bzrlib.errors import (BzrError, PointlessCommit,
67
 
                           ConflictsInTree,
68
 
                           StrictCommitFailed
 
81
                           HistoryMissing,
69
82
                           )
70
 
from bzrlib.osutils import (kind_marker, isdir,isfile, is_inside_any, 
71
 
                            is_inside_or_parent_of_any,
72
 
                            quotefn, sha_file, split_lines)
73
 
from bzrlib.testament import Testament
 
83
from bzrlib.revision import Revision
74
84
from bzrlib.trace import mutter, note, warning
75
85
from bzrlib.xml5 import serializer_v5
76
 
from bzrlib.inventory import Inventory, InventoryEntry
77
 
from bzrlib import symbol_versioning
78
 
from bzrlib.symbol_versioning import (deprecated_passed,
79
 
        deprecated_function,
80
 
        DEPRECATED_PARAMETER)
81
 
from bzrlib.workingtree import WorkingTree
82
 
import bzrlib.ui
 
86
from bzrlib.inventory import Inventory
 
87
from bzrlib.weave import Weave
 
88
from bzrlib.weavefile import read_weave, write_weave_v5
 
89
from bzrlib.atomicfile import AtomicFile
 
90
 
 
91
 
 
92
def commit(*args, **kwargs):
 
93
    """Commit a new revision to a branch.
 
94
 
 
95
    Function-style interface for convenience of old callers.
 
96
 
 
97
    New code should use the Commit class instead.
 
98
    """
 
99
    ## XXX: Remove this in favor of Branch.commit?
 
100
    Commit().commit(*args, **kwargs)
83
101
 
84
102
 
85
103
class NullCommitReporter(object):
86
104
    """I report on progress of a commit."""
87
 
 
88
 
    def snapshot_change(self, change, path):
89
 
        pass
90
 
 
91
 
    def completed(self, revno, rev_id):
92
 
        pass
93
 
 
94
 
    def deleted(self, file_id):
95
 
        pass
96
 
 
97
 
    def escaped(self, escape_count, message):
98
 
        pass
99
 
 
100
 
    def missing(self, path):
101
 
        pass
102
 
 
103
 
    def renamed(self, change, old_path, new_path):
 
105
    def added(self, path):
 
106
        pass
 
107
 
 
108
    def removed(self, path):
 
109
        pass
 
110
 
 
111
    def renamed(self, old_path, new_path):
104
112
        pass
105
113
 
106
114
 
107
115
class ReportCommitToLog(NullCommitReporter):
108
 
 
109
 
    # this may be more useful if 'note' was replaced by an overridable
110
 
    # method on self, which would allow more trivial subclassing.
111
 
    # alternative, a callable could be passed in, allowing really trivial
112
 
    # reuse for some uis. RBC 20060511
113
 
 
114
 
    def snapshot_change(self, change, path):
115
 
        if change == 'unchanged':
116
 
            return
117
 
        if change == 'added' and path == '':
118
 
            return
119
 
        note("%s %s", change, path)
120
 
 
121
 
    def completed(self, revno, rev_id):
122
 
        note('Committed revision %d.', revno)
123
 
    
124
 
    def deleted(self, file_id):
125
 
        note('deleted %s', file_id)
126
 
 
127
 
    def escaped(self, escape_count, message):
128
 
        note("replaced %d control characters in message", escape_count)
129
 
 
130
 
    def missing(self, path):
131
 
        note('missing %s', path)
132
 
 
133
 
    def renamed(self, change, old_path, new_path):
134
 
        note('%s %s => %s', change, old_path, new_path)
 
116
    def added(self, path):
 
117
        note('added %s', path)
 
118
 
 
119
    def removed(self, path):
 
120
        note('removed %s', path)
 
121
 
 
122
    def renamed(self, old_path, new_path):
 
123
        note('renamed %s => %s', old_path, new_path)
135
124
 
136
125
 
137
126
class Commit(object):
147
136
            working inventory.
148
137
    """
149
138
    def __init__(self,
150
 
                 reporter=None,
151
 
                 config=None):
 
139
                 reporter=None):
152
140
        if reporter is not None:
153
141
            self.reporter = reporter
154
142
        else:
155
143
            self.reporter = NullCommitReporter()
156
 
        if config is not None:
157
 
            self.config = config
158
 
        else:
159
 
            self.config = None
 
144
 
160
145
        
161
146
    def commit(self,
162
 
               branch=DEPRECATED_PARAMETER, message=None,
 
147
               branch, message,
163
148
               timestamp=None,
164
149
               timezone=None,
165
150
               committer=None,
166
151
               specific_files=None,
167
152
               rev_id=None,
168
153
               allow_pointless=True,
169
 
               strict=False,
170
 
               verbose=False,
171
 
               revprops=None,
172
 
               working_tree=None,
173
 
               local=False,
174
 
               reporter=None,
175
 
               config=None,
176
 
               message_callback=None):
 
154
               verbose=False):
177
155
        """Commit working copy as a new revision.
178
156
 
179
 
        branch -- the deprecated branch to commit to. New callers should pass in 
180
 
                  working_tree instead
181
 
 
182
 
        message -- the commit message (it or message_callback is required)
183
 
 
184
157
        timestamp -- if not None, seconds-since-epoch for a
185
158
             postdated/predated commit.
186
159
 
194
167
 
195
168
        allow_pointless -- If true (default), commit even if nothing
196
169
            has changed and no merges are recorded.
197
 
 
198
 
        strict -- If true, don't allow a commit if the working tree
199
 
            contains unknown files.
200
 
 
201
 
        revprops -- Properties for new revision
202
 
        :param local: Perform a local only commit.
203
170
        """
204
171
        mutter('preparing to commit')
205
172
 
206
 
        if deprecated_passed(branch):
207
 
            symbol_versioning.warn("Commit.commit (branch, ...): The branch parameter is "
208
 
                 "deprecated as of bzr 0.8. Please use working_tree= instead.",
209
 
                 DeprecationWarning, stacklevel=2)
210
 
            self.branch = branch
211
 
            self.work_tree = self.branch.bzrdir.open_workingtree()
212
 
        elif working_tree is None:
213
 
            raise BzrError("One of branch and working_tree must be passed into commit().")
214
 
        else:
215
 
            self.work_tree = working_tree
216
 
            self.branch = self.work_tree.branch
217
 
        if message_callback is None:
218
 
            if message is not None:
219
 
                if isinstance(message, str):
220
 
                    message = message.decode(bzrlib.user_encoding)
221
 
                message_callback = lambda x: message
222
 
            else:
223
 
                raise BzrError("The message or message_callback keyword"
224
 
                               " parameter is required for commit().")
225
 
 
226
 
        self.bound_branch = None
227
 
        self.local = local
228
 
        self.master_branch = None
229
 
        self.master_locked = False
230
 
        self.rev_id = None
 
173
        self.branch = branch
 
174
        self.weave_store = branch.weave_store
 
175
        self.rev_id = rev_id
231
176
        self.specific_files = specific_files
232
177
        self.allow_pointless = allow_pointless
233
178
 
234
 
        if reporter is None and self.reporter is None:
235
 
            self.reporter = NullCommitReporter()
236
 
        elif reporter is not None:
237
 
            self.reporter = reporter
238
 
 
239
 
        self.work_tree.lock_write()
240
 
        self.pb = bzrlib.ui.ui_factory.nested_progress_bar()
241
 
        self.basis_tree = self.work_tree.basis_tree()
242
 
        self.basis_tree.lock_read()
 
179
        if timestamp is None:
 
180
            self.timestamp = time.time()
 
181
        else:
 
182
            self.timestamp = long(timestamp)
 
183
            
 
184
        if rev_id is None:
 
185
            self.rev_id = _gen_revision_id(self.branch, self.timestamp)
 
186
        else:
 
187
            self.rev_id = rev_id
 
188
 
 
189
        if committer is None:
 
190
            self.committer = username(self.branch)
 
191
        else:
 
192
            assert isinstance(committer, basestring), type(committer)
 
193
            self.committer = committer
 
194
 
 
195
        if timezone is None:
 
196
            self.timezone = local_time_offset()
 
197
        else:
 
198
            self.timezone = int(timezone)
 
199
 
 
200
        assert isinstance(message, basestring), type(message)
 
201
        self.message = message
 
202
        self._escape_commit_message()
 
203
 
 
204
        self.branch.lock_write()
243
205
        try:
244
 
            # Cannot commit with conflicts present.
245
 
            if len(self.work_tree.conflicts())>0:
246
 
                raise ConflictsInTree
247
 
 
248
 
            # setup the bound branch variables as needed.
249
 
            self._check_bound_branch()
250
 
 
251
 
            # check for out of date working trees
252
 
            try:
253
 
                first_tree_parent = self.work_tree.get_parent_ids()[0]
254
 
            except IndexError:
255
 
                # if there are no parents, treat our parent as 'None'
256
 
                # this is so that we still consier the master branch
257
 
                # - in a checkout scenario the tree may have no
258
 
                # parents but the branch may do.
259
 
                first_tree_parent = bzrlib.revision.NULL_REVISION
260
 
            old_revno, master_last = self.master_branch.last_revision_info()
261
 
            if master_last != first_tree_parent:
262
 
                if master_last != bzrlib.revision.NULL_REVISION:
263
 
                    raise errors.OutOfDateTree(self.work_tree)
264
 
            if self.branch.repository.has_revision(first_tree_parent):
265
 
                new_revno = old_revno + 1
266
 
            else:
267
 
                # ghost parents never appear in revision history.
268
 
                new_revno = 1
269
 
            if strict:
270
 
                # raise an exception as soon as we find a single unknown.
271
 
                for unknown in self.work_tree.unknowns():
272
 
                    raise StrictCommitFailed()
273
 
                   
274
 
            if self.config is None:
275
 
                self.config = self.branch.get_config()
276
 
 
 
206
            self.work_tree = self.branch.working_tree()
277
207
            self.work_inv = self.work_tree.inventory
 
208
            self.basis_tree = self.branch.basis_tree()
278
209
            self.basis_inv = self.basis_tree.inventory
279
 
            if specific_files is not None:
280
 
                # Ensure specified files are versioned
281
 
                # (We don't actually need the ids here)
282
 
                tree.find_ids_across_trees(specific_files, 
283
 
                                           [self.basis_tree, self.work_tree])
284
 
            # one to finish, one for rev and inventory, and one for each
285
 
            # inventory entry, and the same for the new inventory.
286
 
            # note that this estimate is too long when we do a partial tree
287
 
            # commit which excludes some new files from being considered.
288
 
            # The estimate is corrected when we populate the new inv.
289
 
            self.pb_total = len(self.work_inv) + 5
290
 
            self.pb_count = 0
291
210
 
292
211
            self._gather_parents()
293
212
            if len(self.parents) > 1 and self.specific_files:
294
 
                raise NotImplementedError('selected-file commit of merges is not supported yet: files %r',
295
 
                        self.specific_files)
296
 
            
297
 
            self.builder = self.branch.get_commit_builder(self.parents, 
298
 
                self.config, timestamp, timezone, committer, revprops, rev_id)
 
213
                raise NotImplementedError('selected-file commit of merges is not supported yet')
 
214
            self._check_parents_present()
299
215
            
300
216
            self._remove_deleted()
301
 
            self._populate_new_inv()
 
217
            self.new_inv = Inventory()
 
218
            self._store_entries()
302
219
            self._report_deletes()
303
 
 
304
 
            self._check_pointless()
305
 
 
306
 
            self._emit_progress_update()
307
 
            # TODO: Now the new inventory is known, check for conflicts and
308
 
            # prompt the user for a commit message.
309
 
            # ADHB 2006-08-08: If this is done, populate_new_inv should not add
310
 
            # weave lines, because nothing should be recorded until it is known
311
 
            # that commit will succeed.
312
 
            self.builder.finish_inventory()
313
 
            self._emit_progress_update()
314
 
            message = message_callback(self)
315
 
            assert isinstance(message, unicode), type(message)
316
 
            self.message = message
317
 
            self._escape_commit_message()
318
 
 
319
 
            self.rev_id = self.builder.commit(self.message)
320
 
            self._emit_progress_update()
321
 
            # revision data is in the local branch now.
322
 
            
323
 
            # upload revision data to the master.
324
 
            # this will propagate merged revisions too if needed.
325
 
            if self.bound_branch:
326
 
                self.master_branch.repository.fetch(self.branch.repository,
327
 
                                                    revision_id=self.rev_id)
328
 
                # now the master has the revision data
329
 
                # 'commit' to the master first so a timeout here causes the local
330
 
                # branch to be out of date
331
 
                self.master_branch.set_last_revision_info(new_revno,
332
 
                                                          self.rev_id)
333
 
 
334
 
            # and now do the commit locally.
335
 
            self.branch.set_last_revision_info(new_revno, self.rev_id)
336
 
 
337
 
            rev_tree = self.builder.revision_tree()
338
 
            self.work_tree.set_parent_trees([(self.rev_id, rev_tree)])
339
 
            # now the work tree is up to date with the branch
340
 
            
341
 
            self.reporter.completed(new_revno, self.rev_id)
342
 
            # old style commit hooks - should be deprecated ? (obsoleted in
343
 
            # 0.15)
344
 
            if self.config.post_commit() is not None:
345
 
                hooks = self.config.post_commit().split(' ')
346
 
                # this would be nicer with twisted.python.reflect.namedAny
347
 
                for hook in hooks:
348
 
                    result = eval(hook + '(branch, rev_id)',
349
 
                                  {'branch':self.branch,
350
 
                                   'bzrlib':bzrlib,
351
 
                                   'rev_id':self.rev_id})
352
 
            # new style commit hooks:
353
 
            if not self.bound_branch:
354
 
                hook_master = self.branch
355
 
                hook_local = None
356
 
            else:
357
 
                hook_master = self.master_branch
358
 
                hook_local = self.branch
359
 
            # With bound branches, when the master is behind the local branch,
360
 
            # the 'old_revno' and old_revid values here are incorrect.
361
 
            # XXX: FIXME ^. RBC 20060206
362
 
            if self.parents:
363
 
                old_revid = self.parents[0]
364
 
            else:
365
 
                old_revid = bzrlib.revision.NULL_REVISION
366
 
            for hook in Branch.hooks['post_commit']:
367
 
                hook(hook_local, hook_master, old_revno, old_revid, new_revno,
368
 
                    self.rev_id)
369
 
            self._emit_progress_update()
 
220
            self._set_name_versions()
 
221
 
 
222
            if not (self.allow_pointless
 
223
                    or len(self.parents) > 1
 
224
                    or self.new_inv != self.basis_inv):
 
225
                raise PointlessCommit()
 
226
 
 
227
            self._record_inventory()
 
228
            self._record_ancestry()
 
229
            self._make_revision()
 
230
            note('committed r%d {%s}', (self.branch.revno() + 1),
 
231
                 self.rev_id)
 
232
            self.branch.append_revision(self.rev_id)
 
233
            self.branch.set_pending_merges([])
370
234
        finally:
371
 
            self._cleanup()
372
 
        return self.rev_id
373
 
 
374
 
    def _any_real_changes(self):
375
 
        """Are there real changes between new_inventory and basis?
376
 
 
377
 
        For trees without rich roots, inv.root.revision changes every commit.
378
 
        But if that is the only change, we want to treat it as though there
379
 
        are *no* changes.
380
 
        """
381
 
        new_entries = self.builder.new_inventory.iter_entries()
382
 
        basis_entries = self.basis_inv.iter_entries()
383
 
        new_path, new_root_ie = new_entries.next()
384
 
        basis_path, basis_root_ie = basis_entries.next()
385
 
 
386
 
        # This is a copy of InventoryEntry.__eq__ only leaving out .revision
387
 
        def ie_equal_no_revision(this, other):
388
 
            return ((this.file_id == other.file_id)
389
 
                    and (this.name == other.name)
390
 
                    and (this.symlink_target == other.symlink_target)
391
 
                    and (this.text_sha1 == other.text_sha1)
392
 
                    and (this.text_size == other.text_size)
393
 
                    and (this.text_id == other.text_id)
394
 
                    and (this.parent_id == other.parent_id)
395
 
                    and (this.kind == other.kind)
396
 
                    and (this.executable == other.executable)
397
 
                    )
398
 
        if not ie_equal_no_revision(new_root_ie, basis_root_ie):
399
 
            return True
400
 
 
401
 
        for new_ie, basis_ie in zip(new_entries, basis_entries):
402
 
            if new_ie != basis_ie:
403
 
                return True
404
 
 
405
 
        # No actual changes present
406
 
        return False
407
 
 
408
 
    def _check_pointless(self):
409
 
        if self.allow_pointless:
410
 
            return
411
 
        # A merge with no effect on files
412
 
        if len(self.parents) > 1:
413
 
            return
414
 
        # work around the fact that a newly-initted tree does differ from its
415
 
        # basis
416
 
        if len(self.basis_inv) == 0 and len(self.builder.new_inventory) == 1:
417
 
            raise PointlessCommit()
418
 
        # Shortcut, if the number of entries changes, then we obviously have
419
 
        # a change
420
 
        if len(self.builder.new_inventory) != len(self.basis_inv):
421
 
            return
422
 
        # If length == 1, then we only have the root entry. Which means
423
 
        # that there is no real difference (only the root could be different)
424
 
        if (len(self.builder.new_inventory) != 1 and self._any_real_changes()):
425
 
            return
426
 
        raise PointlessCommit()
427
 
 
428
 
    def _check_bound_branch(self):
429
 
        """Check to see if the local branch is bound.
430
 
 
431
 
        If it is bound, then most of the commit will actually be
432
 
        done using the remote branch as the target branch.
433
 
        Only at the end will the local branch be updated.
434
 
        """
435
 
        if self.local and not self.branch.get_bound_location():
436
 
            raise errors.LocalRequiresBoundBranch()
437
 
 
438
 
        if not self.local:
439
 
            self.master_branch = self.branch.get_master_branch()
440
 
 
441
 
        if not self.master_branch:
442
 
            # make this branch the reference branch for out of date checks.
443
 
            self.master_branch = self.branch
444
 
            return
445
 
 
446
 
        # If the master branch is bound, we must fail
447
 
        master_bound_location = self.master_branch.get_bound_location()
448
 
        if master_bound_location:
449
 
            raise errors.CommitToDoubleBoundBranch(self.branch,
450
 
                    self.master_branch, master_bound_location)
451
 
 
452
 
        # TODO: jam 20051230 We could automatically push local
453
 
        #       commits to the remote branch if they would fit.
454
 
        #       But for now, just require remote to be identical
455
 
        #       to local.
456
 
        
457
 
        # Make sure the local branch is identical to the master
458
 
        master_info = self.master_branch.last_revision_info()
459
 
        local_info = self.branch.last_revision_info()
460
 
        if local_info != master_info:
461
 
            raise errors.BoundBranchOutOfDate(self.branch,
462
 
                    self.master_branch)
463
 
 
464
 
        # Now things are ready to change the master branch
465
 
        # so grab the lock
466
 
        self.bound_branch = self.branch
467
 
        self.master_branch.lock_write()
468
 
        self.master_locked = True
469
 
 
470
 
    def _cleanup(self):
471
 
        """Cleanup any open locks, progress bars etc."""
472
 
        cleanups = [self._cleanup_bound_branch,
473
 
                    self.basis_tree.unlock,
474
 
                    self.work_tree.unlock,
475
 
                    self.pb.finished]
476
 
        found_exception = None
477
 
        for cleanup in cleanups:
478
 
            try:
479
 
                cleanup()
480
 
            # we want every cleanup to run no matter what.
481
 
            # so we have a catchall here, but we will raise the
482
 
            # last encountered exception up the stack: and
483
 
            # typically this will be useful enough.
484
 
            except Exception, e:
485
 
                found_exception = e
486
 
        if found_exception is not None: 
487
 
            # don't do a plan raise, because the last exception may have been
488
 
            # trashed, e is our sure-to-work exception even though it loses the
489
 
            # full traceback. XXX: RBC 20060421 perhaps we could check the
490
 
            # exc_info and if its the same one do a plain raise otherwise 
491
 
            # 'raise e' as we do now.
492
 
            raise e
493
 
 
494
 
    def _cleanup_bound_branch(self):
495
 
        """Executed at the end of a try/finally to cleanup a bound branch.
496
 
 
497
 
        If the branch wasn't bound, this is a no-op.
498
 
        If it was, it resents self.branch to the local branch, instead
499
 
        of being the master.
500
 
        """
501
 
        if not self.bound_branch:
502
 
            return
503
 
        if self.master_locked:
504
 
            self.master_branch.unlock()
 
235
            self.branch.unlock()
 
236
 
 
237
 
 
238
 
 
239
    def _record_inventory(self):
 
240
        """Store the inventory for the new revision."""
 
241
        inv_text = serializer_v5.write_inventory_to_string(self.new_inv)
 
242
        self.inv_sha1 = sha_string(inv_text)
 
243
        s = self.branch.control_weaves
 
244
        s.add_text('inventory', self.rev_id,
 
245
                   split_lines(inv_text), self.parents)
505
246
 
506
247
    def _escape_commit_message(self):
507
248
        """Replace xml-incompatible control characters."""
508
 
        # FIXME: RBC 20060419 this should be done by the revision
509
 
        # serialiser not by commit. Then we can also add an unescaper
510
 
        # in the deserializer and start roundtripping revision messages
511
 
        # precisely. See repository_implementations/test_repository.py
512
 
        
513
249
        # Python strings can include characters that can't be
514
250
        # represented in well-formed XML; escape characters that
515
251
        # aren't listed in the XML specification
516
252
        # (http://www.w3.org/TR/REC-xml/#NT-Char).
 
253
        if isinstance(self.message, unicode):
 
254
            char_pattern = u'[^\x09\x0A\x0D\u0020-\uD7FF\uE000-\uFFFD]'
 
255
        else:
 
256
            # Use a regular 'str' as pattern to avoid having re.subn
 
257
            # return 'unicode' results.
 
258
            char_pattern = '[^x09\x0A\x0D\x20-\xFF]'
517
259
        self.message, escape_count = re.subn(
518
 
            u'[^\x09\x0A\x0D\u0020-\uD7FF\uE000-\uFFFD]+',
 
260
            char_pattern,
519
261
            lambda match: match.group(0).encode('unicode_escape'),
520
262
            self.message)
521
263
        if escape_count:
522
 
            self.reporter.escaped(escape_count, self.message)
 
264
            note("replaced %d control characters in message", escape_count)
 
265
 
 
266
    def _record_ancestry(self):
 
267
        """Append merged revision ancestry to the ancestry file.
 
268
 
 
269
        This should be the merged ancestry of all parents, plus the
 
270
        new revision id."""
 
271
        s = self.branch.control_weaves
 
272
        w = s.get_weave_or_empty('ancestry')
 
273
        lines = self._make_ancestry(w)
 
274
        w.add(self.rev_id, self.parents, lines)
 
275
        s.put_weave('ancestry', w)
 
276
 
 
277
 
 
278
    def _make_ancestry(self, ancestry_weave):
 
279
        """Return merged ancestry lines.
 
280
 
 
281
        The lines are revision-ids followed by newlines."""
 
282
        parent_ancestries = [ancestry_weave.get(p) for p in self.parents]
 
283
        new_lines = merge_ancestry_lines(self.rev_id, parent_ancestries)
 
284
        mutter('merged ancestry of {%s}:\n%s', self.rev_id, ''.join(new_lines))
 
285
        return new_lines
 
286
 
523
287
 
524
288
    def _gather_parents(self):
525
 
        """Record the parents of a merge for merge detection."""
526
 
        # TODO: Make sure that this list doesn't contain duplicate 
527
 
        # entries and the order is preserved when doing this.
528
 
        self.parents = self.work_tree.get_parent_ids()
529
 
        self.parent_invs = [self.basis_inv]
530
 
        for revision in self.parents[1:]:
531
 
            if self.branch.repository.has_revision(revision):
532
 
                mutter('commit parent revision {%s}', revision)
533
 
                inventory = self.branch.repository.get_inventory(revision)
534
 
                self.parent_invs.append(inventory)
535
 
            else:
536
 
                mutter('commit parent ghost revision {%s}', revision)
 
289
        pending_merges = self.branch.pending_merges()
 
290
        self.parents = []
 
291
        self.parent_trees = []
 
292
        precursor_id = self.branch.last_revision()
 
293
        if precursor_id:
 
294
            self.parents.append(precursor_id)
 
295
            self.parent_trees.append(self.basis_tree)
 
296
        self.parents += pending_merges
 
297
        self.parent_trees.extend(map(self.branch.revision_tree, pending_merges))
 
298
 
 
299
 
 
300
    def _check_parents_present(self):
 
301
        for parent_id in self.parents:
 
302
            mutter('commit parent revision {%s}', parent_id)
 
303
            if not self.branch.has_revision(parent_id):
 
304
                warning("can't commit a merge from an absent parent")
 
305
                raise HistoryMissing(self.branch, 'revision', parent_id)
 
306
 
 
307
            
 
308
    def _make_revision(self):
 
309
        """Record a new revision object for this commit."""
 
310
        self.rev = Revision(timestamp=self.timestamp,
 
311
                            timezone=self.timezone,
 
312
                            committer=self.committer,
 
313
                            message=self.message,
 
314
                            inventory_sha1=self.inv_sha1,
 
315
                            revision_id=self.rev_id)
 
316
        self.rev.parent_ids = self.parents
 
317
        rev_tmp = StringIO()
 
318
        serializer_v5.write_revision(self.rev, rev_tmp)
 
319
        rev_tmp.seek(0)
 
320
        self.branch.revision_store.add(rev_tmp, self.rev_id)
 
321
        mutter('new revision_id is {%s}', self.rev_id)
 
322
 
537
323
 
538
324
    def _remove_deleted(self):
539
325
        """Remove deleted files from the working inventories.
548
334
        """
549
335
        specific = self.specific_files
550
336
        deleted_ids = []
551
 
        deleted_paths = set()
552
337
        for path, ie in self.work_inv.iter_entries():
553
 
            if is_inside_any(deleted_paths, path):
554
 
                # The tree will delete the required ids recursively.
555
 
                continue
556
338
            if specific and not is_inside_any(specific, path):
557
339
                continue
558
340
            if not self.work_tree.has_filename(path):
559
 
                deleted_paths.add(path)
560
 
                self.reporter.missing(path)
 
341
                note('missing %s', path)
561
342
                deleted_ids.append(ie.file_id)
562
 
        self.work_tree.unversion(deleted_ids)
563
 
 
564
 
    def _populate_new_inv(self):
565
 
        """Build revision inventory.
566
 
 
567
 
        This creates a new empty inventory. Depending on
568
 
        which files are selected for commit, and what is present in the
569
 
        current tree, the new inventory is populated. inventory entries 
570
 
        which are candidates for modification have their revision set to
571
 
        None; inventory entries that are carried over untouched have their
572
 
        revision set to their prior value.
 
343
        if deleted_ids:
 
344
            for file_id in deleted_ids:
 
345
                del self.work_inv[file_id]
 
346
            self.branch._write_inventory(self.work_inv)
 
347
 
 
348
 
 
349
    def _find_file_parents(self, file_id):
 
350
        """Return the text versions and hashes for all file parents.
 
351
 
 
352
        Returned as a map from text version to inventory entry.
 
353
 
 
354
        This is a set containing the file versions in all parents
 
355
        revisions containing the file.  If the file is new, the set
 
356
        will be empty."""
 
357
        r = {}
 
358
        for tree in self.parent_trees:
 
359
            if file_id in tree.inventory:
 
360
                ie = tree.inventory[file_id]
 
361
                assert ie.kind == 'file'
 
362
                assert ie.file_id == file_id
 
363
                if ie.text_version in r:
 
364
                    assert r[ie.text_version] == ie
 
365
                else:
 
366
                    r[ie.text_version] = ie
 
367
        return r
 
368
 
 
369
 
 
370
    def _set_name_versions(self):
 
371
        """Pass over inventory and mark new entry version as needed.
 
372
 
 
373
        Files get a new name version when they are new, have a
 
374
        different parent, or a different name from in the
 
375
        basis inventory, or if the file is in a different place
 
376
        to any of the parents."""
 
377
        # XXX: Need to think more here about when the user has
 
378
        # made a specific decision on a particular value -- c.f.
 
379
        # mark-merge.  
 
380
        for path, ie in self.new_inv.iter_entries():
 
381
            old_version = None
 
382
            file_id = ie.file_id
 
383
            for parent_tree in self.parent_trees:
 
384
                parent_inv = parent_tree.inventory
 
385
                if file_id not in parent_inv:
 
386
                    continue
 
387
                parent_ie = parent_inv[file_id]
 
388
                if parent_ie.parent_id != ie.parent_id:
 
389
                    old_version = None
 
390
                    break
 
391
                elif parent_ie.name != ie.name:
 
392
                    old_version = None
 
393
                    break
 
394
                elif old_version is None:
 
395
                    old_version = parent_ie.name_version
 
396
                elif old_version != parent_ie.name_version:
 
397
                    old_version = None
 
398
                    break
 
399
                else:
 
400
                    pass                # so far so good
 
401
            if old_version is None:
 
402
                mutter('new name_version for {%s}', file_id)
 
403
                ie.name_version = self.rev_id
 
404
            else:
 
405
                mutter('name_version for {%s} inherited as {%s}',
 
406
                       file_id, old_version)
 
407
                ie.name_version = old_version
 
408
 
 
409
 
 
410
    def _store_entries(self):
 
411
        """Build revision inventory and store modified files.
 
412
 
 
413
        This is called with new_inv a new empty inventory.  Depending on
 
414
        which files are selected for commit, and which ones have
 
415
        been modified or merged, new inventory entries are built
 
416
        based on the working and parent inventories.
 
417
 
 
418
        As a side-effect this stores new text versions for committed
 
419
        files with text changes or merges.
 
420
 
 
421
        Each entry can have one of several things happen:
 
422
 
 
423
        carry_file -- carried from the previous version (if not
 
424
            selected for commit)
 
425
 
 
426
        commit_nonfile -- no text to worry about
 
427
 
 
428
        commit_old_text -- same text, may have moved
 
429
 
 
430
        commit_file -- new text version
573
431
        """
574
 
        # ESEPARATIONOFCONCERNS: this function is diffing and using the diff
575
 
        # results to create a new inventory at the same time, which results
576
 
        # in bugs like #46635.  Any reason not to use/enhance Tree.changes_from?
577
 
        # ADHB 11-07-2006
578
 
        mutter("Selecting files for commit with filter %s", self.specific_files)
579
 
        assert self.work_inv.root is not None
580
 
        entries = self.work_inv.iter_entries()
581
 
        if not self.builder.record_root_entry:
582
 
            symbol_versioning.warn('CommitBuilders should support recording'
583
 
                ' the root entry as of bzr 0.10.', DeprecationWarning, 
584
 
                stacklevel=1)
585
 
            self.builder.new_inventory.add(self.basis_inv.root.copy())
586
 
            entries.next()
587
 
            self._emit_progress_update()
588
 
        for path, new_ie in entries:
589
 
            self._emit_progress_update()
 
432
        for path, new_ie in self.work_inv.iter_entries():
590
433
            file_id = new_ie.file_id
591
 
            try:
592
 
                kind = self.work_tree.kind(file_id)
593
 
                if kind != new_ie.kind:
594
 
                    new_ie = inventory.make_entry(kind, new_ie.name,
595
 
                                                  new_ie.parent_id, file_id)
596
 
            except errors.NoSuchFile:
597
 
                pass
598
 
            # mutter('check %s {%s}', path, file_id)
599
 
            if (not self.specific_files or 
600
 
                is_inside_or_parent_of_any(self.specific_files, path)):
601
 
                    # mutter('%s selected for commit', path)
602
 
                    ie = new_ie.copy()
603
 
                    ie.revision = None
604
 
            else:
605
 
                # mutter('%s not selected for commit', path)
606
 
                if self.basis_inv.has_id(file_id):
607
 
                    ie = self.basis_inv[file_id].copy()
608
 
                else:
609
 
                    # this entry is new and not being committed
610
 
                    continue
611
 
            self.builder.record_entry_contents(ie, self.parent_invs, 
612
 
                path, self.work_tree)
613
 
            # describe the nature of the change that has occurred relative to
614
 
            # the basis inventory.
615
 
            if (self.basis_inv.has_id(ie.file_id)):
616
 
                basis_ie = self.basis_inv[ie.file_id]
617
 
            else:
618
 
                basis_ie = None
619
 
            change = ie.describe_change(basis_ie, ie)
620
 
            if change in (InventoryEntry.RENAMED, 
621
 
                InventoryEntry.MODIFIED_AND_RENAMED):
622
 
                old_path = self.basis_inv.id2path(ie.file_id)
623
 
                self.reporter.renamed(change, old_path, path)
624
 
            else:
625
 
                self.reporter.snapshot_change(change, path)
626
 
 
627
 
        if not self.specific_files:
628
 
            return
629
 
 
630
 
        # ignore removals that don't match filespec
631
 
        for path, new_ie in self.basis_inv.iter_entries():
632
 
            if new_ie.file_id in self.work_inv:
633
 
                continue
634
 
            if is_inside_any(self.specific_files, path):
635
 
                continue
636
 
            ie = new_ie.copy()
637
 
            ie.revision = None
638
 
            self.builder.record_entry_contents(ie, self.parent_invs, path,
639
 
                                               self.basis_tree)
640
 
 
641
 
    def _emit_progress_update(self):
642
 
        """Emit an update to the progress bar."""
643
 
        self.pb.update("Committing", self.pb_count, self.pb_total)
644
 
        self.pb_count += 1
 
434
            mutter('check %s {%s}', path, new_ie.file_id)
 
435
            if self.specific_files:
 
436
                if not is_inside_any(self.specific_files, path):
 
437
                    mutter('%s not selected for commit', path)
 
438
                    self._carry_file(file_id)
 
439
                    continue
 
440
            if new_ie.kind != 'file':
 
441
                self._commit_nonfile(file_id)
 
442
                continue
 
443
            
 
444
            file_parents = self._find_file_parents(file_id)
 
445
            mutter('parents of %s are %r', path, file_parents)
 
446
            if len(file_parents) == 1:
 
447
                parent_ie = file_parents.values()[0]
 
448
                wc_sha1 = self.work_tree.get_file_sha1(file_id)
 
449
                if parent_ie.text_sha1 == wc_sha1:
 
450
                    # text not changed or merged
 
451
                    self._commit_old_text(file_id, parent_ie)
 
452
                    continue
 
453
            # file is either new, or a file merge; need to record
 
454
            # a new version
 
455
            if len(file_parents) > 1:
 
456
                note('merged %s', path)
 
457
            elif len(file_parents) == 0:
 
458
                note('added %s', path)
 
459
            else:
 
460
                note('modified %s', path)
 
461
            self._commit_file(new_ie, file_id, file_parents)
 
462
 
 
463
 
 
464
    def _commit_nonfile(self, file_id):
 
465
        self.new_inv.add(self.work_inv[file_id].copy())
 
466
 
 
467
 
 
468
    def _carry_file(self, file_id):
 
469
        """Carry the file unchanged from the basis revision."""
 
470
        if self.basis_inv.has_id(file_id):
 
471
            self.new_inv.add(self.basis_inv[file_id].copy())
 
472
 
 
473
 
 
474
    def _commit_old_text(self, file_id, parent_ie):
 
475
        """Keep the same text as last time, but possibly a different name."""
 
476
        ie = self.work_inv[file_id].copy()
 
477
        ie.text_version = parent_ie.text_version
 
478
        ie.text_size = parent_ie.text_size
 
479
        ie.text_sha1 = parent_ie.text_sha1
 
480
        self.new_inv.add(ie)
 
481
 
645
482
 
646
483
    def _report_deletes(self):
647
 
        for path, ie in self.basis_inv.iter_entries():
648
 
            if ie.file_id not in self.builder.new_inventory:
649
 
                self.reporter.deleted(path)
650
 
 
651
 
 
 
484
        for file_id in self.basis_inv:
 
485
            if file_id not in self.new_inv:
 
486
                note('deleted %s', self.basis_inv.id2path(file_id))
 
487
 
 
488
 
 
489
    def _commit_file(self, new_ie, file_id, file_parents):                    
 
490
        mutter('store new text for {%s} in revision {%s}',
 
491
               file_id, self.rev_id)
 
492
        new_lines = self.work_tree.get_file(file_id).readlines()
 
493
        self._add_text_to_weave(file_id, new_lines, file_parents)
 
494
        new_ie.text_version = self.rev_id
 
495
        new_ie.text_sha1 = sha_strings(new_lines)
 
496
        new_ie.text_size = sum(map(len, new_lines))
 
497
        self.new_inv.add(new_ie)
 
498
 
 
499
 
 
500
    def _add_text_to_weave(self, file_id, new_lines, parents):
 
501
        self.weave_store.add_text(file_id, self.rev_id, new_lines, parents)
 
502
 
 
503
 
 
504
def _gen_revision_id(branch, when):
 
505
    """Return new revision-id."""
 
506
    s = '%s-%s-' % (user_email(branch), compact_date(when))
 
507
    s += hexlify(rand_bytes(8))
 
508
    return s
 
509
 
 
510
 
 
511
 
 
512
    
 
513
def merge_ancestry_lines(rev_id, ancestries):
 
514
    """Return merged ancestry lines.
 
515
 
 
516
    rev_id -- id of the new revision
 
517
    
 
518
    ancestries -- a sequence of ancestries for parent revisions,
 
519
        as newline-terminated line lists.
 
520
    """
 
521
    if len(ancestries) == 0:
 
522
        return [rev_id + '\n']
 
523
    seen = set(ancestries[0])
 
524
    ancs = ancestries[0][:]    
 
525
    for parent_ancestry in ancestries[1:]:
 
526
        for line in parent_ancestry:
 
527
            assert line[-1] == '\n'
 
528
            if line not in seen:
 
529
                ancs.append(line)
 
530
                seen.add(line)
 
531
    r = rev_id + '\n'
 
532
    assert r not in seen
 
533
    ancs.append(r)
 
534
    return ancs