~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/commit.py

  • Committer: Patch Queue Manager
  • Date: 2011-09-22 14:12:18 UTC
  • mfrom: (6155.3.1 jam)
  • Revision ID: pqm@pqm.ubuntu.com-20110922141218-86s4uu6nqvourw4f
(jameinel) Cleanup comments bzrlib/smart/__init__.py (John A Meinel)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
 
18
 
# XXX: Can we do any better about making interrupted commits change
19
 
# nothing?  Perhaps the best approach is to integrate commit of
20
 
# AtomicFiles with releasing the lock on the Branch.
21
 
 
22
 
# TODO: Separate 'prepare' phase where we find a list of potentially
23
 
# committed files.  We then can then pause the commit to prompt for a
24
 
# commit message, knowing the summary will be the same as what's
25
 
# actually used for the commit.  (But perhaps simpler to simply get
26
 
# the tree status, then use that for a selective commit?)
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
27
17
 
28
18
# The newly committed revision is going to have a shape corresponding
29
 
# to that of the working inventory.  Files that are not in the
 
19
# to that of the working tree.  Files that are not in the
30
20
# working tree and that were in the predecessor are reported as
31
21
# removed --- this can include files that were either removed from the
32
22
# inventory or deleted in the working tree.  If they were only
35
25
# We then consider the remaining entries, which will be in the new
36
26
# version.  Directory entries are simply copied across.  File entries
37
27
# must be checked to see if a new version of the file should be
38
 
# recorded.  For each parent revision inventory, we check to see what
 
28
# recorded.  For each parent revision tree, we check to see what
39
29
# version of the file was present.  If the file was present in at
40
30
# least one tree, and if it was the same version in all the trees,
41
31
# then we can just refer to that version.  Otherwise, a new version
56
46
# merges from, then it should still be reported as newly added
57
47
# relative to the basis revision.
58
48
 
59
 
# TODO: Do checks that the tree can be committed *before* running the 
60
 
# editor; this should include checks for a pointless commit and for 
61
 
# unknown or missing files.
62
 
 
63
 
# TODO: If commit fails, leave the message in a file somewhere.
64
 
 
65
 
 
66
 
import os
67
 
import re
68
 
import sys
69
 
import time
70
 
import warnings
71
 
 
72
 
from cStringIO import StringIO
73
 
 
74
 
from bzrlib.atomicfile import AtomicFile
 
49
# TODO: Change the parameter 'rev_id' to 'revision_id' to be consistent with
 
50
# the rest of the code; add a deprecation of the old name.
 
51
 
 
52
from bzrlib import (
 
53
    debug,
 
54
    errors,
 
55
    trace,
 
56
    tree,
 
57
    ui,
 
58
    )
 
59
from bzrlib.branch import Branch
 
60
from bzrlib.cleanup import OperationWithCleanups
75
61
import bzrlib.config
76
 
import bzrlib.errors as errors
77
62
from bzrlib.errors import (BzrError, PointlessCommit,
78
63
                           ConflictsInTree,
79
64
                           StrictCommitFailed
80
65
                           )
81
 
from bzrlib.osutils import (kind_marker, isdir,isfile, is_inside_any, 
82
 
                            is_inside_or_parent_of_any,
83
 
                            quotefn, sha_file, split_lines)
84
 
from bzrlib.testament import Testament
85
 
from bzrlib.trace import mutter, note, warning
86
 
from bzrlib.xml5 import serializer_v5
87
 
from bzrlib.inventory import Inventory, ROOT_ID, InventoryEntry
88
 
from bzrlib.symbol_versioning import (deprecated_passed,
89
 
        deprecated_function,
90
 
        zero_seven,
91
 
        DEPRECATED_PARAMETER)
92
 
from bzrlib.workingtree import WorkingTree
93
 
 
94
 
 
95
 
@deprecated_function(zero_seven)
96
 
def commit(*args, **kwargs):
97
 
    """Commit a new revision to a branch.
98
 
 
99
 
    Function-style interface for convenience of old callers.
100
 
 
101
 
    New code should use the Commit class instead.
102
 
    """
103
 
    ## XXX: Remove this in favor of WorkingTree.commit?
104
 
    Commit().commit(*args, **kwargs)
105
 
 
 
66
from bzrlib.osutils import (get_user_encoding,
 
67
                            is_inside_any,
 
68
                            minimum_path_selection,
 
69
                            splitpath,
 
70
                            )
 
71
from bzrlib.trace import mutter, note, is_quiet
 
72
from bzrlib.inventory import Inventory, InventoryEntry, make_entry
 
73
from bzrlib import symbol_versioning
 
74
from bzrlib.urlutils import unescape_for_display
 
75
from bzrlib.i18n import gettext
106
76
 
107
77
class NullCommitReporter(object):
108
78
    """I report on progress of a commit."""
109
79
 
 
80
    def started(self, revno, revid, location=None):
 
81
        if location is None:
 
82
            symbol_versioning.warn("As of bzr 1.0 you must pass a location "
 
83
                                   "to started.", DeprecationWarning,
 
84
                                   stacklevel=2)
 
85
        pass
 
86
 
110
87
    def snapshot_change(self, change, path):
111
88
        pass
112
89
 
113
90
    def completed(self, revno, rev_id):
114
91
        pass
115
92
 
116
 
    def deleted(self, file_id):
117
 
        pass
118
 
 
119
 
    def escaped(self, escape_count, message):
 
93
    def deleted(self, path):
120
94
        pass
121
95
 
122
96
    def missing(self, path):
125
99
    def renamed(self, change, old_path, new_path):
126
100
        pass
127
101
 
 
102
    def is_verbose(self):
 
103
        return False
 
104
 
128
105
 
129
106
class ReportCommitToLog(NullCommitReporter):
130
107
 
131
 
    # this may be more useful if 'note' was replaced by an overridable
132
 
    # method on self, which would allow more trivial subclassing.
133
 
    # alternative, a callable could be passed in, allowing really trivial
134
 
    # reuse for some uis. RBC 20060511
 
108
    def _note(self, format, *args):
 
109
        """Output a message.
 
110
 
 
111
        Subclasses may choose to override this method.
 
112
        """
 
113
        note(format, *args)
135
114
 
136
115
    def snapshot_change(self, change, path):
137
 
        if change == 'unchanged':
 
116
        if path == '' and change in (gettext('added'), gettext('modified')):
138
117
            return
139
 
        note("%s %s", change, path)
 
118
        self._note("%s %s", change, path)
 
119
 
 
120
    def started(self, revno, rev_id, location=None):
 
121
        if location is not None:
 
122
            location = ' to: ' + unescape_for_display(location, 'utf-8')
 
123
        else:
 
124
            # When started was added, location was only made optional by
 
125
            # accident.  Matt Nordhoff 20071129
 
126
            symbol_versioning.warn("As of bzr 1.0 you must pass a location "
 
127
                                   "to started.", DeprecationWarning,
 
128
                                   stacklevel=2)
 
129
            location = ''
 
130
        self._note(gettext('Committing%s'), location)
140
131
 
141
132
    def completed(self, revno, rev_id):
142
 
        note('Committed revision %d.', revno)
143
 
    
144
 
    def deleted(self, file_id):
145
 
        note('deleted %s', file_id)
 
133
        self._note(gettext('Committed revision %d.'), revno)
 
134
        # self._note goes to the console too; so while we want to log the
 
135
        # rev_id, we can't trivially only log it. (See bug 526425). Long
 
136
        # term we should rearrange the reporting structure, but for now
 
137
        # we just mutter seperately. We mutter the revid and revno together
 
138
        # so that concurrent bzr invocations won't lead to confusion.
 
139
        mutter('Committed revid %s as revno %d.', rev_id, revno)
146
140
 
147
 
    def escaped(self, escape_count, message):
148
 
        note("replaced %d control characters in message", escape_count)
 
141
    def deleted(self, path):
 
142
        self._note(gettext('deleted %s'), path)
149
143
 
150
144
    def missing(self, path):
151
 
        note('missing %s', path)
 
145
        self._note(gettext('missing %s'), path)
152
146
 
153
147
    def renamed(self, change, old_path, new_path):
154
 
        note('%s %s => %s', change, old_path, new_path)
 
148
        self._note('%s %s => %s', change, old_path, new_path)
 
149
 
 
150
    def is_verbose(self):
 
151
        return True
155
152
 
156
153
 
157
154
class Commit(object):
169
166
    def __init__(self,
170
167
                 reporter=None,
171
168
                 config=None):
172
 
        if reporter is not None:
173
 
            self.reporter = reporter
174
 
        else:
175
 
            self.reporter = NullCommitReporter()
176
 
        if config is not None:
177
 
            self.config = config
178
 
        else:
179
 
            self.config = None
180
 
        
 
169
        """Create a Commit object.
 
170
 
 
171
        :param reporter: the default reporter to use or None to decide later
 
172
        """
 
173
        self.reporter = reporter
 
174
        self.config = config
 
175
 
 
176
    @staticmethod
 
177
    def update_revprops(revprops, branch, authors=None, author=None,
 
178
                        local=False, possible_master_transports=None):
 
179
        if revprops is None:
 
180
            revprops = {}
 
181
        if possible_master_transports is None:
 
182
            possible_master_transports = []
 
183
        if not 'branch-nick' in revprops:
 
184
            revprops['branch-nick'] = branch._get_nick(
 
185
                local,
 
186
                possible_master_transports)
 
187
        if authors is not None:
 
188
            if author is not None:
 
189
                raise AssertionError('Specifying both author and authors '
 
190
                        'is not allowed. Specify just authors instead')
 
191
            if 'author' in revprops or 'authors' in revprops:
 
192
                # XXX: maybe we should just accept one of them?
 
193
                raise AssertionError('author property given twice')
 
194
            if authors:
 
195
                for individual in authors:
 
196
                    if '\n' in individual:
 
197
                        raise AssertionError('\\n is not a valid character '
 
198
                                'in an author identity')
 
199
                revprops['authors'] = '\n'.join(authors)
 
200
        if author is not None:
 
201
            symbol_versioning.warn('The parameter author was deprecated'
 
202
                   ' in version 1.13. Use authors instead',
 
203
                   DeprecationWarning)
 
204
            if 'author' in revprops or 'authors' in revprops:
 
205
                # XXX: maybe we should just accept one of them?
 
206
                raise AssertionError('author property given twice')
 
207
            if '\n' in author:
 
208
                raise AssertionError('\\n is not a valid character '
 
209
                        'in an author identity')
 
210
            revprops['authors'] = author
 
211
        return revprops
 
212
 
181
213
    def commit(self,
182
 
               branch=DEPRECATED_PARAMETER, message=None,
 
214
               message=None,
183
215
               timestamp=None,
184
216
               timezone=None,
185
217
               committer=None,
192
224
               working_tree=None,
193
225
               local=False,
194
226
               reporter=None,
195
 
               config=None):
 
227
               config=None,
 
228
               message_callback=None,
 
229
               recursive='down',
 
230
               exclude=None,
 
231
               possible_master_transports=None,
 
232
               lossy=False):
196
233
        """Commit working copy as a new revision.
197
234
 
198
 
        branch -- the deprecated branch to commit to. New callers should pass in 
199
 
                  working_tree instead
200
 
 
201
 
        message -- the commit message, a mandatory parameter
202
 
 
203
 
        timestamp -- if not None, seconds-since-epoch for a
204
 
             postdated/predated commit.
205
 
 
206
 
        specific_files -- If true, commit only those files.
207
 
 
208
 
        rev_id -- If set, use this as the new revision id.
 
235
        :param message: the commit message (it or message_callback is required)
 
236
        :param message_callback: A callback: message = message_callback(cmt_obj)
 
237
 
 
238
        :param timestamp: if not None, seconds-since-epoch for a
 
239
            postdated/predated commit.
 
240
 
 
241
        :param specific_files: If not None, commit only those files. An empty
 
242
            list means 'commit no files'.
 
243
 
 
244
        :param rev_id: If set, use this as the new revision id.
209
245
            Useful for test or import commands that need to tightly
210
246
            control what revisions are assigned.  If you duplicate
211
247
            a revision id that exists elsewhere it is your own fault.
212
248
            If null (default), a time/random revision id is generated.
213
249
 
214
 
        allow_pointless -- If true (default), commit even if nothing
 
250
        :param allow_pointless: If true (default), commit even if nothing
215
251
            has changed and no merges are recorded.
216
252
 
217
 
        strict -- If true, don't allow a commit if the working tree
 
253
        :param strict: If true, don't allow a commit if the working tree
218
254
            contains unknown files.
219
255
 
220
 
        revprops -- Properties for new revision
 
256
        :param revprops: Properties for new revision
221
257
        :param local: Perform a local only commit.
 
258
        :param reporter: the reporter to use or None for the default
 
259
        :param verbose: if True and the reporter is not None, report everything
 
260
        :param recursive: If set to 'down', commit in any subtrees that have
 
261
            pending changes of any sort during this commit.
 
262
        :param exclude: None or a list of relative paths to exclude from the
 
263
            commit. Pending changes to excluded files will be ignored by the
 
264
            commit.
 
265
        :param lossy: When committing to a foreign VCS, ignore any
 
266
            data that can not be natively represented.
222
267
        """
 
268
        operation = OperationWithCleanups(self._commit)
 
269
        self.revprops = revprops or {}
 
270
        # XXX: Can be set on __init__ or passed in - this is a bit ugly.
 
271
        self.config = config or self.config
 
272
        return operation.run(
 
273
               message=message,
 
274
               timestamp=timestamp,
 
275
               timezone=timezone,
 
276
               committer=committer,
 
277
               specific_files=specific_files,
 
278
               rev_id=rev_id,
 
279
               allow_pointless=allow_pointless,
 
280
               strict=strict,
 
281
               verbose=verbose,
 
282
               working_tree=working_tree,
 
283
               local=local,
 
284
               reporter=reporter,
 
285
               message_callback=message_callback,
 
286
               recursive=recursive,
 
287
               exclude=exclude,
 
288
               possible_master_transports=possible_master_transports,
 
289
               lossy=lossy)
 
290
 
 
291
    def _commit(self, operation, message, timestamp, timezone, committer,
 
292
            specific_files, rev_id, allow_pointless, strict, verbose,
 
293
            working_tree, local, reporter, message_callback, recursive,
 
294
            exclude, possible_master_transports, lossy):
223
295
        mutter('preparing to commit')
224
296
 
225
 
        if deprecated_passed(branch):
226
 
            warnings.warn("Commit.commit (branch, ...): The branch parameter is "
227
 
                 "deprecated as of bzr 0.8. Please use working_tree= instead.",
228
 
                 DeprecationWarning, stacklevel=2)
229
 
            self.branch = branch
230
 
            self.work_tree = self.branch.bzrdir.open_workingtree()
231
 
        elif working_tree is None:
232
 
            raise BzrError("One of branch and working_tree must be passed into commit().")
 
297
        if working_tree is None:
 
298
            raise BzrError("working_tree must be passed into commit().")
233
299
        else:
234
300
            self.work_tree = working_tree
235
301
            self.branch = self.work_tree.branch
236
 
        if message is None:
237
 
            raise BzrError("The message keyword parameter is required for commit().")
 
302
            if getattr(self.work_tree, 'requires_rich_root', lambda: False)():
 
303
                if not self.branch.repository.supports_rich_root():
 
304
                    raise errors.RootNotRich()
 
305
        if message_callback is None:
 
306
            if message is not None:
 
307
                if isinstance(message, str):
 
308
                    message = message.decode(get_user_encoding())
 
309
                message_callback = lambda x: message
 
310
            else:
 
311
                raise BzrError("The message or message_callback keyword"
 
312
                               " parameter is required for commit().")
238
313
 
239
314
        self.bound_branch = None
 
315
        self.any_entries_deleted = False
 
316
        if exclude is not None:
 
317
            self.exclude = sorted(
 
318
                minimum_path_selection(exclude))
 
319
        else:
 
320
            self.exclude = []
240
321
        self.local = local
241
322
        self.master_branch = None
242
 
        self.master_locked = False
 
323
        self.recursive = recursive
243
324
        self.rev_id = None
244
 
        self.specific_files = specific_files
 
325
        # self.specific_files is None to indicate no filter, or any iterable to
 
326
        # indicate a filter - [] means no files at all, as per iter_changes.
 
327
        if specific_files is not None:
 
328
            self.specific_files = sorted(
 
329
                minimum_path_selection(specific_files))
 
330
        else:
 
331
            self.specific_files = None
 
332
 
245
333
        self.allow_pointless = allow_pointless
246
 
 
247
 
        if reporter is None and self.reporter is None:
248
 
            self.reporter = NullCommitReporter()
249
 
        elif reporter is not None:
250
 
            self.reporter = reporter
 
334
        self.message_callback = message_callback
 
335
        self.timestamp = timestamp
 
336
        self.timezone = timezone
 
337
        self.committer = committer
 
338
        self.strict = strict
 
339
        self.verbose = verbose
251
340
 
252
341
        self.work_tree.lock_write()
253
 
        self.pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
342
        operation.add_cleanup(self.work_tree.unlock)
 
343
        self.parents = self.work_tree.get_parent_ids()
 
344
        # We can use record_iter_changes IFF iter_changes is compatible with
 
345
        # the command line parameters, and the repository has fast delta
 
346
        # generation. See bug 347649.
 
347
        self.use_record_iter_changes = (
 
348
            not self.exclude and 
 
349
            not self.branch.repository._format.supports_tree_reference and
 
350
            (self.branch.repository._format.fast_deltas or
 
351
             len(self.parents) < 2))
 
352
        self.pb = ui.ui_factory.nested_progress_bar()
 
353
        operation.add_cleanup(self.pb.finished)
 
354
        self.basis_revid = self.work_tree.last_revision()
 
355
        self.basis_tree = self.work_tree.basis_tree()
 
356
        self.basis_tree.lock_read()
 
357
        operation.add_cleanup(self.basis_tree.unlock)
 
358
        # Cannot commit with conflicts present.
 
359
        if len(self.work_tree.conflicts()) > 0:
 
360
            raise ConflictsInTree
 
361
 
 
362
        # Setup the bound branch variables as needed.
 
363
        self._check_bound_branch(operation, possible_master_transports)
 
364
 
 
365
        # Check that the working tree is up to date
 
366
        old_revno, new_revno = self._check_out_of_date_tree()
 
367
 
 
368
        # Complete configuration setup
 
369
        if reporter is not None:
 
370
            self.reporter = reporter
 
371
        elif self.reporter is None:
 
372
            self.reporter = self._select_reporter()
 
373
        if self.config is None:
 
374
            self.config = self.branch.get_config()
 
375
 
 
376
        self._set_specific_file_ids()
 
377
 
 
378
        # Setup the progress bar. As the number of files that need to be
 
379
        # committed in unknown, progress is reported as stages.
 
380
        # We keep track of entries separately though and include that
 
381
        # information in the progress bar during the relevant stages.
 
382
        self.pb_stage_name = ""
 
383
        self.pb_stage_count = 0
 
384
        self.pb_stage_total = 5
 
385
        if self.bound_branch:
 
386
            # 2 extra stages: "Uploading data to master branch" and "Merging
 
387
            # tags to master branch"
 
388
            self.pb_stage_total += 2
 
389
        self.pb.show_pct = False
 
390
        self.pb.show_spinner = False
 
391
        self.pb.show_eta = False
 
392
        self.pb.show_count = True
 
393
        self.pb.show_bar = True
 
394
 
 
395
        self._gather_parents()
 
396
        # After a merge, a selected file commit is not supported.
 
397
        # See 'bzr help merge' for an explanation as to why.
 
398
        if len(self.parents) > 1 and self.specific_files is not None:
 
399
            raise errors.CannotCommitSelectedFileMerge(self.specific_files)
 
400
        # Excludes are a form of selected file commit.
 
401
        if len(self.parents) > 1 and self.exclude:
 
402
            raise errors.CannotCommitSelectedFileMerge(self.exclude)
 
403
 
 
404
        # Collect the changes
 
405
        self._set_progress_stage("Collecting changes", counter=True)
 
406
        self._lossy = lossy
 
407
        self.builder = self.branch.get_commit_builder(self.parents,
 
408
            self.config, timestamp, timezone, committer, self.revprops,
 
409
            rev_id, lossy=lossy)
 
410
        if not self.builder.supports_record_entry_contents and self.exclude:
 
411
            self.builder.abort()
 
412
            raise errors.ExcludesUnsupported(self.branch.repository)
 
413
 
254
414
        try:
255
 
            # Cannot commit with conflicts present.
256
 
            if len(self.work_tree.conflicts())>0:
257
 
                raise ConflictsInTree
258
 
 
259
 
            # setup the bound branch variables as needed.
260
 
            self._check_bound_branch()
261
 
 
262
 
            # check for out of date working trees
263
 
            # if we are bound, then self.branch is the master branch and this
264
 
            # test is thus all we need.
265
 
            if self.work_tree.last_revision() != self.master_branch.last_revision():
266
 
                raise errors.OutOfDateTree(self.work_tree)
267
 
    
268
 
            if strict:
269
 
                # raise an exception as soon as we find a single unknown.
270
 
                for unknown in self.work_tree.unknowns():
271
 
                    raise StrictCommitFailed()
272
 
                   
273
 
            if self.config is None:
274
 
                self.config = self.branch.get_config()
275
 
      
276
 
            if isinstance(message, str):
277
 
                message = message.decode(bzrlib.user_encoding)
278
 
            assert isinstance(message, unicode), type(message)
 
415
            self.builder.will_record_deletes()
 
416
            # find the location being committed to
 
417
            if self.bound_branch:
 
418
                master_location = self.master_branch.base
 
419
            else:
 
420
                master_location = self.branch.base
 
421
 
 
422
            # report the start of the commit
 
423
            self.reporter.started(new_revno, self.rev_id, master_location)
 
424
 
 
425
            self._update_builder_with_changes()
 
426
            self._check_pointless()
 
427
 
 
428
            # TODO: Now the new inventory is known, check for conflicts.
 
429
            # ADHB 2006-08-08: If this is done, populate_new_inv should not add
 
430
            # weave lines, because nothing should be recorded until it is known
 
431
            # that commit will succeed.
 
432
            self._set_progress_stage("Saving data locally")
 
433
            self.builder.finish_inventory()
 
434
 
 
435
            # Prompt the user for a commit message if none provided
 
436
            message = message_callback(self)
279
437
            self.message = message
280
 
            self._escape_commit_message()
281
 
 
282
 
            self.work_inv = self.work_tree.inventory
283
 
            self.basis_tree = self.work_tree.basis_tree()
284
 
            self.basis_inv = self.basis_tree.inventory
285
 
            # one to finish, one for rev and inventory, and one for each
286
 
            # inventory entry, and the same for the new inventory.
287
 
            # note that this estimate is too long when we do a partial tree
288
 
            # commit which excludes some new files from being considered.
289
 
            # The estimate is corrected when we populate the new inv.
290
 
            self.pb_total = len(self.work_inv) + 5
291
 
            self.pb_count = 0
292
 
 
293
 
            self._gather_parents()
294
 
            if len(self.parents) > 1 and self.specific_files:
295
 
                raise NotImplementedError('selected-file commit of merges is not supported yet: files %r',
296
 
                        self.specific_files)
297
 
            self._check_parents_present()
298
 
            self.builder = self.branch.get_commit_builder(self.parents, 
299
 
                self.config, timestamp, timezone, committer, revprops, rev_id)
300
 
            
301
 
            self._remove_deleted()
302
 
            self._populate_new_inv()
303
 
            self._report_deletes()
304
 
 
305
 
            if not (self.allow_pointless
306
 
                    or len(self.parents) > 1
307
 
                    or self.builder.new_inventory != self.basis_inv):
308
 
                raise PointlessCommit()
309
 
 
310
 
            self._emit_progress_update()
311
 
            # TODO: Now the new inventory is known, check for conflicts and prompt the 
312
 
            # user for a commit message.
313
 
            self.builder.finish_inventory()
314
 
            self._emit_progress_update()
 
438
 
 
439
            # Add revision data to the local branch
315
440
            self.rev_id = self.builder.commit(self.message)
316
 
            self._emit_progress_update()
317
 
            # revision data is in the local branch now.
318
 
            
319
 
            # upload revision data to the master.
320
 
            # this will propagate merged revisions too if needed.
321
 
            if self.bound_branch:
322
 
                self.master_branch.repository.fetch(self.branch.repository,
323
 
                                                    revision_id=self.rev_id)
324
 
                # now the master has the revision data
325
 
                # 'commit' to the master first so a timeout here causes the local
326
 
                # branch to be out of date
327
 
                self.master_branch.append_revision(self.rev_id)
328
 
 
329
 
            # and now do the commit locally.
330
 
            self.branch.append_revision(self.rev_id)
331
 
 
332
 
            self.work_tree.set_pending_merges([])
333
 
            self.work_tree.set_last_revision(self.rev_id)
334
 
            # now the work tree is up to date with the branch
335
 
            
336
 
            self.reporter.completed(self.branch.revno(), self.rev_id)
337
 
            if self.config.post_commit() is not None:
338
 
                hooks = self.config.post_commit().split(' ')
339
 
                # this would be nicer with twisted.python.reflect.namedAny
340
 
                for hook in hooks:
341
 
                    result = eval(hook + '(branch, rev_id)',
342
 
                                  {'branch':self.branch,
343
 
                                   'bzrlib':bzrlib,
344
 
                                   'rev_id':self.rev_id})
345
 
            self._emit_progress_update()
346
 
        finally:
347
 
            self._cleanup()
 
441
 
 
442
        except Exception, e:
 
443
            mutter("aborting commit write group because of exception:")
 
444
            trace.log_exception_quietly()
 
445
            self.builder.abort()
 
446
            raise
 
447
 
 
448
        self._process_pre_hooks(old_revno, new_revno)
 
449
 
 
450
        # Upload revision data to the master.
 
451
        # this will propagate merged revisions too if needed.
 
452
        if self.bound_branch:
 
453
            self._set_progress_stage("Uploading data to master branch")
 
454
            # 'commit' to the master first so a timeout here causes the
 
455
            # local branch to be out of date
 
456
            (new_revno, self.rev_id) = self.master_branch.import_last_revision_info_and_tags(
 
457
                self.branch, new_revno, self.rev_id, lossy=lossy)
 
458
            if lossy:
 
459
                self.branch.fetch(self.master_branch, self.rev_id)
 
460
 
 
461
        # and now do the commit locally.
 
462
        self.branch.set_last_revision_info(new_revno, self.rev_id)
 
463
 
 
464
        # Merge local tags to remote
 
465
        if self.bound_branch:
 
466
            self._set_progress_stage("Merging tags to master branch")
 
467
            tag_updates, tag_conflicts = self.branch.tags.merge_to(
 
468
                self.master_branch.tags)
 
469
            if tag_conflicts:
 
470
                warning_lines = ['    ' + name for name, _, _ in tag_conflicts]
 
471
                note( gettext("Conflicting tags in bound branch:\n{0}".format(
 
472
                    "\n".join(warning_lines))) )
 
473
 
 
474
        # Make the working tree be up to date with the branch. This
 
475
        # includes automatic changes scheduled to be made to the tree, such
 
476
        # as updating its basis and unversioning paths that were missing.
 
477
        self.work_tree.unversion(self.deleted_ids)
 
478
        self._set_progress_stage("Updating the working tree")
 
479
        self.work_tree.update_basis_by_delta(self.rev_id,
 
480
             self.builder.get_basis_delta())
 
481
        self.reporter.completed(new_revno, self.rev_id)
 
482
        self._process_post_hooks(old_revno, new_revno)
348
483
        return self.rev_id
349
484
 
350
 
    def _check_bound_branch(self):
 
485
    def _select_reporter(self):
 
486
        """Select the CommitReporter to use."""
 
487
        if is_quiet():
 
488
            return NullCommitReporter()
 
489
        return ReportCommitToLog()
 
490
 
 
491
    def _check_pointless(self):
 
492
        if self.allow_pointless:
 
493
            return
 
494
        # A merge with no effect on files
 
495
        if len(self.parents) > 1:
 
496
            return
 
497
        if self.builder.any_changes():
 
498
            return
 
499
        raise PointlessCommit()
 
500
 
 
501
    def _check_bound_branch(self, operation, possible_master_transports=None):
351
502
        """Check to see if the local branch is bound.
352
503
 
353
504
        If it is bound, then most of the commit will actually be
358
509
            raise errors.LocalRequiresBoundBranch()
359
510
 
360
511
        if not self.local:
361
 
            self.master_branch = self.branch.get_master_branch()
 
512
            self.master_branch = self.branch.get_master_branch(
 
513
                possible_master_transports)
362
514
 
363
515
        if not self.master_branch:
364
516
            # make this branch the reference branch for out of date checks.
375
527
        #       commits to the remote branch if they would fit.
376
528
        #       But for now, just require remote to be identical
377
529
        #       to local.
378
 
        
 
530
 
379
531
        # Make sure the local branch is identical to the master
380
 
        master_rh = self.master_branch.revision_history()
381
 
        local_rh = self.branch.revision_history()
382
 
        if local_rh != master_rh:
 
532
        master_info = self.master_branch.last_revision_info()
 
533
        local_info = self.branch.last_revision_info()
 
534
        if local_info != master_info:
383
535
            raise errors.BoundBranchOutOfDate(self.branch,
384
536
                    self.master_branch)
385
537
 
387
539
        # so grab the lock
388
540
        self.bound_branch = self.branch
389
541
        self.master_branch.lock_write()
390
 
        self.master_locked = True
391
 
 
392
 
    def _cleanup(self):
393
 
        """Cleanup any open locks, progress bars etc."""
394
 
        cleanups = [self._cleanup_bound_branch,
395
 
                    self.work_tree.unlock,
396
 
                    self.pb.finished]
397
 
        found_exception = None
398
 
        for cleanup in cleanups:
399
 
            try:
400
 
                cleanup()
401
 
            # we want every cleanup to run no matter what.
402
 
            # so we have a catchall here, but we will raise the
403
 
            # last encountered exception up the stack: and
404
 
            # typically this will be useful enough.
405
 
            except Exception, e:
406
 
                found_exception = e
407
 
        if found_exception is not None: 
408
 
            # don't do a plan raise, because the last exception may have been
409
 
            # trashed, e is our sure-to-work exception even though it loses the
410
 
            # full traceback. XXX: RBC 20060421 perhaps we could check the
411
 
            # exc_info and if its the same one do a plain raise otherwise 
412
 
            # 'raise e' as we do now.
413
 
            raise e
414
 
 
415
 
    def _cleanup_bound_branch(self):
416
 
        """Executed at the end of a try/finally to cleanup a bound branch.
417
 
 
418
 
        If the branch wasn't bound, this is a no-op.
419
 
        If it was, it resents self.branch to the local branch, instead
420
 
        of being the master.
 
542
        operation.add_cleanup(self.master_branch.unlock)
 
543
 
 
544
    def _check_out_of_date_tree(self):
 
545
        """Check that the working tree is up to date.
 
546
 
 
547
        :return: old_revision_number,new_revision_number tuple
421
548
        """
 
549
        try:
 
550
            first_tree_parent = self.work_tree.get_parent_ids()[0]
 
551
        except IndexError:
 
552
            # if there are no parents, treat our parent as 'None'
 
553
            # this is so that we still consider the master branch
 
554
            # - in a checkout scenario the tree may have no
 
555
            # parents but the branch may do.
 
556
            first_tree_parent = bzrlib.revision.NULL_REVISION
 
557
        old_revno, master_last = self.master_branch.last_revision_info()
 
558
        if master_last != first_tree_parent:
 
559
            if master_last != bzrlib.revision.NULL_REVISION:
 
560
                raise errors.OutOfDateTree(self.work_tree)
 
561
        if self.branch.repository.has_revision(first_tree_parent):
 
562
            new_revno = old_revno + 1
 
563
        else:
 
564
            # ghost parents never appear in revision history.
 
565
            new_revno = 1
 
566
        return old_revno,new_revno
 
567
 
 
568
    def _process_pre_hooks(self, old_revno, new_revno):
 
569
        """Process any registered pre commit hooks."""
 
570
        self._set_progress_stage("Running pre_commit hooks")
 
571
        self._process_hooks("pre_commit", old_revno, new_revno)
 
572
 
 
573
    def _process_post_hooks(self, old_revno, new_revno):
 
574
        """Process any registered post commit hooks."""
 
575
        # Process the post commit hooks, if any
 
576
        self._set_progress_stage("Running post_commit hooks")
 
577
        # old style commit hooks - should be deprecated ? (obsoleted in
 
578
        # 0.15)
 
579
        if self.config.post_commit() is not None:
 
580
            hooks = self.config.post_commit().split(' ')
 
581
            # this would be nicer with twisted.python.reflect.namedAny
 
582
            for hook in hooks:
 
583
                result = eval(hook + '(branch, rev_id)',
 
584
                              {'branch':self.branch,
 
585
                               'bzrlib':bzrlib,
 
586
                               'rev_id':self.rev_id})
 
587
        # process new style post commit hooks
 
588
        self._process_hooks("post_commit", old_revno, new_revno)
 
589
 
 
590
    def _process_hooks(self, hook_name, old_revno, new_revno):
 
591
        if not Branch.hooks[hook_name]:
 
592
            return
 
593
 
 
594
        # new style commit hooks:
422
595
        if not self.bound_branch:
423
 
            return
424
 
        if self.master_locked:
425
 
            self.master_branch.unlock()
426
 
 
427
 
    def _escape_commit_message(self):
428
 
        """Replace xml-incompatible control characters."""
429
 
        # FIXME: RBC 20060419 this should be done by the revision
430
 
        # serialiser not by commit. Then we can also add an unescaper
431
 
        # in the deserializer and start roundtripping revision messages
432
 
        # precisely. See repository_implementations/test_repository.py
433
 
        
434
 
        # Python strings can include characters that can't be
435
 
        # represented in well-formed XML; escape characters that
436
 
        # aren't listed in the XML specification
437
 
        # (http://www.w3.org/TR/REC-xml/#NT-Char).
438
 
        self.message, escape_count = re.subn(
439
 
            u'[^\x09\x0A\x0D\u0020-\uD7FF\uE000-\uFFFD]+',
440
 
            lambda match: match.group(0).encode('unicode_escape'),
441
 
            self.message)
442
 
        if escape_count:
443
 
            self.reporter.escaped(escape_count, self.message)
 
596
            hook_master = self.branch
 
597
            hook_local = None
 
598
        else:
 
599
            hook_master = self.master_branch
 
600
            hook_local = self.branch
 
601
        # With bound branches, when the master is behind the local branch,
 
602
        # the 'old_revno' and old_revid values here are incorrect.
 
603
        # XXX: FIXME ^. RBC 20060206
 
604
        if self.parents:
 
605
            old_revid = self.parents[0]
 
606
        else:
 
607
            old_revid = bzrlib.revision.NULL_REVISION
 
608
 
 
609
        if hook_name == "pre_commit":
 
610
            future_tree = self.builder.revision_tree()
 
611
            tree_delta = future_tree.changes_from(self.basis_tree,
 
612
                                             include_root=True)
 
613
 
 
614
        for hook in Branch.hooks[hook_name]:
 
615
            # show the running hook in the progress bar. As hooks may
 
616
            # end up doing nothing (e.g. because they are not configured by
 
617
            # the user) this is still showing progress, not showing overall
 
618
            # actions - its up to each plugin to show a UI if it want's to
 
619
            # (such as 'Emailing diff to foo@example.com').
 
620
            self.pb_stage_name = "Running %s hooks [%s]" % \
 
621
                (hook_name, Branch.hooks.get_hook_name(hook))
 
622
            self._emit_progress()
 
623
            if 'hooks' in debug.debug_flags:
 
624
                mutter("Invoking commit hook: %r", hook)
 
625
            if hook_name == "post_commit":
 
626
                hook(hook_local, hook_master, old_revno, old_revid, new_revno,
 
627
                     self.rev_id)
 
628
            elif hook_name == "pre_commit":
 
629
                hook(hook_local, hook_master,
 
630
                     old_revno, old_revid, new_revno, self.rev_id,
 
631
                     tree_delta, future_tree)
444
632
 
445
633
    def _gather_parents(self):
446
634
        """Record the parents of a merge for merge detection."""
447
 
        # TODO: Make sure that this list doesn't contain duplicate 
 
635
        # TODO: Make sure that this list doesn't contain duplicate
448
636
        # entries and the order is preserved when doing this.
449
 
        self.parents = self.work_tree.get_parent_ids()
450
 
        self.parent_invs = []
451
 
        for revision in self.parents:
 
637
        if self.use_record_iter_changes:
 
638
            return
 
639
        self.basis_inv = self.basis_tree.inventory
 
640
        self.parent_invs = [self.basis_inv]
 
641
        for revision in self.parents[1:]:
452
642
            if self.branch.repository.has_revision(revision):
 
643
                mutter('commit parent revision {%s}', revision)
453
644
                inventory = self.branch.repository.get_inventory(revision)
454
645
                self.parent_invs.append(inventory)
455
 
 
456
 
    def _check_parents_present(self):
457
 
        for parent_id in self.parents:
458
 
            mutter('commit parent revision {%s}', parent_id)
459
 
            if not self.branch.repository.has_revision(parent_id):
460
 
                if parent_id == self.branch.last_revision():
461
 
                    warning("parent is missing %r", parent_id)
462
 
                    raise BzrCheckError("branch %s is missing revision {%s}"
463
 
                            % (self.branch, parent_id))
464
 
            
465
 
    def _remove_deleted(self):
466
 
        """Remove deleted files from the working inventories.
467
 
 
468
 
        This is done prior to taking the working inventory as the
469
 
        basis for the new committed inventory.
470
 
 
471
 
        This returns true if any files
472
 
        *that existed in the basis inventory* were deleted.
473
 
        Files that were added and deleted
474
 
        in the working copy don't matter.
475
 
        """
476
 
        specific = self.specific_files
 
646
            else:
 
647
                mutter('commit parent ghost revision {%s}', revision)
 
648
 
 
649
    def _update_builder_with_changes(self):
 
650
        """Update the commit builder with the data about what has changed.
 
651
        """
 
652
        exclude = self.exclude
 
653
        specific_files = self.specific_files
 
654
        mutter("Selecting files for commit with filter %s", specific_files)
 
655
 
 
656
        self._check_strict()
 
657
        if self.use_record_iter_changes:
 
658
            iter_changes = self.work_tree.iter_changes(self.basis_tree,
 
659
                specific_files=specific_files)
 
660
            iter_changes = self._filter_iter_changes(iter_changes)
 
661
            for file_id, path, fs_hash in self.builder.record_iter_changes(
 
662
                self.work_tree, self.basis_revid, iter_changes):
 
663
                self.work_tree._observed_sha1(file_id, path, fs_hash)
 
664
        else:
 
665
            # Build the new inventory
 
666
            self._populate_from_inventory()
 
667
            self._record_unselected()
 
668
            self._report_and_accumulate_deletes()
 
669
 
 
670
    def _filter_iter_changes(self, iter_changes):
 
671
        """Process iter_changes.
 
672
 
 
673
        This method reports on the changes in iter_changes to the user, and 
 
674
        converts 'missing' entries in the iter_changes iterator to 'deleted'
 
675
        entries. 'missing' entries have their
 
676
 
 
677
        :param iter_changes: An iter_changes to process.
 
678
        :return: A generator of changes.
 
679
        """
 
680
        reporter = self.reporter
 
681
        report_changes = reporter.is_verbose()
477
682
        deleted_ids = []
478
 
        for path, ie in self.work_inv.iter_entries():
479
 
            if specific and not is_inside_any(specific, path):
480
 
                continue
481
 
            if not self.work_tree.has_filename(path):
482
 
                self.reporter.missing(path)
483
 
                deleted_ids.append((path, ie.file_id))
 
683
        for change in iter_changes:
 
684
            if report_changes:
 
685
                old_path = change[1][0]
 
686
                new_path = change[1][1]
 
687
                versioned = change[3][1]
 
688
            kind = change[6][1]
 
689
            versioned = change[3][1]
 
690
            if kind is None and versioned:
 
691
                # 'missing' path
 
692
                if report_changes:
 
693
                    reporter.missing(new_path)
 
694
                deleted_ids.append(change[0])
 
695
                # Reset the new path (None) and new versioned flag (False)
 
696
                change = (change[0], (change[1][0], None), change[2],
 
697
                    (change[3][0], False)) + change[4:]
 
698
                new_path = change[1][1]
 
699
                versioned = False
 
700
            elif kind == 'tree-reference':
 
701
                if self.recursive == 'down':
 
702
                    self._commit_nested_tree(change[0], change[1][1])
 
703
            if change[3][0] or change[3][1]:
 
704
                yield change
 
705
                if report_changes:
 
706
                    if new_path is None:
 
707
                        reporter.deleted(old_path)
 
708
                    elif old_path is None:
 
709
                        reporter.snapshot_change(gettext('added'), new_path)
 
710
                    elif old_path != new_path:
 
711
                        reporter.renamed(gettext('renamed'), old_path, new_path)
 
712
                    else:
 
713
                        if (new_path or 
 
714
                            self.work_tree.branch.repository._format.rich_root_data):
 
715
                            # Don't report on changes to '' in non rich root
 
716
                            # repositories.
 
717
                            reporter.snapshot_change(gettext('modified'), new_path)
 
718
            self._next_progress_entry()
 
719
        # Unversion IDs that were found to be deleted
 
720
        self.deleted_ids = deleted_ids
 
721
 
 
722
    def _record_unselected(self):
 
723
        # If specific files are selected, then all un-selected files must be
 
724
        # recorded in their previous state. For more details, see
 
725
        # https://lists.ubuntu.com/archives/bazaar/2007q3/028476.html.
 
726
        if self.specific_files or self.exclude:
 
727
            specific_files = self.specific_files or []
 
728
            for path, old_ie in self.basis_inv.iter_entries():
 
729
                if self.builder.new_inventory.has_id(old_ie.file_id):
 
730
                    # already added - skip.
 
731
                    continue
 
732
                if (is_inside_any(specific_files, path)
 
733
                    and not is_inside_any(self.exclude, path)):
 
734
                    # was inside the selected path, and not excluded - if not
 
735
                    # present it has been deleted so skip.
 
736
                    continue
 
737
                # From here down it was either not selected, or was excluded:
 
738
                # We preserve the entry unaltered.
 
739
                ie = old_ie.copy()
 
740
                # Note: specific file commits after a merge are currently
 
741
                # prohibited. This test is for sanity/safety in case it's
 
742
                # required after that changes.
 
743
                if len(self.parents) > 1:
 
744
                    ie.revision = None
 
745
                self.builder.record_entry_contents(ie, self.parent_invs, path,
 
746
                    self.basis_tree, None)
 
747
 
 
748
    def _report_and_accumulate_deletes(self):
 
749
        if (isinstance(self.basis_inv, Inventory)
 
750
            and isinstance(self.builder.new_inventory, Inventory)):
 
751
            # the older Inventory classes provide a _byid dict, and building a
 
752
            # set from the keys of this dict is substantially faster than even
 
753
            # getting a set of ids from the inventory
 
754
            #
 
755
            # <lifeless> set(dict) is roughly the same speed as
 
756
            # set(iter(dict)) and both are significantly slower than
 
757
            # set(dict.keys())
 
758
            deleted_ids = set(self.basis_inv._byid.keys()) - \
 
759
               set(self.builder.new_inventory._byid.keys())
 
760
        else:
 
761
            deleted_ids = set(self.basis_inv) - set(self.builder.new_inventory)
484
762
        if deleted_ids:
485
 
            deleted_ids.sort(reverse=True)
486
 
            for path, file_id in deleted_ids:
487
 
                del self.work_inv[file_id]
488
 
            self.work_tree._write_inventory(self.work_inv)
489
 
 
490
 
    def _populate_new_inv(self):
491
 
        """Build revision inventory.
492
 
 
493
 
        This creates a new empty inventory. Depending on
494
 
        which files are selected for commit, and what is present in the
495
 
        current tree, the new inventory is populated. inventory entries 
496
 
        which are candidates for modification have their revision set to
497
 
        None; inventory entries that are carried over untouched have their
498
 
        revision set to their prior value.
499
 
        """
 
763
            self.any_entries_deleted = True
 
764
            deleted = [(self.basis_tree.id2path(file_id), file_id)
 
765
                for file_id in deleted_ids]
 
766
            deleted.sort()
 
767
            # XXX: this is not quite directory-order sorting
 
768
            for path, file_id in deleted:
 
769
                self.builder.record_delete(path, file_id)
 
770
                self.reporter.deleted(path)
 
771
 
 
772
    def _check_strict(self):
 
773
        # XXX: when we use iter_changes this would likely be faster if
 
774
        # iter_changes would check for us (even in the presence of
 
775
        # selected_files).
 
776
        if self.strict:
 
777
            # raise an exception as soon as we find a single unknown.
 
778
            for unknown in self.work_tree.unknowns():
 
779
                raise StrictCommitFailed()
 
780
 
 
781
    def _populate_from_inventory(self):
 
782
        """Populate the CommitBuilder by walking the working tree inventory."""
 
783
        # Build the revision inventory.
 
784
        #
 
785
        # This starts by creating a new empty inventory. Depending on
 
786
        # which files are selected for commit, and what is present in the
 
787
        # current tree, the new inventory is populated. inventory entries
 
788
        # which are candidates for modification have their revision set to
 
789
        # None; inventory entries that are carried over untouched have their
 
790
        # revision set to their prior value.
 
791
        #
500
792
        # ESEPARATIONOFCONCERNS: this function is diffing and using the diff
501
793
        # results to create a new inventory at the same time, which results
502
 
        # in bugs like #46635.  Any reason not to use/enhance compare_trees?
 
794
        # in bugs like #46635.  Any reason not to use/enhance Tree.changes_from?
503
795
        # ADHB 11-07-2006
504
 
        mutter("Selecting files for commit with filter %s", self.specific_files)
505
 
        # at this point we dont copy the root entry:
506
 
        entries = self.work_inv.iter_entries()
507
 
        entries.next()
508
 
        self._emit_progress_update()
509
 
        for path, new_ie in entries:
510
 
            self._emit_progress_update()
511
 
            file_id = new_ie.file_id
512
 
            mutter('check %s {%s}', path, file_id)
513
 
            if (not self.specific_files or 
514
 
                is_inside_or_parent_of_any(self.specific_files, path)):
515
 
                    mutter('%s selected for commit', path)
516
 
                    ie = new_ie.copy()
517
 
                    ie.revision = None
518
 
            else:
519
 
                mutter('%s not selected for commit', path)
520
 
                if self.basis_inv.has_id(file_id):
521
 
                    ie = self.basis_inv[file_id].copy()
522
 
                else:
523
 
                    # this entry is new and not being committed
524
 
                    continue
525
 
 
526
 
            self.builder.record_entry_contents(ie, self.parent_invs, 
527
 
                path, self.work_tree)
528
 
            # describe the nature of the change that has occurred relative to
529
 
            # the basis inventory.
530
 
            if (self.basis_inv.has_id(ie.file_id)):
531
 
                basis_ie = self.basis_inv[ie.file_id]
532
 
            else:
533
 
                basis_ie = None
534
 
            change = ie.describe_change(basis_ie, ie)
535
 
            if change in (InventoryEntry.RENAMED, 
536
 
                InventoryEntry.MODIFIED_AND_RENAMED):
537
 
                old_path = self.basis_inv.id2path(ie.file_id)
538
 
                self.reporter.renamed(change, old_path, path)
539
 
            else:
540
 
                self.reporter.snapshot_change(change, path)
541
 
 
542
 
        if not self.specific_files:
543
 
            return
544
 
 
545
 
        # ignore removals that don't match filespec
546
 
        for path, new_ie in self.basis_inv.iter_entries():
547
 
            if new_ie.file_id in self.work_inv:
548
 
                continue
549
 
            if is_inside_any(self.specific_files, path):
550
 
                continue
551
 
            ie = new_ie.copy()
 
796
 
 
797
        specific_files = self.specific_files
 
798
        exclude = self.exclude
 
799
        report_changes = self.reporter.is_verbose()
 
800
        deleted_ids = []
 
801
        # A tree of paths that have been deleted. E.g. if foo/bar has been
 
802
        # deleted, then we have {'foo':{'bar':{}}}
 
803
        deleted_paths = {}
 
804
        # XXX: Note that entries may have the wrong kind because the entry does
 
805
        # not reflect the status on disk.
 
806
        work_inv = self.work_tree.inventory
 
807
        # NB: entries will include entries within the excluded ids/paths
 
808
        # because iter_entries_by_dir has no 'exclude' facility today.
 
809
        entries = work_inv.iter_entries_by_dir(
 
810
            specific_file_ids=self.specific_file_ids, yield_parents=True)
 
811
        for path, existing_ie in entries:
 
812
            file_id = existing_ie.file_id
 
813
            name = existing_ie.name
 
814
            parent_id = existing_ie.parent_id
 
815
            kind = existing_ie.kind
 
816
            # Skip files that have been deleted from the working tree.
 
817
            # The deleted path ids are also recorded so they can be explicitly
 
818
            # unversioned later.
 
819
            if deleted_paths:
 
820
                path_segments = splitpath(path)
 
821
                deleted_dict = deleted_paths
 
822
                for segment in path_segments:
 
823
                    deleted_dict = deleted_dict.get(segment, None)
 
824
                    if not deleted_dict:
 
825
                        # We either took a path not present in the dict
 
826
                        # (deleted_dict was None), or we've reached an empty
 
827
                        # child dir in the dict, so are now a sub-path.
 
828
                        break
 
829
                else:
 
830
                    deleted_dict = None
 
831
                if deleted_dict is not None:
 
832
                    # the path has a deleted parent, do not add it.
 
833
                    continue
 
834
            if exclude and is_inside_any(exclude, path):
 
835
                # Skip excluded paths. Excluded paths are processed by
 
836
                # _update_builder_with_changes.
 
837
                continue
 
838
            content_summary = self.work_tree.path_content_summary(path)
 
839
            kind = content_summary[0]
 
840
            # Note that when a filter of specific files is given, we must only
 
841
            # skip/record deleted files matching that filter.
 
842
            if not specific_files or is_inside_any(specific_files, path):
 
843
                if kind == 'missing':
 
844
                    if not deleted_paths:
 
845
                        # path won't have been split yet.
 
846
                        path_segments = splitpath(path)
 
847
                    deleted_dict = deleted_paths
 
848
                    for segment in path_segments:
 
849
                        deleted_dict = deleted_dict.setdefault(segment, {})
 
850
                    self.reporter.missing(path)
 
851
                    self._next_progress_entry()
 
852
                    deleted_ids.append(file_id)
 
853
                    continue
 
854
            # TODO: have the builder do the nested commit just-in-time IF and
 
855
            # only if needed.
 
856
            if kind == 'tree-reference':
 
857
                # enforce repository nested tree policy.
 
858
                if (not self.work_tree.supports_tree_reference() or
 
859
                    # repository does not support it either.
 
860
                    not self.branch.repository._format.supports_tree_reference):
 
861
                    kind = 'directory'
 
862
                    content_summary = (kind, None, None, None)
 
863
                elif self.recursive == 'down':
 
864
                    nested_revision_id = self._commit_nested_tree(
 
865
                        file_id, path)
 
866
                    content_summary = (kind, None, None, nested_revision_id)
 
867
                else:
 
868
                    nested_revision_id = self.work_tree.get_reference_revision(file_id)
 
869
                    content_summary = (kind, None, None, nested_revision_id)
 
870
 
 
871
            # Record an entry for this item
 
872
            # Note: I don't particularly want to have the existing_ie
 
873
            # parameter but the test suite currently (28-Jun-07) breaks
 
874
            # without it thanks to a unicode normalisation issue. :-(
 
875
            definitely_changed = kind != existing_ie.kind
 
876
            self._record_entry(path, file_id, specific_files, kind, name,
 
877
                parent_id, definitely_changed, existing_ie, report_changes,
 
878
                content_summary)
 
879
 
 
880
        # Unversion IDs that were found to be deleted
 
881
        self.deleted_ids = deleted_ids
 
882
 
 
883
    def _commit_nested_tree(self, file_id, path):
 
884
        "Commit a nested tree."
 
885
        sub_tree = self.work_tree.get_nested_tree(file_id, path)
 
886
        # FIXME: be more comprehensive here:
 
887
        # this works when both trees are in --trees repository,
 
888
        # but when both are bound to a different repository,
 
889
        # it fails; a better way of approaching this is to
 
890
        # finally implement the explicit-caches approach design
 
891
        # a while back - RBC 20070306.
 
892
        if sub_tree.branch.repository.has_same_location(
 
893
            self.work_tree.branch.repository):
 
894
            sub_tree.branch.repository = \
 
895
                self.work_tree.branch.repository
 
896
        try:
 
897
            return sub_tree.commit(message=None, revprops=self.revprops,
 
898
                recursive=self.recursive,
 
899
                message_callback=self.message_callback,
 
900
                timestamp=self.timestamp, timezone=self.timezone,
 
901
                committer=self.committer,
 
902
                allow_pointless=self.allow_pointless,
 
903
                strict=self.strict, verbose=self.verbose,
 
904
                local=self.local, reporter=self.reporter)
 
905
        except errors.PointlessCommit:
 
906
            return self.work_tree.get_reference_revision(file_id)
 
907
 
 
908
    def _record_entry(self, path, file_id, specific_files, kind, name,
 
909
        parent_id, definitely_changed, existing_ie, report_changes,
 
910
        content_summary):
 
911
        "Record the new inventory entry for a path if any."
 
912
        # mutter('check %s {%s}', path, file_id)
 
913
        # mutter('%s selected for commit', path)
 
914
        if definitely_changed or existing_ie is None:
 
915
            ie = make_entry(kind, name, parent_id, file_id)
 
916
        else:
 
917
            ie = existing_ie.copy()
552
918
            ie.revision = None
553
 
            self.builder.record_entry_contents(ie, self.parent_invs, path,
554
 
                                               self.basis_tree)
555
 
 
556
 
    def _emit_progress_update(self):
557
 
        """Emit an update to the progress bar."""
558
 
        self.pb.update("Committing", self.pb_count, self.pb_total)
559
 
        self.pb_count += 1
560
 
 
561
 
    def _report_deletes(self):
562
 
        for path, ie in self.basis_inv.iter_entries():
563
 
            if ie.file_id not in self.builder.new_inventory:
564
 
                self.reporter.deleted(path)
565
 
 
566
 
 
 
919
        # For carried over entries we don't care about the fs hash - the repo
 
920
        # isn't generating a sha, so we're not saving computation time.
 
921
        _, _, fs_hash = self.builder.record_entry_contents(
 
922
            ie, self.parent_invs, path, self.work_tree, content_summary)
 
923
        if report_changes:
 
924
            self._report_change(ie, path)
 
925
        if fs_hash:
 
926
            self.work_tree._observed_sha1(ie.file_id, path, fs_hash)
 
927
        return ie
 
928
 
 
929
    def _report_change(self, ie, path):
 
930
        """Report a change to the user.
 
931
 
 
932
        The change that has occurred is described relative to the basis
 
933
        inventory.
 
934
        """
 
935
        if (self.basis_inv.has_id(ie.file_id)):
 
936
            basis_ie = self.basis_inv[ie.file_id]
 
937
        else:
 
938
            basis_ie = None
 
939
        change = ie.describe_change(basis_ie, ie)
 
940
        if change in (InventoryEntry.RENAMED,
 
941
            InventoryEntry.MODIFIED_AND_RENAMED):
 
942
            old_path = self.basis_inv.id2path(ie.file_id)
 
943
            self.reporter.renamed(change, old_path, path)
 
944
            self._next_progress_entry()
 
945
        else:
 
946
            if change == gettext('unchanged'):
 
947
                return
 
948
            self.reporter.snapshot_change(change, path)
 
949
            self._next_progress_entry()
 
950
 
 
951
    def _set_progress_stage(self, name, counter=False):
 
952
        """Set the progress stage and emit an update to the progress bar."""
 
953
        self.pb_stage_name = name
 
954
        self.pb_stage_count += 1
 
955
        if counter:
 
956
            self.pb_entries_count = 0
 
957
        else:
 
958
            self.pb_entries_count = None
 
959
        self._emit_progress()
 
960
 
 
961
    def _next_progress_entry(self):
 
962
        """Emit an update to the progress bar and increment the entry count."""
 
963
        self.pb_entries_count += 1
 
964
        self._emit_progress()
 
965
 
 
966
    def _emit_progress(self):
 
967
        if self.pb_entries_count is not None:
 
968
            text = gettext("{0} [{1}] - Stage").format(self.pb_stage_name,
 
969
                self.pb_entries_count)
 
970
        else:
 
971
            text = gettext("%s - Stage") % (self.pb_stage_name, )
 
972
        self.pb.update(text, self.pb_stage_count, self.pb_stage_total)
 
973
 
 
974
    def _set_specific_file_ids(self):
 
975
        """populate self.specific_file_ids if we will use it."""
 
976
        if not self.use_record_iter_changes:
 
977
            # If provided, ensure the specified files are versioned
 
978
            if self.specific_files is not None:
 
979
                # Note: This routine is being called because it raises
 
980
                # PathNotVersionedError as a side effect of finding the IDs. We
 
981
                # later use the ids we found as input to the working tree
 
982
                # inventory iterator, so we only consider those ids rather than
 
983
                # examining the whole tree again.
 
984
                # XXX: Dont we have filter_unversioned to do this more
 
985
                # cheaply?
 
986
                self.specific_file_ids = tree.find_ids_across_trees(
 
987
                    self.specific_files, [self.basis_tree, self.work_tree])
 
988
            else:
 
989
                self.specific_file_ids = None