~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/commit.py

  • Committer: Patch Queue Manager
  • Date: 2011-09-22 14:12:18 UTC
  • mfrom: (6155.3.1 jam)
  • Revision ID: pqm@pqm.ubuntu.com-20110922141218-86s4uu6nqvourw4f
(jameinel) Cleanup comments bzrlib/smart/__init__.py (John A Meinel)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006 Canonical Ltd
2
 
 
 
1
# Copyright (C) 2005-2011 Canonical Ltd
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
 
18
 
# XXX: Can we do any better about making interrupted commits change
19
 
# nothing?  Perhaps the best approach is to integrate commit of
20
 
# AtomicFiles with releasing the lock on the Branch.
21
 
 
22
 
# TODO: Separate 'prepare' phase where we find a list of potentially
23
 
# committed files.  We then can then pause the commit to prompt for a
24
 
# commit message, knowing the summary will be the same as what's
25
 
# actually used for the commit.  (But perhaps simpler to simply get
26
 
# the tree status, then use that for a selective commit?)
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
27
17
 
28
18
# The newly committed revision is going to have a shape corresponding
29
 
# to that of the working inventory.  Files that are not in the
 
19
# to that of the working tree.  Files that are not in the
30
20
# working tree and that were in the predecessor are reported as
31
21
# removed --- this can include files that were either removed from the
32
22
# inventory or deleted in the working tree.  If they were only
35
25
# We then consider the remaining entries, which will be in the new
36
26
# version.  Directory entries are simply copied across.  File entries
37
27
# must be checked to see if a new version of the file should be
38
 
# recorded.  For each parent revision inventory, we check to see what
 
28
# recorded.  For each parent revision tree, we check to see what
39
29
# version of the file was present.  If the file was present in at
40
30
# least one tree, and if it was the same version in all the trees,
41
31
# then we can just refer to that version.  Otherwise, a new version
56
46
# merges from, then it should still be reported as newly added
57
47
# relative to the basis revision.
58
48
 
59
 
# TODO: Do checks that the tree can be committed *before* running the 
60
 
# editor; this should include checks for a pointless commit and for 
61
 
# unknown or missing files.
62
 
 
63
 
# TODO: If commit fails, leave the message in a file somewhere.
64
 
 
65
 
 
66
 
import os
67
 
import re
68
 
import sys
69
 
import time
70
 
import pdb
71
 
 
72
 
from cStringIO import StringIO
73
 
 
74
 
from bzrlib.atomicfile import AtomicFile
 
49
# TODO: Change the parameter 'rev_id' to 'revision_id' to be consistent with
 
50
# the rest of the code; add a deprecation of the old name.
 
51
 
 
52
from bzrlib import (
 
53
    debug,
 
54
    errors,
 
55
    trace,
 
56
    tree,
 
57
    ui,
 
58
    )
 
59
from bzrlib.branch import Branch
 
60
from bzrlib.cleanup import OperationWithCleanups
75
61
import bzrlib.config
76
 
import bzrlib.errors as errors
77
62
from bzrlib.errors import (BzrError, PointlessCommit,
78
 
                           HistoryMissing,
79
63
                           ConflictsInTree,
80
64
                           StrictCommitFailed
81
65
                           )
82
 
from bzrlib.osutils import (kind_marker, isdir,isfile, is_inside_any, 
83
 
                            is_inside_or_parent_of_any,
84
 
                            quotefn, sha_file, split_lines)
85
 
from bzrlib.testament import Testament
86
 
from bzrlib.trace import mutter, note, warning
87
 
from bzrlib.xml5 import serializer_v5
88
 
from bzrlib.inventory import Inventory, ROOT_ID, InventoryEntry
89
 
from bzrlib.symbol_versioning import *
90
 
from bzrlib.workingtree import WorkingTree
91
 
 
92
 
 
93
 
@deprecated_function(zero_seven)
94
 
def commit(*args, **kwargs):
95
 
    """Commit a new revision to a branch.
96
 
 
97
 
    Function-style interface for convenience of old callers.
98
 
 
99
 
    New code should use the Commit class instead.
100
 
    """
101
 
    ## XXX: Remove this in favor of Branch.commit?
102
 
    Commit().commit(*args, **kwargs)
103
 
 
 
66
from bzrlib.osutils import (get_user_encoding,
 
67
                            is_inside_any,
 
68
                            minimum_path_selection,
 
69
                            splitpath,
 
70
                            )
 
71
from bzrlib.trace import mutter, note, is_quiet
 
72
from bzrlib.inventory import Inventory, InventoryEntry, make_entry
 
73
from bzrlib import symbol_versioning
 
74
from bzrlib.urlutils import unescape_for_display
 
75
from bzrlib.i18n import gettext
104
76
 
105
77
class NullCommitReporter(object):
106
78
    """I report on progress of a commit."""
107
79
 
 
80
    def started(self, revno, revid, location=None):
 
81
        if location is None:
 
82
            symbol_versioning.warn("As of bzr 1.0 you must pass a location "
 
83
                                   "to started.", DeprecationWarning,
 
84
                                   stacklevel=2)
 
85
        pass
 
86
 
108
87
    def snapshot_change(self, change, path):
109
88
        pass
110
89
 
111
90
    def completed(self, revno, rev_id):
112
91
        pass
113
92
 
114
 
    def deleted(self, file_id):
115
 
        pass
116
 
 
117
 
    def escaped(self, escape_count, message):
 
93
    def deleted(self, path):
118
94
        pass
119
95
 
120
96
    def missing(self, path):
123
99
    def renamed(self, change, old_path, new_path):
124
100
        pass
125
101
 
 
102
    def is_verbose(self):
 
103
        return False
 
104
 
126
105
 
127
106
class ReportCommitToLog(NullCommitReporter):
128
107
 
129
 
    # this may be more useful if 'note' was replaced by an overridable
130
 
    # method on self, which would allow more trivial subclassing.
131
 
    # alternative, a callable could be passed in, allowing really trivial
132
 
    # reuse for some uis. RBC 20060511
 
108
    def _note(self, format, *args):
 
109
        """Output a message.
 
110
 
 
111
        Subclasses may choose to override this method.
 
112
        """
 
113
        note(format, *args)
133
114
 
134
115
    def snapshot_change(self, change, path):
135
 
        if change == 'unchanged':
 
116
        if path == '' and change in (gettext('added'), gettext('modified')):
136
117
            return
137
 
        note("%s %s", change, path)
 
118
        self._note("%s %s", change, path)
 
119
 
 
120
    def started(self, revno, rev_id, location=None):
 
121
        if location is not None:
 
122
            location = ' to: ' + unescape_for_display(location, 'utf-8')
 
123
        else:
 
124
            # When started was added, location was only made optional by
 
125
            # accident.  Matt Nordhoff 20071129
 
126
            symbol_versioning.warn("As of bzr 1.0 you must pass a location "
 
127
                                   "to started.", DeprecationWarning,
 
128
                                   stacklevel=2)
 
129
            location = ''
 
130
        self._note(gettext('Committing%s'), location)
138
131
 
139
132
    def completed(self, revno, rev_id):
140
 
        note('Committed revision %d.', revno)
141
 
    
142
 
    def deleted(self, file_id):
143
 
        note('deleted %s', file_id)
 
133
        self._note(gettext('Committed revision %d.'), revno)
 
134
        # self._note goes to the console too; so while we want to log the
 
135
        # rev_id, we can't trivially only log it. (See bug 526425). Long
 
136
        # term we should rearrange the reporting structure, but for now
 
137
        # we just mutter seperately. We mutter the revid and revno together
 
138
        # so that concurrent bzr invocations won't lead to confusion.
 
139
        mutter('Committed revid %s as revno %d.', rev_id, revno)
144
140
 
145
 
    def escaped(self, escape_count, message):
146
 
        note("replaced %d control characters in message", escape_count)
 
141
    def deleted(self, path):
 
142
        self._note(gettext('deleted %s'), path)
147
143
 
148
144
    def missing(self, path):
149
 
        note('missing %s', path)
 
145
        self._note(gettext('missing %s'), path)
150
146
 
151
147
    def renamed(self, change, old_path, new_path):
152
 
        note('%s %s => %s', change, old_path, new_path)
 
148
        self._note('%s %s => %s', change, old_path, new_path)
 
149
 
 
150
    def is_verbose(self):
 
151
        return True
153
152
 
154
153
 
155
154
class Commit(object):
167
166
    def __init__(self,
168
167
                 reporter=None,
169
168
                 config=None):
170
 
        if reporter is not None:
171
 
            self.reporter = reporter
172
 
        else:
173
 
            self.reporter = NullCommitReporter()
174
 
        if config is not None:
175
 
            self.config = config
176
 
        else:
177
 
            self.config = None
178
 
        
 
169
        """Create a Commit object.
 
170
 
 
171
        :param reporter: the default reporter to use or None to decide later
 
172
        """
 
173
        self.reporter = reporter
 
174
        self.config = config
 
175
 
 
176
    @staticmethod
 
177
    def update_revprops(revprops, branch, authors=None, author=None,
 
178
                        local=False, possible_master_transports=None):
 
179
        if revprops is None:
 
180
            revprops = {}
 
181
        if possible_master_transports is None:
 
182
            possible_master_transports = []
 
183
        if not 'branch-nick' in revprops:
 
184
            revprops['branch-nick'] = branch._get_nick(
 
185
                local,
 
186
                possible_master_transports)
 
187
        if authors is not None:
 
188
            if author is not None:
 
189
                raise AssertionError('Specifying both author and authors '
 
190
                        'is not allowed. Specify just authors instead')
 
191
            if 'author' in revprops or 'authors' in revprops:
 
192
                # XXX: maybe we should just accept one of them?
 
193
                raise AssertionError('author property given twice')
 
194
            if authors:
 
195
                for individual in authors:
 
196
                    if '\n' in individual:
 
197
                        raise AssertionError('\\n is not a valid character '
 
198
                                'in an author identity')
 
199
                revprops['authors'] = '\n'.join(authors)
 
200
        if author is not None:
 
201
            symbol_versioning.warn('The parameter author was deprecated'
 
202
                   ' in version 1.13. Use authors instead',
 
203
                   DeprecationWarning)
 
204
            if 'author' in revprops or 'authors' in revprops:
 
205
                # XXX: maybe we should just accept one of them?
 
206
                raise AssertionError('author property given twice')
 
207
            if '\n' in author:
 
208
                raise AssertionError('\\n is not a valid character '
 
209
                        'in an author identity')
 
210
            revprops['authors'] = author
 
211
        return revprops
 
212
 
179
213
    def commit(self,
180
 
               branch=DEPRECATED_PARAMETER, message=None,
 
214
               message=None,
181
215
               timestamp=None,
182
216
               timezone=None,
183
217
               committer=None,
190
224
               working_tree=None,
191
225
               local=False,
192
226
               reporter=None,
193
 
               config=None):
 
227
               config=None,
 
228
               message_callback=None,
 
229
               recursive='down',
 
230
               exclude=None,
 
231
               possible_master_transports=None,
 
232
               lossy=False):
194
233
        """Commit working copy as a new revision.
195
234
 
196
 
        branch -- the deprecated branch to commit to. New callers should pass in 
197
 
                  working_tree instead
198
 
 
199
 
        message -- the commit message, a mandatory parameter
200
 
 
201
 
        timestamp -- if not None, seconds-since-epoch for a
202
 
             postdated/predated commit.
203
 
 
204
 
        specific_files -- If true, commit only those files.
205
 
 
206
 
        rev_id -- If set, use this as the new revision id.
 
235
        :param message: the commit message (it or message_callback is required)
 
236
        :param message_callback: A callback: message = message_callback(cmt_obj)
 
237
 
 
238
        :param timestamp: if not None, seconds-since-epoch for a
 
239
            postdated/predated commit.
 
240
 
 
241
        :param specific_files: If not None, commit only those files. An empty
 
242
            list means 'commit no files'.
 
243
 
 
244
        :param rev_id: If set, use this as the new revision id.
207
245
            Useful for test or import commands that need to tightly
208
246
            control what revisions are assigned.  If you duplicate
209
247
            a revision id that exists elsewhere it is your own fault.
210
248
            If null (default), a time/random revision id is generated.
211
249
 
212
 
        allow_pointless -- If true (default), commit even if nothing
 
250
        :param allow_pointless: If true (default), commit even if nothing
213
251
            has changed and no merges are recorded.
214
252
 
215
 
        strict -- If true, don't allow a commit if the working tree
 
253
        :param strict: If true, don't allow a commit if the working tree
216
254
            contains unknown files.
217
255
 
218
 
        revprops -- Properties for new revision
 
256
        :param revprops: Properties for new revision
219
257
        :param local: Perform a local only commit.
 
258
        :param reporter: the reporter to use or None for the default
 
259
        :param verbose: if True and the reporter is not None, report everything
 
260
        :param recursive: If set to 'down', commit in any subtrees that have
 
261
            pending changes of any sort during this commit.
 
262
        :param exclude: None or a list of relative paths to exclude from the
 
263
            commit. Pending changes to excluded files will be ignored by the
 
264
            commit.
 
265
        :param lossy: When committing to a foreign VCS, ignore any
 
266
            data that can not be natively represented.
220
267
        """
 
268
        operation = OperationWithCleanups(self._commit)
 
269
        self.revprops = revprops or {}
 
270
        # XXX: Can be set on __init__ or passed in - this is a bit ugly.
 
271
        self.config = config or self.config
 
272
        return operation.run(
 
273
               message=message,
 
274
               timestamp=timestamp,
 
275
               timezone=timezone,
 
276
               committer=committer,
 
277
               specific_files=specific_files,
 
278
               rev_id=rev_id,
 
279
               allow_pointless=allow_pointless,
 
280
               strict=strict,
 
281
               verbose=verbose,
 
282
               working_tree=working_tree,
 
283
               local=local,
 
284
               reporter=reporter,
 
285
               message_callback=message_callback,
 
286
               recursive=recursive,
 
287
               exclude=exclude,
 
288
               possible_master_transports=possible_master_transports,
 
289
               lossy=lossy)
 
290
 
 
291
    def _commit(self, operation, message, timestamp, timezone, committer,
 
292
            specific_files, rev_id, allow_pointless, strict, verbose,
 
293
            working_tree, local, reporter, message_callback, recursive,
 
294
            exclude, possible_master_transports, lossy):
221
295
        mutter('preparing to commit')
222
296
 
223
 
        if deprecated_passed(branch):
224
 
            warn("Commit.commit (branch, ...): The branch parameter is "
225
 
                 "deprecated as of bzr 0.8. Please use working_tree= instead.",
226
 
                 DeprecationWarning, stacklevel=2)
227
 
            self.branch = branch
228
 
            self.work_tree = self.branch.bzrdir.open_workingtree()
229
 
        elif working_tree is None:
230
 
            raise BzrError("One of branch and working_tree must be passed into commit().")
 
297
        if working_tree is None:
 
298
            raise BzrError("working_tree must be passed into commit().")
231
299
        else:
232
300
            self.work_tree = working_tree
233
301
            self.branch = self.work_tree.branch
234
 
        if message is None:
235
 
            raise BzrError("The message keyword parameter is required for commit().")
 
302
            if getattr(self.work_tree, 'requires_rich_root', lambda: False)():
 
303
                if not self.branch.repository.supports_rich_root():
 
304
                    raise errors.RootNotRich()
 
305
        if message_callback is None:
 
306
            if message is not None:
 
307
                if isinstance(message, str):
 
308
                    message = message.decode(get_user_encoding())
 
309
                message_callback = lambda x: message
 
310
            else:
 
311
                raise BzrError("The message or message_callback keyword"
 
312
                               " parameter is required for commit().")
236
313
 
237
 
        self.weave_store = self.branch.repository.weave_store
238
314
        self.bound_branch = None
 
315
        self.any_entries_deleted = False
 
316
        if exclude is not None:
 
317
            self.exclude = sorted(
 
318
                minimum_path_selection(exclude))
 
319
        else:
 
320
            self.exclude = []
239
321
        self.local = local
240
322
        self.master_branch = None
241
 
        self.master_locked = False
 
323
        self.recursive = recursive
242
324
        self.rev_id = None
243
 
        self.specific_files = specific_files
 
325
        # self.specific_files is None to indicate no filter, or any iterable to
 
326
        # indicate a filter - [] means no files at all, as per iter_changes.
 
327
        if specific_files is not None:
 
328
            self.specific_files = sorted(
 
329
                minimum_path_selection(specific_files))
 
330
        else:
 
331
            self.specific_files = None
 
332
 
244
333
        self.allow_pointless = allow_pointless
245
 
 
246
 
        if reporter is None and self.reporter is None:
247
 
            self.reporter = NullCommitReporter()
248
 
        elif reporter is not None:
249
 
            self.reporter = reporter
 
334
        self.message_callback = message_callback
 
335
        self.timestamp = timestamp
 
336
        self.timezone = timezone
 
337
        self.committer = committer
 
338
        self.strict = strict
 
339
        self.verbose = verbose
250
340
 
251
341
        self.work_tree.lock_write()
252
 
        self.pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
342
        operation.add_cleanup(self.work_tree.unlock)
 
343
        self.parents = self.work_tree.get_parent_ids()
 
344
        # We can use record_iter_changes IFF iter_changes is compatible with
 
345
        # the command line parameters, and the repository has fast delta
 
346
        # generation. See bug 347649.
 
347
        self.use_record_iter_changes = (
 
348
            not self.exclude and 
 
349
            not self.branch.repository._format.supports_tree_reference and
 
350
            (self.branch.repository._format.fast_deltas or
 
351
             len(self.parents) < 2))
 
352
        self.pb = ui.ui_factory.nested_progress_bar()
 
353
        operation.add_cleanup(self.pb.finished)
 
354
        self.basis_revid = self.work_tree.last_revision()
 
355
        self.basis_tree = self.work_tree.basis_tree()
 
356
        self.basis_tree.lock_read()
 
357
        operation.add_cleanup(self.basis_tree.unlock)
 
358
        # Cannot commit with conflicts present.
 
359
        if len(self.work_tree.conflicts()) > 0:
 
360
            raise ConflictsInTree
 
361
 
 
362
        # Setup the bound branch variables as needed.
 
363
        self._check_bound_branch(operation, possible_master_transports)
 
364
 
 
365
        # Check that the working tree is up to date
 
366
        old_revno, new_revno = self._check_out_of_date_tree()
 
367
 
 
368
        # Complete configuration setup
 
369
        if reporter is not None:
 
370
            self.reporter = reporter
 
371
        elif self.reporter is None:
 
372
            self.reporter = self._select_reporter()
 
373
        if self.config is None:
 
374
            self.config = self.branch.get_config()
 
375
 
 
376
        self._set_specific_file_ids()
 
377
 
 
378
        # Setup the progress bar. As the number of files that need to be
 
379
        # committed in unknown, progress is reported as stages.
 
380
        # We keep track of entries separately though and include that
 
381
        # information in the progress bar during the relevant stages.
 
382
        self.pb_stage_name = ""
 
383
        self.pb_stage_count = 0
 
384
        self.pb_stage_total = 5
 
385
        if self.bound_branch:
 
386
            # 2 extra stages: "Uploading data to master branch" and "Merging
 
387
            # tags to master branch"
 
388
            self.pb_stage_total += 2
 
389
        self.pb.show_pct = False
 
390
        self.pb.show_spinner = False
 
391
        self.pb.show_eta = False
 
392
        self.pb.show_count = True
 
393
        self.pb.show_bar = True
 
394
 
 
395
        self._gather_parents()
 
396
        # After a merge, a selected file commit is not supported.
 
397
        # See 'bzr help merge' for an explanation as to why.
 
398
        if len(self.parents) > 1 and self.specific_files is not None:
 
399
            raise errors.CannotCommitSelectedFileMerge(self.specific_files)
 
400
        # Excludes are a form of selected file commit.
 
401
        if len(self.parents) > 1 and self.exclude:
 
402
            raise errors.CannotCommitSelectedFileMerge(self.exclude)
 
403
 
 
404
        # Collect the changes
 
405
        self._set_progress_stage("Collecting changes", counter=True)
 
406
        self._lossy = lossy
 
407
        self.builder = self.branch.get_commit_builder(self.parents,
 
408
            self.config, timestamp, timezone, committer, self.revprops,
 
409
            rev_id, lossy=lossy)
 
410
        if not self.builder.supports_record_entry_contents and self.exclude:
 
411
            self.builder.abort()
 
412
            raise errors.ExcludesUnsupported(self.branch.repository)
 
413
 
253
414
        try:
254
 
            # Cannot commit with conflicts present.
255
 
            if len(self.work_tree.conflicts())>0:
256
 
                raise ConflictsInTree
257
 
 
258
 
            # setup the bound branch variables as needed.
259
 
            self._check_bound_branch()
260
 
 
261
 
            # check for out of date working trees
262
 
            # if we are bound, then self.branch is the master branch and this
263
 
            # test is thus all we need.
264
 
            if self.work_tree.last_revision() != self.master_branch.last_revision():
265
 
                raise errors.OutOfDateTree(self.work_tree)
266
 
    
267
 
            if strict:
268
 
                # raise an exception as soon as we find a single unknown.
269
 
                for unknown in self.work_tree.unknowns():
270
 
                    raise StrictCommitFailed()
271
 
                   
272
 
            if self.config is None:
273
 
                self.config = bzrlib.config.BranchConfig(self.branch)
274
 
      
275
 
            if isinstance(message, str):
276
 
                message = message.decode(bzrlib.user_encoding)
277
 
            assert isinstance(message, unicode), type(message)
 
415
            self.builder.will_record_deletes()
 
416
            # find the location being committed to
 
417
            if self.bound_branch:
 
418
                master_location = self.master_branch.base
 
419
            else:
 
420
                master_location = self.branch.base
 
421
 
 
422
            # report the start of the commit
 
423
            self.reporter.started(new_revno, self.rev_id, master_location)
 
424
 
 
425
            self._update_builder_with_changes()
 
426
            self._check_pointless()
 
427
 
 
428
            # TODO: Now the new inventory is known, check for conflicts.
 
429
            # ADHB 2006-08-08: If this is done, populate_new_inv should not add
 
430
            # weave lines, because nothing should be recorded until it is known
 
431
            # that commit will succeed.
 
432
            self._set_progress_stage("Saving data locally")
 
433
            self.builder.finish_inventory()
 
434
 
 
435
            # Prompt the user for a commit message if none provided
 
436
            message = message_callback(self)
278
437
            self.message = message
279
 
            self._escape_commit_message()
280
 
 
281
 
            self.work_inv = self.work_tree.inventory
282
 
            self.basis_tree = self.work_tree.basis_tree()
283
 
            self.basis_inv = self.basis_tree.inventory
284
 
            # one to finish, one for rev and inventory, and one for each
285
 
            # inventory entry, and the same for the new inventory.
286
 
            # note that this estimate is too long when we do a partial tree
287
 
            # commit which excludes some new files from being considered.
288
 
            # The estimate is corrected when we populate the new inv.
289
 
            self.pb_total = len(self.work_inv) + 5
290
 
            self.pb_count = 0
291
 
 
292
 
            self._gather_parents()
293
 
            if len(self.parents) > 1 and self.specific_files:
294
 
                raise NotImplementedError('selected-file commit of merges is not supported yet: files %r',
295
 
                        self.specific_files)
296
 
            self._check_parents_present()
297
 
            self.builder = self.branch.get_commit_builder(self.parents, 
298
 
                self.config, timestamp, timezone, committer, revprops, rev_id)
299
 
            
300
 
            self._remove_deleted()
301
 
            self._populate_new_inv()
302
 
            self._report_deletes()
303
 
 
304
 
            if not (self.allow_pointless
305
 
                    or len(self.parents) > 1
306
 
                    or self.builder.new_inventory != self.basis_inv):
307
 
                raise PointlessCommit()
308
 
 
309
 
            self._emit_progress_update()
310
 
            # TODO: Now the new inventory is known, check for conflicts and prompt the 
311
 
            # user for a commit message.
312
 
            self.builder.finish_inventory()
313
 
            self._emit_progress_update()
 
438
 
 
439
            # Add revision data to the local branch
314
440
            self.rev_id = self.builder.commit(self.message)
315
 
            self._emit_progress_update()
316
 
            # revision data is in the local branch now.
317
 
            
318
 
            # upload revision data to the master.
319
 
            # this will propogate merged revisions too if needed.
320
 
            if self.bound_branch:
321
 
                self.master_branch.repository.fetch(self.branch.repository,
322
 
                                                    revision_id=self.rev_id)
323
 
                # now the master has the revision data
324
 
                # 'commit' to the master first so a timeout here causes the local
325
 
                # branch to be out of date
326
 
                self.master_branch.append_revision(self.rev_id)
327
 
 
328
 
            # and now do the commit locally.
329
 
            self.branch.append_revision(self.rev_id)
330
 
 
331
 
            self.work_tree.set_pending_merges([])
332
 
            self.work_tree.set_last_revision(self.rev_id)
333
 
            # now the work tree is up to date with the branch
334
 
            
335
 
            self.reporter.completed(self.branch.revno(), self.rev_id)
336
 
            if self.config.post_commit() is not None:
337
 
                hooks = self.config.post_commit().split(' ')
338
 
                # this would be nicer with twisted.python.reflect.namedAny
339
 
                for hook in hooks:
340
 
                    result = eval(hook + '(branch, rev_id)',
341
 
                                  {'branch':self.branch,
342
 
                                   'bzrlib':bzrlib,
343
 
                                   'rev_id':self.rev_id})
344
 
            self._emit_progress_update()
345
 
        finally:
346
 
            self._cleanup()
347
 
 
348
 
    def _check_bound_branch(self):
 
441
 
 
442
        except Exception, e:
 
443
            mutter("aborting commit write group because of exception:")
 
444
            trace.log_exception_quietly()
 
445
            self.builder.abort()
 
446
            raise
 
447
 
 
448
        self._process_pre_hooks(old_revno, new_revno)
 
449
 
 
450
        # Upload revision data to the master.
 
451
        # this will propagate merged revisions too if needed.
 
452
        if self.bound_branch:
 
453
            self._set_progress_stage("Uploading data to master branch")
 
454
            # 'commit' to the master first so a timeout here causes the
 
455
            # local branch to be out of date
 
456
            (new_revno, self.rev_id) = self.master_branch.import_last_revision_info_and_tags(
 
457
                self.branch, new_revno, self.rev_id, lossy=lossy)
 
458
            if lossy:
 
459
                self.branch.fetch(self.master_branch, self.rev_id)
 
460
 
 
461
        # and now do the commit locally.
 
462
        self.branch.set_last_revision_info(new_revno, self.rev_id)
 
463
 
 
464
        # Merge local tags to remote
 
465
        if self.bound_branch:
 
466
            self._set_progress_stage("Merging tags to master branch")
 
467
            tag_updates, tag_conflicts = self.branch.tags.merge_to(
 
468
                self.master_branch.tags)
 
469
            if tag_conflicts:
 
470
                warning_lines = ['    ' + name for name, _, _ in tag_conflicts]
 
471
                note( gettext("Conflicting tags in bound branch:\n{0}".format(
 
472
                    "\n".join(warning_lines))) )
 
473
 
 
474
        # Make the working tree be up to date with the branch. This
 
475
        # includes automatic changes scheduled to be made to the tree, such
 
476
        # as updating its basis and unversioning paths that were missing.
 
477
        self.work_tree.unversion(self.deleted_ids)
 
478
        self._set_progress_stage("Updating the working tree")
 
479
        self.work_tree.update_basis_by_delta(self.rev_id,
 
480
             self.builder.get_basis_delta())
 
481
        self.reporter.completed(new_revno, self.rev_id)
 
482
        self._process_post_hooks(old_revno, new_revno)
 
483
        return self.rev_id
 
484
 
 
485
    def _select_reporter(self):
 
486
        """Select the CommitReporter to use."""
 
487
        if is_quiet():
 
488
            return NullCommitReporter()
 
489
        return ReportCommitToLog()
 
490
 
 
491
    def _check_pointless(self):
 
492
        if self.allow_pointless:
 
493
            return
 
494
        # A merge with no effect on files
 
495
        if len(self.parents) > 1:
 
496
            return
 
497
        if self.builder.any_changes():
 
498
            return
 
499
        raise PointlessCommit()
 
500
 
 
501
    def _check_bound_branch(self, operation, possible_master_transports=None):
349
502
        """Check to see if the local branch is bound.
350
503
 
351
504
        If it is bound, then most of the commit will actually be
356
509
            raise errors.LocalRequiresBoundBranch()
357
510
 
358
511
        if not self.local:
359
 
            self.master_branch = self.branch.get_master_branch()
 
512
            self.master_branch = self.branch.get_master_branch(
 
513
                possible_master_transports)
360
514
 
361
515
        if not self.master_branch:
362
516
            # make this branch the reference branch for out of date checks.
373
527
        #       commits to the remote branch if they would fit.
374
528
        #       But for now, just require remote to be identical
375
529
        #       to local.
376
 
        
 
530
 
377
531
        # Make sure the local branch is identical to the master
378
 
        master_rh = self.master_branch.revision_history()
379
 
        local_rh = self.branch.revision_history()
380
 
        if local_rh != master_rh:
 
532
        master_info = self.master_branch.last_revision_info()
 
533
        local_info = self.branch.last_revision_info()
 
534
        if local_info != master_info:
381
535
            raise errors.BoundBranchOutOfDate(self.branch,
382
536
                    self.master_branch)
383
537
 
385
539
        # so grab the lock
386
540
        self.bound_branch = self.branch
387
541
        self.master_branch.lock_write()
388
 
        self.master_locked = True
389
 
####        
390
 
####        # Check to see if we have any pending merges. If we do
391
 
####        # those need to be pushed into the master branch
392
 
####        pending_merges = self.work_tree.pending_merges()
393
 
####        if pending_merges:
394
 
####            for revision_id in pending_merges:
395
 
####                self.master_branch.repository.fetch(self.bound_branch.repository,
396
 
####                                                    revision_id=revision_id)
397
 
 
398
 
    def _cleanup(self):
399
 
        """Cleanup any open locks, progress bars etc."""
400
 
        cleanups = [self._cleanup_bound_branch,
401
 
                    self.work_tree.unlock,
402
 
                    self.pb.finished]
403
 
        found_exception = None
404
 
        for cleanup in cleanups:
405
 
            try:
406
 
                cleanup()
407
 
            # we want every cleanup to run no matter what.
408
 
            # so we have a catchall here, but we will raise the
409
 
            # last encountered exception up the stack: and
410
 
            # typically this will be useful enough.
411
 
            except Exception, e:
412
 
                found_exception = e
413
 
        if found_exception is not None: 
414
 
            # dont do a plan raise, because the last exception may have been
415
 
            # trashed, e is our sure-to-work exception even though it loses the
416
 
            # full traceback. XXX: RBC 20060421 perhaps we could check the
417
 
            # exc_info and if its the same one do a plain raise otherwise 
418
 
            # 'raise e' as we do now.
419
 
            raise e
420
 
 
421
 
    def _cleanup_bound_branch(self):
422
 
        """Executed at the end of a try/finally to cleanup a bound branch.
423
 
 
424
 
        If the branch wasn't bound, this is a no-op.
425
 
        If it was, it resents self.branch to the local branch, instead
426
 
        of being the master.
 
542
        operation.add_cleanup(self.master_branch.unlock)
 
543
 
 
544
    def _check_out_of_date_tree(self):
 
545
        """Check that the working tree is up to date.
 
546
 
 
547
        :return: old_revision_number,new_revision_number tuple
427
548
        """
 
549
        try:
 
550
            first_tree_parent = self.work_tree.get_parent_ids()[0]
 
551
        except IndexError:
 
552
            # if there are no parents, treat our parent as 'None'
 
553
            # this is so that we still consider the master branch
 
554
            # - in a checkout scenario the tree may have no
 
555
            # parents but the branch may do.
 
556
            first_tree_parent = bzrlib.revision.NULL_REVISION
 
557
        old_revno, master_last = self.master_branch.last_revision_info()
 
558
        if master_last != first_tree_parent:
 
559
            if master_last != bzrlib.revision.NULL_REVISION:
 
560
                raise errors.OutOfDateTree(self.work_tree)
 
561
        if self.branch.repository.has_revision(first_tree_parent):
 
562
            new_revno = old_revno + 1
 
563
        else:
 
564
            # ghost parents never appear in revision history.
 
565
            new_revno = 1
 
566
        return old_revno,new_revno
 
567
 
 
568
    def _process_pre_hooks(self, old_revno, new_revno):
 
569
        """Process any registered pre commit hooks."""
 
570
        self._set_progress_stage("Running pre_commit hooks")
 
571
        self._process_hooks("pre_commit", old_revno, new_revno)
 
572
 
 
573
    def _process_post_hooks(self, old_revno, new_revno):
 
574
        """Process any registered post commit hooks."""
 
575
        # Process the post commit hooks, if any
 
576
        self._set_progress_stage("Running post_commit hooks")
 
577
        # old style commit hooks - should be deprecated ? (obsoleted in
 
578
        # 0.15)
 
579
        if self.config.post_commit() is not None:
 
580
            hooks = self.config.post_commit().split(' ')
 
581
            # this would be nicer with twisted.python.reflect.namedAny
 
582
            for hook in hooks:
 
583
                result = eval(hook + '(branch, rev_id)',
 
584
                              {'branch':self.branch,
 
585
                               'bzrlib':bzrlib,
 
586
                               'rev_id':self.rev_id})
 
587
        # process new style post commit hooks
 
588
        self._process_hooks("post_commit", old_revno, new_revno)
 
589
 
 
590
    def _process_hooks(self, hook_name, old_revno, new_revno):
 
591
        if not Branch.hooks[hook_name]:
 
592
            return
 
593
 
 
594
        # new style commit hooks:
428
595
        if not self.bound_branch:
429
 
            return
430
 
        if self.master_locked:
431
 
            self.master_branch.unlock()
432
 
 
433
 
    def _escape_commit_message(self):
434
 
        """Replace xml-incompatible control characters."""
435
 
        # FIXME: RBC 20060419 this should be done by the revision
436
 
        # serialiser not by commit. Then we can also add an unescaper
437
 
        # in the deserializer and start roundtripping revision messages
438
 
        # precisely. See repository_implementations/test_repository.py
439
 
        
440
 
        # Python strings can include characters that can't be
441
 
        # represented in well-formed XML; escape characters that
442
 
        # aren't listed in the XML specification
443
 
        # (http://www.w3.org/TR/REC-xml/#NT-Char).
444
 
        self.message, escape_count = re.subn(
445
 
            u'[^\x09\x0A\x0D\u0020-\uD7FF\uE000-\uFFFD]+',
446
 
            lambda match: match.group(0).encode('unicode_escape'),
447
 
            self.message)
448
 
        if escape_count:
449
 
            self.reporter.escaped(escape_count, self.message)
 
596
            hook_master = self.branch
 
597
            hook_local = None
 
598
        else:
 
599
            hook_master = self.master_branch
 
600
            hook_local = self.branch
 
601
        # With bound branches, when the master is behind the local branch,
 
602
        # the 'old_revno' and old_revid values here are incorrect.
 
603
        # XXX: FIXME ^. RBC 20060206
 
604
        if self.parents:
 
605
            old_revid = self.parents[0]
 
606
        else:
 
607
            old_revid = bzrlib.revision.NULL_REVISION
 
608
 
 
609
        if hook_name == "pre_commit":
 
610
            future_tree = self.builder.revision_tree()
 
611
            tree_delta = future_tree.changes_from(self.basis_tree,
 
612
                                             include_root=True)
 
613
 
 
614
        for hook in Branch.hooks[hook_name]:
 
615
            # show the running hook in the progress bar. As hooks may
 
616
            # end up doing nothing (e.g. because they are not configured by
 
617
            # the user) this is still showing progress, not showing overall
 
618
            # actions - its up to each plugin to show a UI if it want's to
 
619
            # (such as 'Emailing diff to foo@example.com').
 
620
            self.pb_stage_name = "Running %s hooks [%s]" % \
 
621
                (hook_name, Branch.hooks.get_hook_name(hook))
 
622
            self._emit_progress()
 
623
            if 'hooks' in debug.debug_flags:
 
624
                mutter("Invoking commit hook: %r", hook)
 
625
            if hook_name == "post_commit":
 
626
                hook(hook_local, hook_master, old_revno, old_revid, new_revno,
 
627
                     self.rev_id)
 
628
            elif hook_name == "pre_commit":
 
629
                hook(hook_local, hook_master,
 
630
                     old_revno, old_revid, new_revno, self.rev_id,
 
631
                     tree_delta, future_tree)
450
632
 
451
633
    def _gather_parents(self):
452
634
        """Record the parents of a merge for merge detection."""
453
 
        # TODO: Make sure that this list doesn't contain duplicate 
 
635
        # TODO: Make sure that this list doesn't contain duplicate
454
636
        # entries and the order is preserved when doing this.
455
 
        pending_merges = self.work_tree.pending_merges()
456
 
        self.parents = []
457
 
        self.parent_invs = []
458
 
        precursor_id = self.branch.last_revision()
459
 
        if precursor_id:
460
 
            self.parents.append(precursor_id)
461
 
        self.parents += pending_merges
462
 
        for revision in self.parents:
 
637
        if self.use_record_iter_changes:
 
638
            return
 
639
        self.basis_inv = self.basis_tree.inventory
 
640
        self.parent_invs = [self.basis_inv]
 
641
        for revision in self.parents[1:]:
463
642
            if self.branch.repository.has_revision(revision):
 
643
                mutter('commit parent revision {%s}', revision)
464
644
                inventory = self.branch.repository.get_inventory(revision)
465
645
                self.parent_invs.append(inventory)
466
 
 
467
 
    def _check_parents_present(self):
468
 
        for parent_id in self.parents:
469
 
            mutter('commit parent revision {%s}', parent_id)
470
 
            if not self.branch.repository.has_revision(parent_id):
471
 
                if parent_id == self.branch.last_revision():
472
 
                    warning("parent is missing %r", parent_id)
473
 
                    raise HistoryMissing(self.branch, 'revision', parent_id)
474
 
                else:
475
 
                    mutter("commit will ghost revision %r", parent_id)
476
 
            
477
 
    def _remove_deleted(self):
478
 
        """Remove deleted files from the working inventories.
479
 
 
480
 
        This is done prior to taking the working inventory as the
481
 
        basis for the new committed inventory.
482
 
 
483
 
        This returns true if any files
484
 
        *that existed in the basis inventory* were deleted.
485
 
        Files that were added and deleted
486
 
        in the working copy don't matter.
487
 
        """
488
 
        specific = self.specific_files
 
646
            else:
 
647
                mutter('commit parent ghost revision {%s}', revision)
 
648
 
 
649
    def _update_builder_with_changes(self):
 
650
        """Update the commit builder with the data about what has changed.
 
651
        """
 
652
        exclude = self.exclude
 
653
        specific_files = self.specific_files
 
654
        mutter("Selecting files for commit with filter %s", specific_files)
 
655
 
 
656
        self._check_strict()
 
657
        if self.use_record_iter_changes:
 
658
            iter_changes = self.work_tree.iter_changes(self.basis_tree,
 
659
                specific_files=specific_files)
 
660
            iter_changes = self._filter_iter_changes(iter_changes)
 
661
            for file_id, path, fs_hash in self.builder.record_iter_changes(
 
662
                self.work_tree, self.basis_revid, iter_changes):
 
663
                self.work_tree._observed_sha1(file_id, path, fs_hash)
 
664
        else:
 
665
            # Build the new inventory
 
666
            self._populate_from_inventory()
 
667
            self._record_unselected()
 
668
            self._report_and_accumulate_deletes()
 
669
 
 
670
    def _filter_iter_changes(self, iter_changes):
 
671
        """Process iter_changes.
 
672
 
 
673
        This method reports on the changes in iter_changes to the user, and 
 
674
        converts 'missing' entries in the iter_changes iterator to 'deleted'
 
675
        entries. 'missing' entries have their
 
676
 
 
677
        :param iter_changes: An iter_changes to process.
 
678
        :return: A generator of changes.
 
679
        """
 
680
        reporter = self.reporter
 
681
        report_changes = reporter.is_verbose()
489
682
        deleted_ids = []
490
 
        for path, ie in self.work_inv.iter_entries():
491
 
            if specific and not is_inside_any(specific, path):
492
 
                continue
493
 
            if not self.work_tree.has_filename(path):
494
 
                self.reporter.missing(path)
495
 
                deleted_ids.append((path, ie.file_id))
 
683
        for change in iter_changes:
 
684
            if report_changes:
 
685
                old_path = change[1][0]
 
686
                new_path = change[1][1]
 
687
                versioned = change[3][1]
 
688
            kind = change[6][1]
 
689
            versioned = change[3][1]
 
690
            if kind is None and versioned:
 
691
                # 'missing' path
 
692
                if report_changes:
 
693
                    reporter.missing(new_path)
 
694
                deleted_ids.append(change[0])
 
695
                # Reset the new path (None) and new versioned flag (False)
 
696
                change = (change[0], (change[1][0], None), change[2],
 
697
                    (change[3][0], False)) + change[4:]
 
698
                new_path = change[1][1]
 
699
                versioned = False
 
700
            elif kind == 'tree-reference':
 
701
                if self.recursive == 'down':
 
702
                    self._commit_nested_tree(change[0], change[1][1])
 
703
            if change[3][0] or change[3][1]:
 
704
                yield change
 
705
                if report_changes:
 
706
                    if new_path is None:
 
707
                        reporter.deleted(old_path)
 
708
                    elif old_path is None:
 
709
                        reporter.snapshot_change(gettext('added'), new_path)
 
710
                    elif old_path != new_path:
 
711
                        reporter.renamed(gettext('renamed'), old_path, new_path)
 
712
                    else:
 
713
                        if (new_path or 
 
714
                            self.work_tree.branch.repository._format.rich_root_data):
 
715
                            # Don't report on changes to '' in non rich root
 
716
                            # repositories.
 
717
                            reporter.snapshot_change(gettext('modified'), new_path)
 
718
            self._next_progress_entry()
 
719
        # Unversion IDs that were found to be deleted
 
720
        self.deleted_ids = deleted_ids
 
721
 
 
722
    def _record_unselected(self):
 
723
        # If specific files are selected, then all un-selected files must be
 
724
        # recorded in their previous state. For more details, see
 
725
        # https://lists.ubuntu.com/archives/bazaar/2007q3/028476.html.
 
726
        if self.specific_files or self.exclude:
 
727
            specific_files = self.specific_files or []
 
728
            for path, old_ie in self.basis_inv.iter_entries():
 
729
                if self.builder.new_inventory.has_id(old_ie.file_id):
 
730
                    # already added - skip.
 
731
                    continue
 
732
                if (is_inside_any(specific_files, path)
 
733
                    and not is_inside_any(self.exclude, path)):
 
734
                    # was inside the selected path, and not excluded - if not
 
735
                    # present it has been deleted so skip.
 
736
                    continue
 
737
                # From here down it was either not selected, or was excluded:
 
738
                # We preserve the entry unaltered.
 
739
                ie = old_ie.copy()
 
740
                # Note: specific file commits after a merge are currently
 
741
                # prohibited. This test is for sanity/safety in case it's
 
742
                # required after that changes.
 
743
                if len(self.parents) > 1:
 
744
                    ie.revision = None
 
745
                self.builder.record_entry_contents(ie, self.parent_invs, path,
 
746
                    self.basis_tree, None)
 
747
 
 
748
    def _report_and_accumulate_deletes(self):
 
749
        if (isinstance(self.basis_inv, Inventory)
 
750
            and isinstance(self.builder.new_inventory, Inventory)):
 
751
            # the older Inventory classes provide a _byid dict, and building a
 
752
            # set from the keys of this dict is substantially faster than even
 
753
            # getting a set of ids from the inventory
 
754
            #
 
755
            # <lifeless> set(dict) is roughly the same speed as
 
756
            # set(iter(dict)) and both are significantly slower than
 
757
            # set(dict.keys())
 
758
            deleted_ids = set(self.basis_inv._byid.keys()) - \
 
759
               set(self.builder.new_inventory._byid.keys())
 
760
        else:
 
761
            deleted_ids = set(self.basis_inv) - set(self.builder.new_inventory)
496
762
        if deleted_ids:
497
 
            deleted_ids.sort(reverse=True)
498
 
            for path, file_id in deleted_ids:
499
 
                del self.work_inv[file_id]
500
 
            self.work_tree._write_inventory(self.work_inv)
501
 
 
502
 
    def _populate_new_inv(self):
503
 
        """Build revision inventory.
504
 
 
505
 
        This creates a new empty inventory. Depending on
506
 
        which files are selected for commit, and what is present in the
507
 
        current tree, the new inventory is populated. inventory entries 
508
 
        which are candidates for modification have their revision set to
509
 
        None; inventory entries that are carried over untouched have their
510
 
        revision set to their prior value.
511
 
        """
512
 
        mutter("Selecting files for commit with filter %s", self.specific_files)
513
 
        # iter_entries does not visit the ROOT_ID node so we need to call
514
 
        # self._emit_progress_update once by hand.
515
 
        self._emit_progress_update()
516
 
        for path, new_ie in self.work_inv.iter_entries():
517
 
            self._emit_progress_update()
518
 
            file_id = new_ie.file_id
519
 
            mutter('check %s {%s}', path, file_id)
520
 
            if (not self.specific_files or 
521
 
                is_inside_or_parent_of_any(self.specific_files, path)):
522
 
                    mutter('%s selected for commit', path)
523
 
                    ie = new_ie.copy()
524
 
                    ie.revision = None
525
 
            else:
526
 
                mutter('%s not selected for commit', path)
527
 
                if self.basis_inv.has_id(file_id):
528
 
                    ie = self.basis_inv[file_id].copy()
529
 
                else:
530
 
                    # this entry is new and not being committed
531
 
                    continue
532
 
 
533
 
            self.builder.record_entry_contents(ie, self.parent_invs, 
534
 
                path, self.work_tree)
535
 
            # describe the nature of the change that has occured relative to
536
 
            # the basis inventory.
537
 
            if (self.basis_inv.has_id(ie.file_id)):
538
 
                basis_ie = self.basis_inv[ie.file_id]
539
 
            else:
540
 
                basis_ie = None
541
 
            change = ie.describe_change(basis_ie, ie)
542
 
            if change in (InventoryEntry.RENAMED, 
543
 
                InventoryEntry.MODIFIED_AND_RENAMED):
544
 
                old_path = self.basis_inv.id2path(ie.file_id)
545
 
                self.reporter.renamed(change, old_path, path)
546
 
            else:
547
 
                self.reporter.snapshot_change(change, path)
548
 
 
549
 
    def _emit_progress_update(self):
550
 
        """Emit an update to the progress bar."""
551
 
        self.pb.update("Committing", self.pb_count, self.pb_total)
552
 
        self.pb_count += 1
553
 
 
554
 
    def _report_deletes(self):
555
 
        for path, ie in self.basis_inv.iter_entries():
556
 
            if ie.file_id not in self.builder.new_inventory:
 
763
            self.any_entries_deleted = True
 
764
            deleted = [(self.basis_tree.id2path(file_id), file_id)
 
765
                for file_id in deleted_ids]
 
766
            deleted.sort()
 
767
            # XXX: this is not quite directory-order sorting
 
768
            for path, file_id in deleted:
 
769
                self.builder.record_delete(path, file_id)
557
770
                self.reporter.deleted(path)
558
771
 
559
 
 
 
772
    def _check_strict(self):
 
773
        # XXX: when we use iter_changes this would likely be faster if
 
774
        # iter_changes would check for us (even in the presence of
 
775
        # selected_files).
 
776
        if self.strict:
 
777
            # raise an exception as soon as we find a single unknown.
 
778
            for unknown in self.work_tree.unknowns():
 
779
                raise StrictCommitFailed()
 
780
 
 
781
    def _populate_from_inventory(self):
 
782
        """Populate the CommitBuilder by walking the working tree inventory."""
 
783
        # Build the revision inventory.
 
784
        #
 
785
        # This starts by creating a new empty inventory. Depending on
 
786
        # which files are selected for commit, and what is present in the
 
787
        # current tree, the new inventory is populated. inventory entries
 
788
        # which are candidates for modification have their revision set to
 
789
        # None; inventory entries that are carried over untouched have their
 
790
        # revision set to their prior value.
 
791
        #
 
792
        # ESEPARATIONOFCONCERNS: this function is diffing and using the diff
 
793
        # results to create a new inventory at the same time, which results
 
794
        # in bugs like #46635.  Any reason not to use/enhance Tree.changes_from?
 
795
        # ADHB 11-07-2006
 
796
 
 
797
        specific_files = self.specific_files
 
798
        exclude = self.exclude
 
799
        report_changes = self.reporter.is_verbose()
 
800
        deleted_ids = []
 
801
        # A tree of paths that have been deleted. E.g. if foo/bar has been
 
802
        # deleted, then we have {'foo':{'bar':{}}}
 
803
        deleted_paths = {}
 
804
        # XXX: Note that entries may have the wrong kind because the entry does
 
805
        # not reflect the status on disk.
 
806
        work_inv = self.work_tree.inventory
 
807
        # NB: entries will include entries within the excluded ids/paths
 
808
        # because iter_entries_by_dir has no 'exclude' facility today.
 
809
        entries = work_inv.iter_entries_by_dir(
 
810
            specific_file_ids=self.specific_file_ids, yield_parents=True)
 
811
        for path, existing_ie in entries:
 
812
            file_id = existing_ie.file_id
 
813
            name = existing_ie.name
 
814
            parent_id = existing_ie.parent_id
 
815
            kind = existing_ie.kind
 
816
            # Skip files that have been deleted from the working tree.
 
817
            # The deleted path ids are also recorded so they can be explicitly
 
818
            # unversioned later.
 
819
            if deleted_paths:
 
820
                path_segments = splitpath(path)
 
821
                deleted_dict = deleted_paths
 
822
                for segment in path_segments:
 
823
                    deleted_dict = deleted_dict.get(segment, None)
 
824
                    if not deleted_dict:
 
825
                        # We either took a path not present in the dict
 
826
                        # (deleted_dict was None), or we've reached an empty
 
827
                        # child dir in the dict, so are now a sub-path.
 
828
                        break
 
829
                else:
 
830
                    deleted_dict = None
 
831
                if deleted_dict is not None:
 
832
                    # the path has a deleted parent, do not add it.
 
833
                    continue
 
834
            if exclude and is_inside_any(exclude, path):
 
835
                # Skip excluded paths. Excluded paths are processed by
 
836
                # _update_builder_with_changes.
 
837
                continue
 
838
            content_summary = self.work_tree.path_content_summary(path)
 
839
            kind = content_summary[0]
 
840
            # Note that when a filter of specific files is given, we must only
 
841
            # skip/record deleted files matching that filter.
 
842
            if not specific_files or is_inside_any(specific_files, path):
 
843
                if kind == 'missing':
 
844
                    if not deleted_paths:
 
845
                        # path won't have been split yet.
 
846
                        path_segments = splitpath(path)
 
847
                    deleted_dict = deleted_paths
 
848
                    for segment in path_segments:
 
849
                        deleted_dict = deleted_dict.setdefault(segment, {})
 
850
                    self.reporter.missing(path)
 
851
                    self._next_progress_entry()
 
852
                    deleted_ids.append(file_id)
 
853
                    continue
 
854
            # TODO: have the builder do the nested commit just-in-time IF and
 
855
            # only if needed.
 
856
            if kind == 'tree-reference':
 
857
                # enforce repository nested tree policy.
 
858
                if (not self.work_tree.supports_tree_reference() or
 
859
                    # repository does not support it either.
 
860
                    not self.branch.repository._format.supports_tree_reference):
 
861
                    kind = 'directory'
 
862
                    content_summary = (kind, None, None, None)
 
863
                elif self.recursive == 'down':
 
864
                    nested_revision_id = self._commit_nested_tree(
 
865
                        file_id, path)
 
866
                    content_summary = (kind, None, None, nested_revision_id)
 
867
                else:
 
868
                    nested_revision_id = self.work_tree.get_reference_revision(file_id)
 
869
                    content_summary = (kind, None, None, nested_revision_id)
 
870
 
 
871
            # Record an entry for this item
 
872
            # Note: I don't particularly want to have the existing_ie
 
873
            # parameter but the test suite currently (28-Jun-07) breaks
 
874
            # without it thanks to a unicode normalisation issue. :-(
 
875
            definitely_changed = kind != existing_ie.kind
 
876
            self._record_entry(path, file_id, specific_files, kind, name,
 
877
                parent_id, definitely_changed, existing_ie, report_changes,
 
878
                content_summary)
 
879
 
 
880
        # Unversion IDs that were found to be deleted
 
881
        self.deleted_ids = deleted_ids
 
882
 
 
883
    def _commit_nested_tree(self, file_id, path):
 
884
        "Commit a nested tree."
 
885
        sub_tree = self.work_tree.get_nested_tree(file_id, path)
 
886
        # FIXME: be more comprehensive here:
 
887
        # this works when both trees are in --trees repository,
 
888
        # but when both are bound to a different repository,
 
889
        # it fails; a better way of approaching this is to
 
890
        # finally implement the explicit-caches approach design
 
891
        # a while back - RBC 20070306.
 
892
        if sub_tree.branch.repository.has_same_location(
 
893
            self.work_tree.branch.repository):
 
894
            sub_tree.branch.repository = \
 
895
                self.work_tree.branch.repository
 
896
        try:
 
897
            return sub_tree.commit(message=None, revprops=self.revprops,
 
898
                recursive=self.recursive,
 
899
                message_callback=self.message_callback,
 
900
                timestamp=self.timestamp, timezone=self.timezone,
 
901
                committer=self.committer,
 
902
                allow_pointless=self.allow_pointless,
 
903
                strict=self.strict, verbose=self.verbose,
 
904
                local=self.local, reporter=self.reporter)
 
905
        except errors.PointlessCommit:
 
906
            return self.work_tree.get_reference_revision(file_id)
 
907
 
 
908
    def _record_entry(self, path, file_id, specific_files, kind, name,
 
909
        parent_id, definitely_changed, existing_ie, report_changes,
 
910
        content_summary):
 
911
        "Record the new inventory entry for a path if any."
 
912
        # mutter('check %s {%s}', path, file_id)
 
913
        # mutter('%s selected for commit', path)
 
914
        if definitely_changed or existing_ie is None:
 
915
            ie = make_entry(kind, name, parent_id, file_id)
 
916
        else:
 
917
            ie = existing_ie.copy()
 
918
            ie.revision = None
 
919
        # For carried over entries we don't care about the fs hash - the repo
 
920
        # isn't generating a sha, so we're not saving computation time.
 
921
        _, _, fs_hash = self.builder.record_entry_contents(
 
922
            ie, self.parent_invs, path, self.work_tree, content_summary)
 
923
        if report_changes:
 
924
            self._report_change(ie, path)
 
925
        if fs_hash:
 
926
            self.work_tree._observed_sha1(ie.file_id, path, fs_hash)
 
927
        return ie
 
928
 
 
929
    def _report_change(self, ie, path):
 
930
        """Report a change to the user.
 
931
 
 
932
        The change that has occurred is described relative to the basis
 
933
        inventory.
 
934
        """
 
935
        if (self.basis_inv.has_id(ie.file_id)):
 
936
            basis_ie = self.basis_inv[ie.file_id]
 
937
        else:
 
938
            basis_ie = None
 
939
        change = ie.describe_change(basis_ie, ie)
 
940
        if change in (InventoryEntry.RENAMED,
 
941
            InventoryEntry.MODIFIED_AND_RENAMED):
 
942
            old_path = self.basis_inv.id2path(ie.file_id)
 
943
            self.reporter.renamed(change, old_path, path)
 
944
            self._next_progress_entry()
 
945
        else:
 
946
            if change == gettext('unchanged'):
 
947
                return
 
948
            self.reporter.snapshot_change(change, path)
 
949
            self._next_progress_entry()
 
950
 
 
951
    def _set_progress_stage(self, name, counter=False):
 
952
        """Set the progress stage and emit an update to the progress bar."""
 
953
        self.pb_stage_name = name
 
954
        self.pb_stage_count += 1
 
955
        if counter:
 
956
            self.pb_entries_count = 0
 
957
        else:
 
958
            self.pb_entries_count = None
 
959
        self._emit_progress()
 
960
 
 
961
    def _next_progress_entry(self):
 
962
        """Emit an update to the progress bar and increment the entry count."""
 
963
        self.pb_entries_count += 1
 
964
        self._emit_progress()
 
965
 
 
966
    def _emit_progress(self):
 
967
        if self.pb_entries_count is not None:
 
968
            text = gettext("{0} [{1}] - Stage").format(self.pb_stage_name,
 
969
                self.pb_entries_count)
 
970
        else:
 
971
            text = gettext("%s - Stage") % (self.pb_stage_name, )
 
972
        self.pb.update(text, self.pb_stage_count, self.pb_stage_total)
 
973
 
 
974
    def _set_specific_file_ids(self):
 
975
        """populate self.specific_file_ids if we will use it."""
 
976
        if not self.use_record_iter_changes:
 
977
            # If provided, ensure the specified files are versioned
 
978
            if self.specific_files is not None:
 
979
                # Note: This routine is being called because it raises
 
980
                # PathNotVersionedError as a side effect of finding the IDs. We
 
981
                # later use the ids we found as input to the working tree
 
982
                # inventory iterator, so we only consider those ids rather than
 
983
                # examining the whole tree again.
 
984
                # XXX: Dont we have filter_unversioned to do this more
 
985
                # cheaply?
 
986
                self.specific_file_ids = tree.find_ids_across_trees(
 
987
                    self.specific_files, [self.basis_tree, self.work_tree])
 
988
            else:
 
989
                self.specific_file_ids = None