~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/dirstate.py

  • Committer: John Arbash Meinel
  • Date: 2008-09-09 15:09:12 UTC
  • mto: This revision was merged to the branch mainline in revision 3699.
  • Revision ID: john@arbash-meinel.com-20080909150912-wyttm8he1zsls2ck
Use the right timing function on win32

Show diffs side-by-side

added added

removed removed

Lines of Context:
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""DirState objects record the state of a directory and its bzr metadata.
18
18
 
82
82
'a' is an absent entry: In that tree the id is not present at this path.
83
83
'd' is a directory entry: This path in this tree is a directory with the
84
84
    current file id. There is no fingerprint for directories.
85
 
'f' is a file entry: As for directory, but it's a file. The fingerprint is the
86
 
    sha1 value of the file's canonical form, i.e. after any read filters have
87
 
    been applied to the convenience form stored in the working tree.
 
85
'f' is a file entry: As for directory, but its a file. The fingerprint is a
 
86
    sha1 value.
88
87
'l' is a symlink entry: As for directory, but a symlink. The fingerprint is the
89
88
    link target.
90
89
't' is a reference to a nested subtree; the fingerprint is the referenced
100
99
 
101
100
--- Format 1 had the following different definition: ---
102
101
rows = dirname, NULL, basename, NULL, MINIKIND, NULL, fileid_utf8, NULL,
103
 
    WHOLE NUMBER (* size *), NULL, packed stat, NULL, sha1|symlink target,
 
102
    WHOLE NUMBER (* size *), NULL, packed stat, NULL, sha1|symlink target, 
104
103
    {PARENT ROW}
105
104
PARENT ROW = NULL, revision_utf8, NULL, MINIKIND, NULL, dirname, NULL,
106
105
    basename, NULL, WHOLE NUMBER (* size *), NULL, "y" | "n", NULL,
131
130
operations for the less common but still occurs a lot status/diff/commit
132
131
on specific files). Operations on specific files involve a scan for all
133
132
the children of a path, *in every involved tree*, which the current
134
 
format did not accommodate.
 
133
format did not accommodate. 
135
134
----
136
135
 
137
136
Design priorities:
149
148
 
150
149
Memory representation:
151
150
 vector of all directories, and vector of the childen ?
152
 
   i.e.
153
 
     root_entrie = (direntry for root, [parent_direntries_for_root]),
 
151
   i.e. 
 
152
     root_entrie = (direntry for root, [parent_direntries_for_root]), 
154
153
     dirblocks = [
155
154
     ('', ['data for achild', 'data for bchild', 'data for cchild'])
156
155
     ('dir', ['achild', 'cchild', 'echild'])
159
158
    - in-order for serialisation - this is 'dirblock' grouping.
160
159
    - insertion of a file '/a' affects only the '/' child-vector, that is, to
161
160
      insert 10K elements from scratch does not generates O(N^2) memoves of a
162
 
      single vector, rather each individual, which tends to be limited to a
163
 
      manageable number. Will scale badly on trees with 10K entries in a
 
161
      single vector, rather each individual, which tends to be limited to a 
 
162
      manageable number. Will scale badly on trees with 10K entries in a 
164
163
      single directory. compare with Inventory.InventoryDirectory which has
165
164
      a dictionary for the children. No bisect capability, can only probe for
166
165
      exact matches, or grab all elements and sort.
167
166
    - What's the risk of error here? Once we have the base format being processed
168
 
      we should have a net win regardless of optimality. So we are going to
 
167
      we should have a net win regardless of optimality. So we are going to 
169
168
      go with what seems reasonable.
170
169
open questions:
171
170
 
187
186
the file on disk, and then immediately discard, the overhead of object creation
188
187
becomes a significant cost.
189
188
 
190
 
Figures: Creating a tuple from 3 elements was profiled at 0.0625
 
189
Figures: Creating a tuple from from 3 elements was profiled at 0.0625
191
190
microseconds, whereas creating a object which is subclassed from tuple was
192
191
0.500 microseconds, and creating an object with 3 elements and slots was 3
193
192
microseconds long. 0.1 milliseconds is 100 microseconds, and ideally we'll get
204
203
import bisect
205
204
import binascii
206
205
import errno
207
 
import operator
208
206
import os
209
207
from stat import S_IEXEC
210
208
import stat
224
222
    )
225
223
 
226
224
 
227
 
# This is the Windows equivalent of ENOTDIR
228
 
# It is defined in pywin32.winerror, but we don't want a strong dependency for
229
 
# just an error code.
230
 
ERROR_PATH_NOT_FOUND = 3
231
 
ERROR_DIRECTORY = 267
232
 
 
233
 
 
234
 
if not getattr(struct, '_compile', None):
235
 
    # Cannot pre-compile the dirstate pack_stat
236
 
    def pack_stat(st, _encode=binascii.b2a_base64, _pack=struct.pack):
237
 
        """Convert stat values into a packed representation."""
238
 
        return _encode(_pack('>LLLLLL', st.st_size, int(st.st_mtime),
239
 
            int(st.st_ctime), st.st_dev, st.st_ino & 0xFFFFFFFF,
240
 
            st.st_mode))[:-1]
241
 
else:
242
 
    # compile the struct compiler we need, so as to only do it once
243
 
    from _struct import Struct
244
 
    _compiled_pack = Struct('>LLLLLL').pack
245
 
    def pack_stat(st, _encode=binascii.b2a_base64, _pack=_compiled_pack):
246
 
        """Convert stat values into a packed representation."""
247
 
        # jam 20060614 it isn't really worth removing more entries if we
248
 
        # are going to leave it in packed form.
249
 
        # With only st_mtime and st_mode filesize is 5.5M and read time is 275ms
250
 
        # With all entries, filesize is 5.9M and read time is maybe 280ms
251
 
        # well within the noise margin
252
 
 
253
 
        # base64 encoding always adds a final newline, so strip it off
254
 
        # The current version
255
 
        return _encode(_pack(st.st_size, int(st.st_mtime), int(st.st_ctime),
256
 
            st.st_dev, st.st_ino & 0xFFFFFFFF, st.st_mode))[:-1]
257
 
        # This is 0.060s / 1.520s faster by not encoding as much information
258
 
        # return _encode(_pack('>LL', int(st.st_mtime), st.st_mode))[:-1]
259
 
        # This is not strictly faster than _encode(_pack())[:-1]
260
 
        # return '%X.%X.%X.%X.%X.%X' % (
261
 
        #      st.st_size, int(st.st_mtime), int(st.st_ctime),
262
 
        #      st.st_dev, st.st_ino, st.st_mode)
263
 
        # Similar to the _encode(_pack('>LL'))
264
 
        # return '%X.%X' % (int(st.st_mtime), st.st_mode)
265
 
 
266
 
 
267
 
class SHA1Provider(object):
268
 
    """An interface for getting sha1s of a file."""
269
 
 
270
 
    def sha1(self, abspath):
271
 
        """Return the sha1 of a file given its absolute path.
272
 
 
273
 
        :param abspath:  May be a filesystem encoded absolute path
274
 
             or a unicode path.
275
 
        """
276
 
        raise NotImplementedError(self.sha1)
277
 
 
278
 
    def stat_and_sha1(self, abspath):
279
 
        """Return the stat and sha1 of a file given its absolute path.
280
 
        
281
 
        :param abspath:  May be a filesystem encoded absolute path
282
 
             or a unicode path.
283
 
 
284
 
        Note: the stat should be the stat of the physical file
285
 
        while the sha may be the sha of its canonical content.
286
 
        """
287
 
        raise NotImplementedError(self.stat_and_sha1)
288
 
 
289
 
 
290
 
class DefaultSHA1Provider(SHA1Provider):
291
 
    """A SHA1Provider that reads directly from the filesystem."""
292
 
 
293
 
    def sha1(self, abspath):
294
 
        """Return the sha1 of a file given its absolute path."""
295
 
        return osutils.sha_file_by_name(abspath)
296
 
 
297
 
    def stat_and_sha1(self, abspath):
298
 
        """Return the stat and sha1 of a file given its absolute path."""
299
 
        file_obj = file(abspath, 'rb')
300
 
        try:
301
 
            statvalue = os.fstat(file_obj.fileno())
302
 
            sha1 = osutils.sha_file(file_obj)
303
 
        finally:
304
 
            file_obj.close()
305
 
        return statvalue, sha1
 
225
def pack_stat(st, _encode=binascii.b2a_base64, _pack=struct.pack):
 
226
    """Convert stat values into a packed representation."""
 
227
    # jam 20060614 it isn't really worth removing more entries if we
 
228
    # are going to leave it in packed form.
 
229
    # With only st_mtime and st_mode filesize is 5.5M and read time is 275ms
 
230
    # With all entries, filesize is 5.9M and read time is maybe 280ms
 
231
    # well within the noise margin
 
232
 
 
233
    # base64 encoding always adds a final newline, so strip it off
 
234
    # The current version
 
235
    return _encode(_pack('>LLLLLL'
 
236
        , st.st_size, int(st.st_mtime), int(st.st_ctime)
 
237
        , st.st_dev, st.st_ino & 0xFFFFFFFF, st.st_mode))[:-1]
 
238
    # This is 0.060s / 1.520s faster by not encoding as much information
 
239
    # return _encode(_pack('>LL', int(st.st_mtime), st.st_mode))[:-1]
 
240
    # This is not strictly faster than _encode(_pack())[:-1]
 
241
    # return '%X.%X.%X.%X.%X.%X' % (
 
242
    #      st.st_size, int(st.st_mtime), int(st.st_ctime),
 
243
    #      st.st_dev, st.st_ino, st.st_mode)
 
244
    # Similar to the _encode(_pack('>LL'))
 
245
    # return '%X.%X' % (int(st.st_mtime), st.st_mode)
306
246
 
307
247
 
308
248
class DirState(object):
363
303
    HEADER_FORMAT_2 = '#bazaar dirstate flat format 2\n'
364
304
    HEADER_FORMAT_3 = '#bazaar dirstate flat format 3\n'
365
305
 
366
 
    def __init__(self, path, sha1_provider):
 
306
    def __init__(self, path):
367
307
        """Create a  DirState object.
368
308
 
369
309
        :param path: The path at which the dirstate file on disk should live.
370
 
        :param sha1_provider: an object meeting the SHA1Provider interface.
371
310
        """
372
311
        # _header_state and _dirblock_state represent the current state
373
312
        # of the dirstate metadata and the per-row data respectiely.
375
314
        # IN_MEMORY_UNMODIFIED indicates that what we have in memory
376
315
        #   is the same as is on disk
377
316
        # IN_MEMORY_MODIFIED indicates that we have a modified version
378
 
        #   of what is on disk.
 
317
        #   of what is on disk. 
379
318
        # In future we will add more granularity, for instance _dirblock_state
380
319
        # will probably support partially-in-memory as a separate variable,
381
320
        # allowing for partially-in-memory unmodified and partially-in-memory
382
321
        # modified states.
383
322
        self._header_state = DirState.NOT_IN_MEMORY
384
323
        self._dirblock_state = DirState.NOT_IN_MEMORY
385
 
        # If true, an error has been detected while updating the dirstate, and
 
324
        # If true, an error has been detected while updating the dirstate, and 
386
325
        # for safety we're not going to commit to disk.
387
326
        self._changes_aborted = False
388
327
        self._dirblocks = []
399
338
        self._cutoff_time = None
400
339
        self._split_path_cache = {}
401
340
        self._bisect_page_size = DirState.BISECT_PAGE_SIZE
402
 
        self._sha1_provider = sha1_provider
403
341
        if 'hashcache' in debug.debug_flags:
404
342
            self._sha1_file = self._sha1_file_and_mutter
405
343
        else:
406
 
            self._sha1_file = self._sha1_provider.sha1
 
344
            self._sha1_file = osutils.sha_file_by_name
407
345
        # These two attributes provide a simple cache for lookups into the
408
346
        # dirstate in-memory vectors. By probing respectively for the last
409
347
        # block, and for the next entry, we save nearly 2 bisections per path
419
357
        """Add a path to be tracked.
420
358
 
421
359
        :param path: The path within the dirstate - '' is the root, 'foo' is the
422
 
            path foo within the root, 'foo/bar' is the path bar within foo
 
360
            path foo within the root, 'foo/bar' is the path bar within foo 
423
361
            within the root.
424
362
        :param file_id: The file id of the path being added.
425
 
        :param kind: The kind of the path, as a string like 'file',
 
363
        :param kind: The kind of the path, as a string like 'file', 
426
364
            'directory', etc.
427
365
        :param stat: The output of os.lstat for the path.
428
 
        :param fingerprint: The sha value of the file's canonical form (i.e.
429
 
            after any read filters have been applied),
 
366
        :param fingerprint: The sha value of the file,
430
367
            or the target of a symlink,
431
368
            or the referenced revision id for tree-references,
432
369
            or '' for directories.
433
370
        """
434
371
        # adding a file:
435
 
        # find the block its in.
 
372
        # find the block its in. 
436
373
        # find the location in the block.
437
374
        # check its not there
438
375
        # add it.
451
388
        # in the parent, or according to the special treatment for the root
452
389
        if basename == '.' or basename == '..':
453
390
            raise errors.InvalidEntryName(path)
454
 
        # now that we've normalised, we need the correct utf8 path and
 
391
        # now that we've normalised, we need the correct utf8 path and 
455
392
        # dirname and basename elements. This single encode and split should be
456
393
        # faster than three separate encodes.
457
394
        utf8path = (dirname + '/' + basename).strip('/').encode('utf8')
461
398
            raise AssertionError(
462
399
                "must be a utf8 file_id not %s" % (type(file_id), ))
463
400
        # Make sure the file_id does not exist in this tree
464
 
        rename_from = None
465
 
        file_id_entry = self._get_entry(0, fileid_utf8=file_id, include_deleted=True)
 
401
        file_id_entry = self._get_entry(0, fileid_utf8=file_id)
466
402
        if file_id_entry != (None, None):
467
 
            if file_id_entry[1][0][0] == 'a':
468
 
                if file_id_entry[0] != (dirname, basename, file_id):
469
 
                    # set the old name's current operation to rename
470
 
                    self.update_minimal(file_id_entry[0],
471
 
                        'r',
472
 
                        path_utf8='',
473
 
                        packed_stat='',
474
 
                        fingerprint=utf8path
475
 
                    )
476
 
                    rename_from = file_id_entry[0][0:2]
477
 
            else:
478
 
                path = osutils.pathjoin(file_id_entry[0][0], file_id_entry[0][1])
479
 
                kind = DirState._minikind_to_kind[file_id_entry[1][0][0]]
480
 
                info = '%s:%s' % (kind, path)
481
 
                raise errors.DuplicateFileId(file_id, info)
 
403
            path = osutils.pathjoin(file_id_entry[0][0], file_id_entry[0][1])
 
404
            kind = DirState._minikind_to_kind[file_id_entry[1][0][0]]
 
405
            info = '%s:%s' % (kind, path)
 
406
            raise errors.DuplicateFileId(file_id, info)
482
407
        first_key = (dirname, basename, '')
483
408
        block_index, present = self._find_block_index_from_key(first_key)
484
409
        if present:
485
410
            # check the path is not in the tree
486
411
            block = self._dirblocks[block_index][1]
487
412
            entry_index, _ = self._find_entry_index(first_key, block)
488
 
            while (entry_index < len(block) and
 
413
            while (entry_index < len(block) and 
489
414
                block[entry_index][0][0:2] == first_key[0:2]):
490
415
                if block[entry_index][1][0][0] not in 'ar':
491
416
                    # this path is in the dirstate in the current tree.
511
436
            packed_stat = pack_stat(stat)
512
437
        parent_info = self._empty_parent_info()
513
438
        minikind = DirState._kind_to_minikind[kind]
514
 
        if rename_from is not None:
515
 
            if rename_from[0]:
516
 
                old_path_utf8 = '%s/%s' % rename_from
517
 
            else:
518
 
                old_path_utf8 = rename_from[1]
519
 
            parent_info[0] = ('r', old_path_utf8, 0, False, '')
520
439
        if kind == 'file':
521
440
            entry_data = entry_key, [
522
441
                (minikind, fingerprint, size, False, packed_stat),
981
900
 
982
901
    def _discard_merge_parents(self):
983
902
        """Discard any parents trees beyond the first.
984
 
 
 
903
        
985
904
        Note that if this fails the dirstate is corrupted.
986
905
 
987
906
        After this function returns the dirstate contains 2 trees, neither of
1057
976
                raise AssertionError("bad dirname %r" % dirname)
1058
977
        block_index, present = self._find_block_index_from_key((dirname, '', ''))
1059
978
        if not present:
1060
 
            ## In future, when doing partial parsing, this should load and
 
979
            ## In future, when doing partial parsing, this should load and 
1061
980
            # populate the entire block.
1062
981
            self._dirblocks.insert(block_index, (dirname, []))
1063
982
        return block_index
1075
994
        if new_entries[0][0][0:2] != ('', ''):
1076
995
            raise AssertionError(
1077
996
                "Missing root row %r" % (new_entries[0][0],))
1078
 
        # The two blocks here are deliberate: the root block and the
 
997
        # The two blocks here are deliberate: the root block and the 
1079
998
        # contents-of-root block.
1080
999
        self._dirblocks = [('', []), ('', [])]
1081
1000
        current_block = self._dirblocks[0][1]
1114
1033
        self._dirblocks[0] = ('', root_block)
1115
1034
        self._dirblocks[1] = ('', contents_of_root_block)
1116
1035
 
1117
 
    def _entries_for_path(self, path):
1118
 
        """Return a list with all the entries that match path for all ids."""
1119
 
        dirname, basename = os.path.split(path)
1120
 
        key = (dirname, basename, '')
1121
 
        block_index, present = self._find_block_index_from_key(key)
1122
 
        if not present:
1123
 
            # the block which should contain path is absent.
1124
 
            return []
1125
 
        result = []
1126
 
        block = self._dirblocks[block_index][1]
1127
 
        entry_index, _ = self._find_entry_index(key, block)
1128
 
        # we may need to look at multiple entries at this path: walk while the specific_files match.
1129
 
        while (entry_index < len(block) and
1130
 
            block[entry_index][0][0:2] == key[0:2]):
1131
 
            result.append(block[entry_index])
1132
 
            entry_index += 1
1133
 
        return result
1134
 
 
1135
1036
    def _entry_to_line(self, entry):
1136
1037
        """Serialize entry to a NULL delimited line ready for _get_output_lines.
1137
1038
 
1205
1106
        # one to use it. we use _right here because there are two
1206
1107
        # '' blocks - the root, and the contents of root
1207
1108
        # we always have a minimum of 2 in self._dirblocks: root and
1208
 
        # root-contents, and for '', we get 2 back, so this is
 
1109
        # root-contents, and for '', we get 2 back, so this is 
1209
1110
        # simple and correct:
1210
1111
        present = (block_index < len(self._dirblocks) and
1211
1112
            self._dirblocks[block_index][0] == key[0])
1240
1141
        return entry_index, present
1241
1142
 
1242
1143
    @staticmethod
1243
 
    def from_tree(tree, dir_state_filename, sha1_provider=None):
 
1144
    def from_tree(tree, dir_state_filename):
1244
1145
        """Create a dirstate from a bzr Tree.
1245
1146
 
1246
1147
        :param tree: The tree which should provide parent information and
1247
1148
            inventory ids.
1248
 
        :param sha1_provider: an object meeting the SHA1Provider interface.
1249
 
            If None, a DefaultSHA1Provider is used.
1250
1149
        :return: a DirState object which is currently locked for writing.
1251
1150
            (it was locked by DirState.initialize)
1252
1151
        """
1253
 
        result = DirState.initialize(dir_state_filename,
1254
 
            sha1_provider=sha1_provider)
 
1152
        result = DirState.initialize(dir_state_filename)
1255
1153
        try:
1256
1154
            tree.lock_read()
1257
1155
            try:
1278
1176
    def update_by_delta(self, delta):
1279
1177
        """Apply an inventory delta to the dirstate for tree 0
1280
1178
 
1281
 
        This is the workhorse for apply_inventory_delta in dirstate based
1282
 
        trees.
1283
 
 
1284
1179
        :param delta: An inventory delta.  See Inventory.apply_delta for
1285
1180
            details.
1286
1181
        """
1287
1182
        self._read_dirblocks_if_needed()
1288
 
        encode = cache_utf8.encode
1289
1183
        insertions = {}
1290
1184
        removals = {}
1291
 
        # Accumulate parent references (path_utf8, id), to check for parentless
1292
 
        # items or items placed under files/links/tree-references. We get
1293
 
        # references from every item in the delta that is not a deletion and
1294
 
        # is not itself the root.
1295
 
        parents = set()
1296
 
        # Added ids must not be in the dirstate already. This set holds those
1297
 
        # ids.
1298
 
        new_ids = set()
1299
 
        # This loop transforms the delta to single atomic operations that can
1300
 
        # be executed and validated.
1301
 
        for old_path, new_path, file_id, inv_entry in sorted(
1302
 
            inventory._check_delta_unique_old_paths(
1303
 
            inventory._check_delta_unique_new_paths(
1304
 
            inventory._check_delta_ids_match_entry(
1305
 
            inventory._check_delta_ids_are_valid(
1306
 
            inventory._check_delta_new_path_entry_both_or_None(delta))))),
1307
 
            reverse=True):
 
1185
        for old_path, new_path, file_id, inv_entry in sorted(delta, reverse=True):
1308
1186
            if (file_id in insertions) or (file_id in removals):
1309
 
                raise errors.InconsistentDelta(old_path or new_path, file_id,
1310
 
                    "repeated file_id")
 
1187
                raise AssertionError("repeated file id in delta %r" % (file_id,))
1311
1188
            if old_path is not None:
1312
1189
                old_path = old_path.encode('utf-8')
1313
1190
                removals[file_id] = old_path
1314
 
            else:
1315
 
                new_ids.add(file_id)
1316
1191
            if new_path is not None:
1317
 
                if inv_entry is None:
1318
 
                    raise errors.InconsistentDelta(new_path, file_id,
1319
 
                        "new_path with no entry")
1320
1192
                new_path = new_path.encode('utf-8')
1321
 
                dirname_utf8, basename = osutils.split(new_path)
1322
 
                if basename:
1323
 
                    parents.add((dirname_utf8, inv_entry.parent_id))
1324
 
                key = (dirname_utf8, basename, file_id)
 
1193
                dirname, basename = osutils.split(new_path)
 
1194
                key = (dirname, basename, file_id)
1325
1195
                minikind = DirState._kind_to_minikind[inv_entry.kind]
1326
1196
                if minikind == 't':
1327
1197
                    fingerprint = inv_entry.reference_revision
1349
1219
                                                  child_basename)
1350
1220
                    insertions[child[0][2]] = (key, minikind, executable,
1351
1221
                                               fingerprint, new_child_path)
1352
 
        self._check_delta_ids_absent(new_ids, delta, 0)
1353
 
        try:
1354
 
            self._apply_removals(removals.iteritems())
1355
 
            self._apply_insertions(insertions.values())
1356
 
            # Validate parents
1357
 
            self._after_delta_check_parents(parents, 0)
1358
 
        except errors.BzrError, e:
1359
 
            self._changes_aborted = True
1360
 
            if 'integrity error' not in str(e):
1361
 
                raise
1362
 
            # _get_entry raises BzrError when a request is inconsistent; we
1363
 
            # want such errors to be shown as InconsistentDelta - and that 
1364
 
            # fits the behaviour we trigger.
1365
 
            raise errors.InconsistentDeltaDelta(delta, "error from _get_entry.")
 
1222
        self._apply_removals(removals.values())
 
1223
        self._apply_insertions(insertions.values())
1366
1224
 
1367
1225
    def _apply_removals(self, removals):
1368
 
        for file_id, path in sorted(removals, reverse=True,
1369
 
            key=operator.itemgetter(1)):
 
1226
        for path in sorted(removals, reverse=True):
1370
1227
            dirname, basename = osutils.split(path)
1371
1228
            block_i, entry_i, d_present, f_present = \
1372
1229
                self._get_block_entry_index(dirname, basename, 0)
1373
 
            try:
1374
 
                entry = self._dirblocks[block_i][1][entry_i]
1375
 
            except IndexError:
1376
 
                self._changes_aborted = True
1377
 
                raise errors.InconsistentDelta(path, file_id,
1378
 
                    "Wrong path for old path.")
1379
 
            if not f_present or entry[1][0][0] in 'ar':
1380
 
                self._changes_aborted = True
1381
 
                raise errors.InconsistentDelta(path, file_id,
1382
 
                    "Wrong path for old path.")
1383
 
            if file_id != entry[0][2]:
1384
 
                self._changes_aborted = True
1385
 
                raise errors.InconsistentDelta(path, file_id,
1386
 
                    "Attempt to remove path has wrong id - found %r."
1387
 
                    % entry[0][2])
 
1230
            entry = self._dirblocks[block_i][1][entry_i]
1388
1231
            self._make_absent(entry)
1389
1232
            # See if we have a malformed delta: deleting a directory must not
1390
1233
            # leave crud behind. This increases the number of bisects needed
1398
1241
                # be due to it being in a parent tree, or a corrupt delta.
1399
1242
                for child_entry in self._dirblocks[block_i][1]:
1400
1243
                    if child_entry[1][0][0] not in ('r', 'a'):
1401
 
                        self._changes_aborted = True
1402
1244
                        raise errors.InconsistentDelta(path, entry[0][2],
1403
1245
                            "The file id was deleted but its children were "
1404
1246
                            "not deleted.")
1405
1247
 
1406
1248
    def _apply_insertions(self, adds):
1407
 
        try:
1408
 
            for key, minikind, executable, fingerprint, path_utf8 in sorted(adds):
1409
 
                self.update_minimal(key, minikind, executable, fingerprint,
1410
 
                                    path_utf8=path_utf8)
1411
 
        except errors.NotVersionedError:
1412
 
            self._changes_aborted = True
1413
 
            raise errors.InconsistentDelta(path_utf8.decode('utf8'), key[2],
1414
 
                "Missing parent")
 
1249
        for key, minikind, executable, fingerprint, path_utf8 in sorted(adds):
 
1250
            self.update_minimal(key, minikind, executable, fingerprint,
 
1251
                                path_utf8=path_utf8)
1415
1252
 
1416
1253
    def update_basis_by_delta(self, delta, new_revid):
1417
1254
        """Update the parents of this tree after a commit.
1461
1298
        # At the same time, to reduce interface friction we convert the input
1462
1299
        # inventory entries to dirstate.
1463
1300
        root_only = ('', '')
1464
 
        # Accumulate parent references (path_utf8, id), to check for parentless
1465
 
        # items or items placed under files/links/tree-references. We get
1466
 
        # references from every item in the delta that is not a deletion and
1467
 
        # is not itself the root.
1468
 
        parents = set()
1469
 
        # Added ids must not be in the dirstate already. This set holds those
1470
 
        # ids.
1471
 
        new_ids = set()
1472
1301
        for old_path, new_path, file_id, inv_entry in delta:
1473
 
            if inv_entry is not None and file_id != inv_entry.file_id:
1474
 
                raise errors.InconsistentDelta(new_path, file_id,
1475
 
                    "mismatched entry file_id %r" % inv_entry)
1476
 
            if new_path is not None:
1477
 
                if inv_entry is None:
1478
 
                    raise errors.InconsistentDelta(new_path, file_id,
1479
 
                        "new_path with no entry")
1480
 
                new_path_utf8 = encode(new_path)
1481
 
                # note the parent for validation
1482
 
                dirname_utf8, basename_utf8 = osutils.split(new_path_utf8)
1483
 
                if basename_utf8:
1484
 
                    parents.add((dirname_utf8, inv_entry.parent_id))
1485
1302
            if old_path is None:
1486
1303
                adds.append((None, encode(new_path), file_id,
1487
1304
                    inv_to_entry(inv_entry), True))
1488
 
                new_ids.add(file_id)
1489
1305
            elif new_path is None:
1490
1306
                deletes.append((encode(old_path), None, file_id, None, True))
1491
1307
            elif (old_path, new_path) != root_only:
1503
1319
                # for 'r' items on every pass.
1504
1320
                self._update_basis_apply_deletes(deletes)
1505
1321
                deletes = []
 
1322
                new_path_utf8 = encode(new_path)
1506
1323
                # Split into an add/delete pair recursively.
1507
1324
                adds.append((None, new_path_utf8, file_id,
1508
1325
                    inv_to_entry(inv_entry), False))
1534
1351
                # of everything.
1535
1352
                changes.append((encode(old_path), encode(new_path), file_id,
1536
1353
                    inv_to_entry(inv_entry)))
1537
 
        self._check_delta_ids_absent(new_ids, delta, 1)
1538
 
        try:
1539
 
            # Finish expunging deletes/first half of renames.
1540
 
            self._update_basis_apply_deletes(deletes)
1541
 
            # Reinstate second half of renames and new paths.
1542
 
            self._update_basis_apply_adds(adds)
1543
 
            # Apply in-situ changes.
1544
 
            self._update_basis_apply_changes(changes)
1545
 
            # Validate parents
1546
 
            self._after_delta_check_parents(parents, 1)
1547
 
        except errors.BzrError, e:
1548
 
            self._changes_aborted = True
1549
 
            if 'integrity error' not in str(e):
1550
 
                raise
1551
 
            # _get_entry raises BzrError when a request is inconsistent; we
1552
 
            # want such errors to be shown as InconsistentDelta - and that 
1553
 
            # fits the behaviour we trigger. Partof this is driven by dirstate
1554
 
            # only supporting deltas that turn the basis into a closer fit to
1555
 
            # the active tree.
1556
 
            raise errors.InconsistentDeltaDelta(delta, "error from _get_entry.")
 
1354
 
 
1355
        # Finish expunging deletes/first half of renames.
 
1356
        self._update_basis_apply_deletes(deletes)
 
1357
        # Reinstate second half of renames and new paths.
 
1358
        self._update_basis_apply_adds(adds)
 
1359
        # Apply in-situ changes.
 
1360
        self._update_basis_apply_changes(changes)
1557
1361
 
1558
1362
        self._dirblock_state = DirState.IN_MEMORY_MODIFIED
1559
1363
        self._header_state = DirState.IN_MEMORY_MODIFIED
1560
1364
        self._id_index = None
1561
1365
        return
1562
1366
 
1563
 
    def _check_delta_ids_absent(self, new_ids, delta, tree_index):
1564
 
        """Check that none of the file_ids in new_ids are present in a tree."""
1565
 
        if not new_ids:
1566
 
            return
1567
 
        id_index = self._get_id_index()
1568
 
        for file_id in new_ids:
1569
 
            for key in id_index.get(file_id, []):
1570
 
                block_i, entry_i, d_present, f_present = \
1571
 
                    self._get_block_entry_index(key[0], key[1], tree_index)
1572
 
                if not f_present:
1573
 
                    # In a different tree
1574
 
                    continue
1575
 
                entry = self._dirblocks[block_i][1][entry_i]
1576
 
                if entry[0][2] != file_id:
1577
 
                    # Different file_id, so not what we want.
1578
 
                    continue
1579
 
                # NB: No changes made before this helper is called, so no need
1580
 
                # to set the _changes_aborted flag.
1581
 
                raise errors.InconsistentDelta(
1582
 
                    ("%s/%s" % key[0:2]).decode('utf8'), file_id,
1583
 
                    "This file_id is new in the delta but already present in "
1584
 
                    "the target")
1585
 
 
1586
1367
    def _update_basis_apply_adds(self, adds):
1587
1368
        """Apply a sequence of adds to tree 1 during update_basis_by_delta.
1588
1369
 
1653
1434
        null = DirState.NULL_PARENT_DETAILS
1654
1435
        for old_path, new_path, file_id, _, real_delete in deletes:
1655
1436
            if real_delete != (new_path is None):
1656
 
                self._changes_aborted = True
1657
1437
                raise AssertionError("bad delete delta")
1658
1438
            # the entry for this file_id must be in tree 1.
1659
1439
            dirname, basename = osutils.split(old_path)
1692
1472
                    # it is being resurrected here, so blank it out temporarily.
1693
1473
                    self._dirblocks[block_index][1][entry_index][1][1] = null
1694
1474
 
1695
 
    def _after_delta_check_parents(self, parents, index):
1696
 
        """Check that parents required by the delta are all intact.
1697
 
        
1698
 
        :param parents: An iterable of (path_utf8, file_id) tuples which are
1699
 
            required to be present in tree 'index' at path_utf8 with id file_id
1700
 
            and be a directory.
1701
 
        :param index: The column in the dirstate to check for parents in.
1702
 
        """
1703
 
        for dirname_utf8, file_id in parents:
1704
 
            # Get the entry - the ensures that file_id, dirname_utf8 exists and
1705
 
            # has the right file id.
1706
 
            entry = self._get_entry(index, file_id, dirname_utf8)
1707
 
            if entry[1] is None:
1708
 
                self._changes_aborted = True
1709
 
                raise errors.InconsistentDelta(dirname_utf8.decode('utf8'),
1710
 
                    file_id, "This parent is not present.")
1711
 
            # Parents of things must be directories
1712
 
            if entry[1][index][0] != 'd':
1713
 
                self._changes_aborted = True
1714
 
                raise errors.InconsistentDelta(dirname_utf8.decode('utf8'),
1715
 
                    file_id, "This parent is not a directory.")
1716
 
 
1717
 
    def _observed_sha1(self, entry, sha1, stat_value,
1718
 
        _stat_to_minikind=_stat_to_minikind, _pack_stat=pack_stat):
1719
 
        """Note the sha1 of a file.
1720
 
 
1721
 
        :param entry: The entry the sha1 is for.
1722
 
        :param sha1: The observed sha1.
1723
 
        :param stat_value: The os.lstat for the file.
 
1475
    def update_entry(self, entry, abspath, stat_value,
 
1476
                     _stat_to_minikind=_stat_to_minikind,
 
1477
                     _pack_stat=pack_stat):
 
1478
        """Update the entry based on what is actually on disk.
 
1479
 
 
1480
        :param entry: This is the dirblock entry for the file in question.
 
1481
        :param abspath: The path on disk for this file.
 
1482
        :param stat_value: (optional) if we already have done a stat on the
 
1483
            file, re-use it.
 
1484
        :return: The sha1 hexdigest of the file (40 bytes) or link target of a
 
1485
                symlink.
1724
1486
        """
1725
1487
        try:
1726
1488
            minikind = _stat_to_minikind[stat_value.st_mode & 0170000]
1728
1490
            # Unhandled kind
1729
1491
            return None
1730
1492
        packed_stat = _pack_stat(stat_value)
 
1493
        (saved_minikind, saved_link_or_sha1, saved_file_size,
 
1494
         saved_executable, saved_packed_stat) = entry[1][0]
 
1495
 
 
1496
        if (minikind == saved_minikind
 
1497
            and packed_stat == saved_packed_stat):
 
1498
            # The stat hasn't changed since we saved, so we can re-use the
 
1499
            # saved sha hash.
 
1500
            if minikind == 'd':
 
1501
                return None
 
1502
 
 
1503
            # size should also be in packed_stat
 
1504
            if saved_file_size == stat_value.st_size:
 
1505
                return saved_link_or_sha1
 
1506
 
 
1507
        # If we have gotten this far, that means that we need to actually
 
1508
        # process this entry.
 
1509
        link_or_sha1 = None
1731
1510
        if minikind == 'f':
1732
 
            if self._cutoff_time is None:
1733
 
                self._sha_cutoff_time()
1734
 
            if (stat_value.st_mtime < self._cutoff_time
1735
 
                and stat_value.st_ctime < self._cutoff_time):
1736
 
                entry[1][0] = ('f', sha1, entry[1][0][2], entry[1][0][3],
1737
 
                    packed_stat)
1738
 
                self._dirblock_state = DirState.IN_MEMORY_MODIFIED
 
1511
            link_or_sha1 = self._sha1_file(abspath)
 
1512
            executable = self._is_executable(stat_value.st_mode,
 
1513
                                             saved_executable)
 
1514
            if self._cutoff_time is None:
 
1515
                self._sha_cutoff_time()
 
1516
            if (stat_value.st_mtime < self._cutoff_time
 
1517
                and stat_value.st_ctime < self._cutoff_time):
 
1518
                entry[1][0] = ('f', link_or_sha1, stat_value.st_size,
 
1519
                               executable, packed_stat)
 
1520
            else:
 
1521
                entry[1][0] = ('f', '', stat_value.st_size,
 
1522
                               executable, DirState.NULLSTAT)
 
1523
        elif minikind == 'd':
 
1524
            link_or_sha1 = None
 
1525
            entry[1][0] = ('d', '', 0, False, packed_stat)
 
1526
            if saved_minikind != 'd':
 
1527
                # This changed from something into a directory. Make sure we
 
1528
                # have a directory block for it. This doesn't happen very
 
1529
                # often, so this doesn't have to be super fast.
 
1530
                block_index, entry_index, dir_present, file_present = \
 
1531
                    self._get_block_entry_index(entry[0][0], entry[0][1], 0)
 
1532
                self._ensure_block(block_index, entry_index,
 
1533
                                   osutils.pathjoin(entry[0][0], entry[0][1]))
 
1534
        elif minikind == 'l':
 
1535
            link_or_sha1 = self._read_link(abspath, saved_link_or_sha1)
 
1536
            if self._cutoff_time is None:
 
1537
                self._sha_cutoff_time()
 
1538
            if (stat_value.st_mtime < self._cutoff_time
 
1539
                and stat_value.st_ctime < self._cutoff_time):
 
1540
                entry[1][0] = ('l', link_or_sha1, stat_value.st_size,
 
1541
                               False, packed_stat)
 
1542
            else:
 
1543
                entry[1][0] = ('l', '', stat_value.st_size,
 
1544
                               False, DirState.NULLSTAT)
 
1545
        self._dirblock_state = DirState.IN_MEMORY_MODIFIED
 
1546
        return link_or_sha1
1739
1547
 
1740
1548
    def _sha_cutoff_time(self):
1741
1549
        """Return cutoff time.
1758
1566
        # when -Dhashcache is turned on, this is monkey-patched in to log
1759
1567
        # file reads
1760
1568
        trace.mutter("dirstate sha1 " + abspath)
1761
 
        return self._sha1_provider.sha1(abspath)
 
1569
        return osutils.sha_file_by_name(abspath)
1762
1570
 
1763
1571
    def _is_executable(self, mode, old_executable):
1764
1572
        """Is this file executable?"""
1777
1585
        #       already in memory. However, this really needs to be done at a
1778
1586
        #       higher level, because there either won't be anything on disk,
1779
1587
        #       or the thing on disk will be a file.
1780
 
        fs_encoding = osutils._fs_enc
1781
 
        if isinstance(abspath, unicode):
1782
 
            # abspath is defined as the path to pass to lstat. readlink is
1783
 
            # buggy in python < 2.6 (it doesn't encode unicode path into FS
1784
 
            # encoding), so we need to encode ourselves knowing that unicode
1785
 
            # paths are produced by UnicodeDirReader on purpose.
1786
 
            abspath = abspath.encode(fs_encoding)
1787
 
        target = os.readlink(abspath)
1788
 
        if fs_encoding not in ('UTF-8', 'US-ASCII', 'ANSI_X3.4-1968'):
1789
 
            # Change encoding if needed
1790
 
            target = target.decode(fs_encoding).encode('UTF-8')
1791
 
        return target
 
1588
        return os.readlink(abspath)
1792
1589
 
1793
1590
    def get_ghosts(self):
1794
1591
        """Return a list of the parent tree revision ids that are ghosts."""
1940
1737
            entry_index += 1
1941
1738
        return block_index, entry_index, True, False
1942
1739
 
1943
 
    def _get_entry(self, tree_index, fileid_utf8=None, path_utf8=None, include_deleted=False):
 
1740
    def _get_entry(self, tree_index, fileid_utf8=None, path_utf8=None):
1944
1741
        """Get the dirstate entry for path in tree tree_index.
1945
1742
 
1946
1743
        If either file_id or path is supplied, it is used as the key to lookup.
1954
1751
            trees.
1955
1752
        :param fileid_utf8: A utf8 file_id to look up.
1956
1753
        :param path_utf8: An utf8 path to be looked up.
1957
 
        :param include_deleted: If True, and performing a lookup via
1958
 
            fileid_utf8 rather than path_utf8, return an entry for deleted
1959
 
            (absent) paths.
1960
1754
        :return: The dirstate entry tuple for path, or (None, None)
1961
1755
        """
1962
1756
        self._read_dirblocks_if_needed()
1963
1757
        if path_utf8 is not None:
1964
1758
            if type(path_utf8) is not str:
1965
 
                raise errors.BzrError('path_utf8 is not a str: %s %r'
 
1759
                raise AssertionError('path_utf8 is not a str: %s %s'
1966
1760
                    % (type(path_utf8), path_utf8))
1967
1761
            # path lookups are faster
1968
1762
            dirname, basename = osutils.split(path_utf8)
1998
1792
                if present:
1999
1793
                    entry = self._dirblocks[block_index][1][entry_index]
2000
1794
                    if entry[1][tree_index][0] in 'fdlt':
2001
 
                        # this is the result we are looking for: the
 
1795
                        # this is the result we are looking for: the  
2002
1796
                        # real home of this file_id in this tree.
2003
1797
                        return entry
2004
1798
                    if entry[1][tree_index][0] == 'a':
2005
1799
                        # there is no home for this entry in this tree
2006
 
                        if include_deleted:
2007
 
                            return entry
2008
1800
                        return None, None
2009
1801
                    if entry[1][tree_index][0] != 'r':
2010
1802
                        raise AssertionError(
2018
1810
            return None, None
2019
1811
 
2020
1812
    @classmethod
2021
 
    def initialize(cls, path, sha1_provider=None):
 
1813
    def initialize(cls, path):
2022
1814
        """Create a new dirstate on path.
2023
1815
 
2024
1816
        The new dirstate will be an empty tree - that is it has no parents,
2025
1817
        and only a root node - which has id ROOT_ID.
2026
1818
 
2027
1819
        :param path: The name of the file for the dirstate.
2028
 
        :param sha1_provider: an object meeting the SHA1Provider interface.
2029
 
            If None, a DefaultSHA1Provider is used.
2030
1820
        :return: A write-locked DirState object.
2031
1821
        """
2032
1822
        # This constructs a new DirState object on a path, sets the _state_file
2034
1824
        # stock empty dirstate information - a root with ROOT_ID, no children,
2035
1825
        # and no parents. Finally it calls save() to ensure that this data will
2036
1826
        # persist.
2037
 
        if sha1_provider is None:
2038
 
            sha1_provider = DefaultSHA1Provider()
2039
 
        result = cls(path, sha1_provider)
 
1827
        result = cls(path)
2040
1828
        # root dir and root dir contents with no children.
2041
1829
        empty_tree_dirblocks = [('', []), ('', [])]
2042
1830
        # a new root directory, with a NULLSTAT.
2070
1858
            size = 0
2071
1859
            executable = False
2072
1860
        elif kind == 'symlink':
2073
 
            if inv_entry.symlink_target is None:
2074
 
                fingerprint = ''
2075
 
            else:
2076
 
                fingerprint = inv_entry.symlink_target.encode('utf8')
 
1861
            # We don't support non-ascii targets for symlinks yet.
 
1862
            fingerprint = str(inv_entry.symlink_target or '')
2077
1863
            size = 0
2078
1864
            executable = False
2079
1865
        elif kind == 'file':
2091
1877
    def _iter_child_entries(self, tree_index, path_utf8):
2092
1878
        """Iterate over all the entries that are children of path_utf.
2093
1879
 
2094
 
        This only returns entries that are present (not in 'a', 'r') in
 
1880
        This only returns entries that are present (not in 'a', 'r') in 
2095
1881
        tree_index. tree_index data is not refreshed, so if tree 0 is used,
2096
1882
        results may differ from that obtained if paths were statted to
2097
1883
        determine what ones were directories.
2128
1914
                        else:
2129
1915
                            path = entry[0][1]
2130
1916
                        next_pending_dirs.append(path)
2131
 
 
 
1917
    
2132
1918
    def _iter_entries(self):
2133
1919
        """Iterate over all the entries in the dirstate.
2134
1920
 
2175
1961
        return len(self._parents) - len(self._ghosts)
2176
1962
 
2177
1963
    @staticmethod
2178
 
    def on_file(path, sha1_provider=None):
2179
 
        """Construct a DirState on the file at path "path".
 
1964
    def on_file(path):
 
1965
        """Construct a DirState on the file at path path.
2180
1966
 
2181
 
        :param path: The path at which the dirstate file on disk should live.
2182
 
        :param sha1_provider: an object meeting the SHA1Provider interface.
2183
 
            If None, a DefaultSHA1Provider is used.
2184
1967
        :return: An unlocked DirState object, associated with the given path.
2185
1968
        """
2186
 
        if sha1_provider is None:
2187
 
            sha1_provider = DefaultSHA1Provider()
2188
 
        result = DirState(path, sha1_provider)
 
1969
        result = DirState(path)
2189
1970
        return result
2190
1971
 
2191
1972
    def _read_dirblocks_if_needed(self):
2192
1973
        """Read in all the dirblocks from the file if they are not in memory.
2193
 
 
 
1974
        
2194
1975
        This populates self._dirblocks, and sets self._dirblock_state to
2195
1976
        IN_MEMORY_UNMODIFIED. It is not currently ready for incremental block
2196
1977
        loading.
2321
2102
 
2322
2103
        :param parent_ids: A list of parent tree revision ids.
2323
2104
        :param dirblocks: A list containing one tuple for each directory in the
2324
 
            tree. Each tuple contains the directory path and a list of entries
 
2105
            tree. Each tuple contains the directory path and a list of entries 
2325
2106
            found in that directory.
2326
2107
        """
2327
2108
        # our memory copy is now authoritative.
2361
2142
        """Set the parent trees for the dirstate.
2362
2143
 
2363
2144
        :param trees: A list of revision_id, tree tuples. tree must be provided
2364
 
            even if the revision_id refers to a ghost: supply an empty tree in
 
2145
            even if the revision_id refers to a ghost: supply an empty tree in 
2365
2146
            this case.
2366
2147
        :param ghosts: A list of the revision_ids that are ghosts at the time
2367
2148
            of setting.
2368
 
        """
2369
 
        # TODO: generate a list of parent indexes to preserve to save
 
2149
        """ 
 
2150
        # TODO: generate a list of parent indexes to preserve to save 
2370
2151
        # processing specific parent trees. In the common case one tree will
2371
2152
        # be preserved - the left most parent.
2372
2153
        # TODO: if the parent tree is a dirstate, we might want to walk them
2377
2158
        # map and then walk the new parent trees only, mapping them into the
2378
2159
        # dirstate. Walk the dirstate at the same time to remove unreferenced
2379
2160
        # entries.
2380
 
        # for now:
2381
 
        # sketch: loop over all entries in the dirstate, cherry picking
 
2161
        # for now: 
 
2162
        # sketch: loop over all entries in the dirstate, cherry picking 
2382
2163
        # entries from the parent trees, if they are not ghost trees.
2383
2164
        # after we finish walking the dirstate, all entries not in the dirstate
2384
2165
        # are deletes, so we want to append them to the end as per the design
2389
2170
        #   links. We dont't trivially use the inventory from other trees
2390
2171
        #   because this leads to either double touching, or to accessing
2391
2172
        #   missing keys,
2392
 
        # - find other keys containing a path
2393
 
        # We accumulate each entry via this dictionary, including the root
 
2173
        # - find other keys containing a path 
 
2174
        # We accumulate each entry via this dictionary, including the root 
2394
2175
        by_path = {}
2395
2176
        id_index = {}
2396
2177
        # we could do parallel iterators, but because file id data may be
2400
2181
        # parent, but for now the common cases are adding a new parent (merge),
2401
2182
        # and replacing completely (commit), and commit is more common: so
2402
2183
        # optimise merge later.
2403
 
 
 
2184
        
2404
2185
        # ---- start generation of full tree mapping data
2405
2186
        # what trees should we use?
2406
2187
        parent_trees = [tree for rev_id, tree in trees if rev_id not in ghosts]
2407
 
        # how many trees do we end up with
 
2188
        # how many trees do we end up with 
2408
2189
        parent_count = len(parent_trees)
2409
2190
 
2410
2191
        # one: the current tree
2415
2196
            by_path[entry[0]] = [entry[1][0]] + \
2416
2197
                [DirState.NULL_PARENT_DETAILS] * parent_count
2417
2198
            id_index[entry[0][2]] = set([entry[0]])
2418
 
 
 
2199
        
2419
2200
        # now the parent trees:
2420
2201
        for tree_index, tree in enumerate(parent_trees):
2421
2202
            # the index is off by one, adjust it.
2435
2216
                # avoid checking all known paths for the id when generating a
2436
2217
                # new entry at this path: by adding the id->path mapping last,
2437
2218
                # all the mappings are valid and have correct relocation
2438
 
                # records where needed.
 
2219
                # records where needed. 
2439
2220
                file_id = entry.file_id
2440
2221
                path_utf8 = path.encode('utf8')
2441
2222
                dirname, basename = osutils.split(path_utf8)
2452
2233
                        # This is the vertical axis in the matrix, all pointing
2453
2234
                        # to the real path.
2454
2235
                        by_path[entry_key][tree_index] = ('r', path_utf8, 0, False, '')
2455
 
                # by path consistency: Insert into an existing path record (trivial), or
 
2236
                # by path consistency: Insert into an existing path record (trivial), or 
2456
2237
                # add a new one with relocation pointers for the other tree indexes.
2457
2238
                if new_entry_key in id_index[file_id]:
2458
2239
                    # there is already an entry where this data belongs, just insert it.
2471
2252
                            new_details.append(DirState.NULL_PARENT_DETAILS)
2472
2253
                        else:
2473
2254
                            # grab any one entry, use it to find the right path.
2474
 
                            # TODO: optimise this to reduce memory use in highly
 
2255
                            # TODO: optimise this to reduce memory use in highly 
2475
2256
                            # fragmented situations by reusing the relocation
2476
2257
                            # records.
2477
2258
                            a_key = iter(id_index[file_id]).next()
2510
2291
        return sorted(entry_list, key=_key)
2511
2292
 
2512
2293
    def set_state_from_inventory(self, new_inv):
2513
 
        """Set new_inv as the current state.
 
2294
        """Set new_inv as the current state. 
2514
2295
 
2515
2296
        This API is called by tree transform, and will usually occur with
2516
2297
        existing parent trees.
2520
2301
        if 'evil' in debug.debug_flags:
2521
2302
            trace.mutter_callsite(1,
2522
2303
                "set_state_from_inventory called; please mutate the tree instead")
2523
 
        tracing = 'dirstate' in debug.debug_flags
2524
 
        if tracing:
2525
 
            trace.mutter("set_state_from_inventory trace:")
2526
2304
        self._read_dirblocks_if_needed()
2527
2305
        # sketch:
2528
 
        # Two iterators: current data and new data, both in dirblock order.
 
2306
        # Two iterators: current data and new data, both in dirblock order. 
2529
2307
        # We zip them together, which tells about entries that are new in the
2530
2308
        # inventory, or removed in the inventory, or present in both and
2531
 
        # possibly changed.
 
2309
        # possibly changed.  
2532
2310
        #
2533
2311
        # You might think we could just synthesize a new dirstate directly
2534
2312
        # since we're processing it in the right order.  However, we need to
2537
2315
        new_iterator = new_inv.iter_entries_by_dir()
2538
2316
        # we will be modifying the dirstate, so we need a stable iterator. In
2539
2317
        # future we might write one, for now we just clone the state into a
2540
 
        # list using a copy so that we see every original item and don't have
2541
 
        # to adjust the position when items are inserted or deleted in the
2542
 
        # underlying dirstate.
 
2318
        # list - which is a shallow copy.
2543
2319
        old_iterator = iter(list(self._iter_entries()))
2544
2320
        # both must have roots so this is safe:
2545
2321
        current_new = new_iterator.next()
2579
2355
            # we make both end conditions explicit
2580
2356
            if not current_old:
2581
2357
                # old is finished: insert current_new into the state.
2582
 
                if tracing:
2583
 
                    trace.mutter("Appending from new '%s'.",
2584
 
                        new_path_utf8.decode('utf8'))
2585
2358
                self.update_minimal(new_entry_key, current_new_minikind,
2586
2359
                    executable=current_new[1].executable,
2587
 
                    path_utf8=new_path_utf8, fingerprint=fingerprint,
2588
 
                    fullscan=True)
 
2360
                    path_utf8=new_path_utf8, fingerprint=fingerprint)
2589
2361
                current_new = advance(new_iterator)
2590
2362
            elif not current_new:
2591
2363
                # new is finished
2592
 
                if tracing:
2593
 
                    trace.mutter("Truncating from old '%s/%s'.",
2594
 
                        current_old[0][0].decode('utf8'),
2595
 
                        current_old[0][1].decode('utf8'))
2596
2364
                self._make_absent(current_old)
2597
2365
                current_old = advance(old_iterator)
2598
2366
            elif new_entry_key == current_old[0]:
2605
2373
                # kind has changed.
2606
2374
                if (current_old[1][0][3] != current_new[1].executable or
2607
2375
                    current_old[1][0][0] != current_new_minikind):
2608
 
                    if tracing:
2609
 
                        trace.mutter("Updating in-place change '%s'.",
2610
 
                            new_path_utf8.decode('utf8'))
2611
2376
                    self.update_minimal(current_old[0], current_new_minikind,
2612
2377
                        executable=current_new[1].executable,
2613
 
                        path_utf8=new_path_utf8, fingerprint=fingerprint,
2614
 
                        fullscan=True)
 
2378
                        path_utf8=new_path_utf8, fingerprint=fingerprint)
2615
2379
                # both sides are dealt with, move on
2616
2380
                current_old = advance(old_iterator)
2617
2381
                current_new = advance(new_iterator)
2620
2384
                      and new_entry_key[1:] < current_old[0][1:])):
2621
2385
                # new comes before:
2622
2386
                # add a entry for this and advance new
2623
 
                if tracing:
2624
 
                    trace.mutter("Inserting from new '%s'.",
2625
 
                        new_path_utf8.decode('utf8'))
2626
2387
                self.update_minimal(new_entry_key, current_new_minikind,
2627
2388
                    executable=current_new[1].executable,
2628
 
                    path_utf8=new_path_utf8, fingerprint=fingerprint,
2629
 
                    fullscan=True)
 
2389
                    path_utf8=new_path_utf8, fingerprint=fingerprint)
2630
2390
                current_new = advance(new_iterator)
2631
2391
            else:
2632
2392
                # we've advanced past the place where the old key would be,
2633
2393
                # without seeing it in the new list.  so it must be gone.
2634
 
                if tracing:
2635
 
                    trace.mutter("Deleting from old '%s/%s'.",
2636
 
                        current_old[0][0].decode('utf8'),
2637
 
                        current_old[0][1].decode('utf8'))
2638
2394
                self._make_absent(current_old)
2639
2395
                current_old = advance(old_iterator)
2640
2396
        self._dirblock_state = DirState.IN_MEMORY_MODIFIED
2641
2397
        self._id_index = None
2642
2398
        self._packed_stat_index = None
2643
 
        if tracing:
2644
 
            trace.mutter("set_state_from_inventory complete.")
2645
2399
 
2646
2400
    def _make_absent(self, current_old):
2647
2401
        """Mark current_old - an entry - as absent for tree 0.
2696
2450
        return last_reference
2697
2451
 
2698
2452
    def update_minimal(self, key, minikind, executable=False, fingerprint='',
2699
 
        packed_stat=None, size=0, path_utf8=None, fullscan=False):
 
2453
                       packed_stat=None, size=0, path_utf8=None):
2700
2454
        """Update an entry to the state in tree 0.
2701
2455
 
2702
2456
        This will either create a new entry at 'key' or update an existing one.
2707
2461
        :param minikind: The type for the entry ('f' == 'file', 'd' ==
2708
2462
                'directory'), etc.
2709
2463
        :param executable: Should the executable bit be set?
2710
 
        :param fingerprint: Simple fingerprint for new entry: canonical-form
2711
 
            sha1 for files, referenced revision id for subtrees, etc.
 
2464
        :param fingerprint: Simple fingerprint for new entry: sha1 for files, 
 
2465
            referenced revision id for subtrees, etc.
2712
2466
        :param packed_stat: Packed stat value for new entry.
2713
2467
        :param size: Size information for new entry
2714
2468
        :param path_utf8: key[0] + '/' + key[1], just passed in to avoid doing
2715
2469
                extra computation.
2716
 
        :param fullscan: If True then a complete scan of the dirstate is being
2717
 
            done and checking for duplicate rows should not be done. This
2718
 
            should only be set by set_state_from_inventory and similar methods.
2719
2470
 
2720
2471
        If packed_stat and fingerprint are not given, they're invalidated in
2721
2472
        the entry.
2730
2481
        new_details = (minikind, fingerprint, size, executable, packed_stat)
2731
2482
        id_index = self._get_id_index()
2732
2483
        if not present:
2733
 
            # New record. Check there isn't a entry at this path already.
2734
 
            if not fullscan:
2735
 
                low_index, _ = self._find_entry_index(key[0:2] + ('',), block)
2736
 
                while low_index < len(block):
2737
 
                    entry = block[low_index]
2738
 
                    if entry[0][0:2] == key[0:2]:
2739
 
                        if entry[1][0][0] not in 'ar':
2740
 
                            # This entry has the same path (but a different id) as
2741
 
                            # the new entry we're adding, and is present in ths
2742
 
                            # tree.
2743
 
                            raise errors.InconsistentDelta(
2744
 
                                ("%s/%s" % key[0:2]).decode('utf8'), key[2],
2745
 
                                "Attempt to add item at path already occupied by "
2746
 
                                "id %r" % entry[0][2])
2747
 
                        low_index += 1
2748
 
                    else:
2749
 
                        break
2750
2484
            # new entry, synthesis cross reference here,
2751
2485
            existing_keys = id_index.setdefault(key[2], set())
2752
2486
            if not existing_keys:
2757
2491
                # grab one of them and use it to generate parent
2758
2492
                # relocation/absent entries.
2759
2493
                new_entry = key, [new_details]
2760
 
                # existing_keys can be changed as we iterate.
2761
 
                for other_key in tuple(existing_keys):
 
2494
                for other_key in existing_keys:
2762
2495
                    # change the record at other to be a pointer to this new
2763
2496
                    # record. The loop looks similar to the change to
2764
2497
                    # relocations when updating an existing record but its not:
2765
2498
                    # the test for existing kinds is different: this can be
2766
2499
                    # factored out to a helper though.
2767
 
                    other_block_index, present = self._find_block_index_from_key(
2768
 
                        other_key)
2769
 
                    if not present:
2770
 
                        raise AssertionError('could not find block for %s' % (
2771
 
                            other_key,))
2772
 
                    other_block = self._dirblocks[other_block_index][1]
2773
 
                    other_entry_index, present = self._find_entry_index(
2774
 
                        other_key, other_block)
2775
 
                    if not present:
2776
 
                        raise AssertionError(
2777
 
                            'update_minimal: could not find other entry for %s'
2778
 
                            % (other_key,))
 
2500
                    other_block_index, present = self._find_block_index_from_key(other_key)
 
2501
                    if not present:
 
2502
                        raise AssertionError('could not find block for %s' % (other_key,))
 
2503
                    other_entry_index, present = self._find_entry_index(other_key,
 
2504
                                            self._dirblocks[other_block_index][1])
 
2505
                    if not present:
 
2506
                        raise AssertionError('could not find entry for %s' % (other_key,))
2779
2507
                    if path_utf8 is None:
2780
2508
                        raise AssertionError('no path')
2781
 
                    # Turn this other location into a reference to the new
2782
 
                    # location. This also updates the aliased iterator
2783
 
                    # (current_old in set_state_from_inventory) so that the old
2784
 
                    # entry, if not already examined, is skipped over by that
2785
 
                    # loop.
2786
 
                    other_entry = other_block[other_entry_index]
2787
 
                    other_entry[1][0] = ('r', path_utf8, 0, False, '')
2788
 
                    self._maybe_remove_row(other_block, other_entry_index,
2789
 
                        id_index)
 
2509
                    self._dirblocks[other_block_index][1][other_entry_index][1][0] = \
 
2510
                        ('r', path_utf8, 0, False, '')
2790
2511
 
2791
 
                # This loop:
2792
 
                # adds a tuple to the new details for each column
2793
 
                #  - either by copying an existing relocation pointer inside that column
2794
 
                #  - or by creating a new pointer to the right row inside that column
2795
2512
                num_present_parents = self._num_present_parents()
2796
 
                if num_present_parents:
2797
 
                    other_key = list(existing_keys)[0]
2798
2513
                for lookup_index in xrange(1, num_present_parents + 1):
2799
2514
                    # grab any one entry, use it to find the right path.
2800
 
                    # TODO: optimise this to reduce memory use in highly
 
2515
                    # TODO: optimise this to reduce memory use in highly 
2801
2516
                    # fragmented situations by reusing the relocation
2802
2517
                    # records.
2803
2518
                    update_block_index, present = \
2807
2522
                    update_entry_index, present = \
2808
2523
                        self._find_entry_index(other_key, self._dirblocks[update_block_index][1])
2809
2524
                    if not present:
2810
 
                        raise AssertionError('update_minimal: could not find entry for %s' % (other_key,))
 
2525
                        raise AssertionError('could not find entry for %s' % (other_key,))
2811
2526
                    update_details = self._dirblocks[update_block_index][1][update_entry_index][1][lookup_index]
2812
2527
                    if update_details[0] in 'ar': # relocated, absent
2813
2528
                        # its a pointer or absent in lookup_index's tree, use
2820
2535
            block.insert(entry_index, new_entry)
2821
2536
            existing_keys.add(key)
2822
2537
        else:
2823
 
            # Does the new state matter?
 
2538
            # Does the new state matter? 
2824
2539
            block[entry_index][1][0] = new_details
2825
2540
            # parents cannot be affected by what we do.
2826
 
            # other occurences of this id can be found
 
2541
            # other occurences of this id can be found 
2827
2542
            # from the id index.
2828
2543
            # ---
2829
2544
            # tree index consistency: All other paths for this id in this tree
2859
2574
 
2860
2575
        self._dirblock_state = DirState.IN_MEMORY_MODIFIED
2861
2576
 
2862
 
    def _maybe_remove_row(self, block, index, id_index):
2863
 
        """Remove index if it is absent or relocated across the row.
2864
 
        
2865
 
        id_index is updated accordingly.
2866
 
        """
2867
 
        present_in_row = False
2868
 
        entry = block[index]
2869
 
        for column in entry[1]:
2870
 
            if column[0] not in 'ar':
2871
 
                present_in_row = True
2872
 
                break
2873
 
        if not present_in_row:
2874
 
            block.pop(index)
2875
 
            id_index[entry[0][2]].remove(entry[0])
2876
 
 
2877
2577
    def _validate(self):
2878
2578
        """Check that invariants on the dirblock are correct.
2879
2579
 
2880
 
        This can be useful in debugging; it shouldn't be necessary in
 
2580
        This can be useful in debugging; it shouldn't be necessary in 
2881
2581
        normal code.
2882
2582
 
2883
2583
        This must be called with a lock held.
2952
2652
        # For each file id, for each tree: either
2953
2653
        # the file id is not present at all; all rows with that id in the
2954
2654
        # key have it marked as 'absent'
2955
 
        # OR the file id is present under exactly one name; any other entries
 
2655
        # OR the file id is present under exactly one name; any other entries 
2956
2656
        # that mention that id point to the correct name.
2957
2657
        #
2958
2658
        # We check this with a dict per tree pointing either to the present
3005
2705
                        # absent; should not occur anywhere else
3006
2706
                        this_tree_map[file_id] = None, this_path
3007
2707
                    elif minikind == 'r':
3008
 
                        # relocation, must occur at expected location
 
2708
                        # relocation, must occur at expected location 
3009
2709
                        this_tree_map[file_id] = tree_state[1], this_path
3010
2710
                    else:
3011
2711
                        this_tree_map[file_id] = this_path, this_path
3074
2774
            raise errors.ObjectNotLocked(self)
3075
2775
 
3076
2776
 
3077
 
def py_update_entry(state, entry, abspath, stat_value,
3078
 
                 _stat_to_minikind=DirState._stat_to_minikind,
3079
 
                 _pack_stat=pack_stat):
3080
 
    """Update the entry based on what is actually on disk.
3081
 
 
3082
 
    This function only calculates the sha if it needs to - if the entry is
3083
 
    uncachable, or clearly different to the first parent's entry, no sha
3084
 
    is calculated, and None is returned.
3085
 
 
3086
 
    :param state: The dirstate this entry is in.
3087
 
    :param entry: This is the dirblock entry for the file in question.
3088
 
    :param abspath: The path on disk for this file.
3089
 
    :param stat_value: The stat value done on the path.
3090
 
    :return: None, or The sha1 hexdigest of the file (40 bytes) or link
3091
 
        target of a symlink.
3092
 
    """
3093
 
    try:
3094
 
        minikind = _stat_to_minikind[stat_value.st_mode & 0170000]
3095
 
    except KeyError:
3096
 
        # Unhandled kind
3097
 
        return None
3098
 
    packed_stat = _pack_stat(stat_value)
3099
 
    (saved_minikind, saved_link_or_sha1, saved_file_size,
3100
 
     saved_executable, saved_packed_stat) = entry[1][0]
3101
 
 
3102
 
    if minikind == 'd' and saved_minikind == 't':
3103
 
        minikind = 't'
3104
 
    if (minikind == saved_minikind
3105
 
        and packed_stat == saved_packed_stat):
3106
 
        # The stat hasn't changed since we saved, so we can re-use the
3107
 
        # saved sha hash.
3108
 
        if minikind == 'd':
3109
 
            return None
3110
 
 
3111
 
        # size should also be in packed_stat
3112
 
        if saved_file_size == stat_value.st_size:
3113
 
            return saved_link_or_sha1
3114
 
 
3115
 
    # If we have gotten this far, that means that we need to actually
3116
 
    # process this entry.
3117
 
    link_or_sha1 = None
3118
 
    if minikind == 'f':
3119
 
        executable = state._is_executable(stat_value.st_mode,
3120
 
                                         saved_executable)
3121
 
        if state._cutoff_time is None:
3122
 
            state._sha_cutoff_time()
3123
 
        if (stat_value.st_mtime < state._cutoff_time
3124
 
            and stat_value.st_ctime < state._cutoff_time
3125
 
            and len(entry[1]) > 1
3126
 
            and entry[1][1][0] != 'a'):
3127
 
            # Could check for size changes for further optimised
3128
 
            # avoidance of sha1's. However the most prominent case of
3129
 
            # over-shaing is during initial add, which this catches.
3130
 
            # Besides, if content filtering happens, size and sha
3131
 
            # are calculated at the same time, so checking just the size
3132
 
            # gains nothing w.r.t. performance.
3133
 
            link_or_sha1 = state._sha1_file(abspath)
3134
 
            entry[1][0] = ('f', link_or_sha1, stat_value.st_size,
3135
 
                           executable, packed_stat)
3136
 
        else:
3137
 
            entry[1][0] = ('f', '', stat_value.st_size,
3138
 
                           executable, DirState.NULLSTAT)
3139
 
    elif minikind == 'd':
3140
 
        link_or_sha1 = None
3141
 
        entry[1][0] = ('d', '', 0, False, packed_stat)
3142
 
        if saved_minikind != 'd':
3143
 
            # This changed from something into a directory. Make sure we
3144
 
            # have a directory block for it. This doesn't happen very
3145
 
            # often, so this doesn't have to be super fast.
3146
 
            block_index, entry_index, dir_present, file_present = \
3147
 
                state._get_block_entry_index(entry[0][0], entry[0][1], 0)
3148
 
            state._ensure_block(block_index, entry_index,
3149
 
                               osutils.pathjoin(entry[0][0], entry[0][1]))
3150
 
    elif minikind == 'l':
3151
 
        link_or_sha1 = state._read_link(abspath, saved_link_or_sha1)
3152
 
        if state._cutoff_time is None:
3153
 
            state._sha_cutoff_time()
3154
 
        if (stat_value.st_mtime < state._cutoff_time
3155
 
            and stat_value.st_ctime < state._cutoff_time):
3156
 
            entry[1][0] = ('l', link_or_sha1, stat_value.st_size,
3157
 
                           False, packed_stat)
3158
 
        else:
3159
 
            entry[1][0] = ('l', '', stat_value.st_size,
3160
 
                           False, DirState.NULLSTAT)
3161
 
    state._dirblock_state = DirState.IN_MEMORY_MODIFIED
3162
 
    return link_or_sha1
3163
 
 
3164
 
 
3165
 
class ProcessEntryPython(object):
3166
 
 
3167
 
    __slots__ = ["old_dirname_to_file_id", "new_dirname_to_file_id",
3168
 
        "last_source_parent", "last_target_parent", "include_unchanged",
3169
 
        "use_filesystem_for_exec", "utf8_decode", "searched_specific_files",
3170
 
        "search_specific_files", "state", "source_index", "target_index",
3171
 
        "want_unversioned", "tree"]
3172
 
 
3173
 
    def __init__(self, include_unchanged, use_filesystem_for_exec,
3174
 
        search_specific_files, state, source_index, target_index,
3175
 
        want_unversioned, tree):
3176
 
        self.old_dirname_to_file_id = {}
3177
 
        self.new_dirname_to_file_id = {}
3178
 
        # Using a list so that we can access the values and change them in
3179
 
        # nested scope. Each one is [path, file_id, entry]
3180
 
        self.last_source_parent = [None, None]
3181
 
        self.last_target_parent = [None, None]
3182
 
        self.include_unchanged = include_unchanged
3183
 
        self.use_filesystem_for_exec = use_filesystem_for_exec
3184
 
        self.utf8_decode = cache_utf8._utf8_decode
3185
 
        # for all search_indexs in each path at or under each element of
3186
 
        # search_specific_files, if the detail is relocated: add the id, and add the
3187
 
        # relocated path as one to search if its not searched already. If the
3188
 
        # detail is not relocated, add the id.
3189
 
        self.searched_specific_files = set()
3190
 
        self.search_specific_files = search_specific_files
3191
 
        self.state = state
3192
 
        self.source_index = source_index
3193
 
        self.target_index = target_index
3194
 
        self.want_unversioned = want_unversioned
3195
 
        self.tree = tree
3196
 
 
3197
 
    def _process_entry(self, entry, path_info, pathjoin=osutils.pathjoin):
3198
 
        """Compare an entry and real disk to generate delta information.
3199
 
 
3200
 
        :param path_info: top_relpath, basename, kind, lstat, abspath for
3201
 
            the path of entry. If None, then the path is considered absent.
3202
 
            (Perhaps we should pass in a concrete entry for this ?)
3203
 
            Basename is returned as a utf8 string because we expect this
3204
 
            tuple will be ignored, and don't want to take the time to
3205
 
            decode.
3206
 
        :return: (iter_changes_result, changed). If the entry has not been
3207
 
            handled then changed is None. Otherwise it is False if no content
3208
 
            or metadata changes have occured, and None if any content or
3209
 
            metadata change has occured. If self.include_unchanged is True then
3210
 
            if changed is not None, iter_changes_result will always be a result
3211
 
            tuple. Otherwise, iter_changes_result is None unless changed is
3212
 
            True.
3213
 
        """
3214
 
        if self.source_index is None:
3215
 
            source_details = DirState.NULL_PARENT_DETAILS
3216
 
        else:
3217
 
            source_details = entry[1][self.source_index]
3218
 
        target_details = entry[1][self.target_index]
3219
 
        target_minikind = target_details[0]
3220
 
        if path_info is not None and target_minikind in 'fdlt':
3221
 
            if not (self.target_index == 0):
3222
 
                raise AssertionError()
3223
 
            link_or_sha1 = update_entry(self.state, entry,
3224
 
                abspath=path_info[4], stat_value=path_info[3])
3225
 
            # The entry may have been modified by update_entry
3226
 
            target_details = entry[1][self.target_index]
3227
 
            target_minikind = target_details[0]
3228
 
        else:
3229
 
            link_or_sha1 = None
3230
 
        file_id = entry[0][2]
3231
 
        source_minikind = source_details[0]
3232
 
        if source_minikind in 'fdltr' and target_minikind in 'fdlt':
3233
 
            # claimed content in both: diff
3234
 
            #   r    | fdlt   |      | add source to search, add id path move and perform
3235
 
            #        |        |      | diff check on source-target
3236
 
            #   r    | fdlt   |  a   | dangling file that was present in the basis.
3237
 
            #        |        |      | ???
3238
 
            if source_minikind in 'r':
3239
 
                # add the source to the search path to find any children it
3240
 
                # has.  TODO ? : only add if it is a container ?
3241
 
                if not osutils.is_inside_any(self.searched_specific_files,
3242
 
                                             source_details[1]):
3243
 
                    self.search_specific_files.add(source_details[1])
3244
 
                # generate the old path; this is needed for stating later
3245
 
                # as well.
3246
 
                old_path = source_details[1]
3247
 
                old_dirname, old_basename = os.path.split(old_path)
3248
 
                path = pathjoin(entry[0][0], entry[0][1])
3249
 
                old_entry = self.state._get_entry(self.source_index,
3250
 
                                             path_utf8=old_path)
3251
 
                # update the source details variable to be the real
3252
 
                # location.
3253
 
                if old_entry == (None, None):
3254
 
                    raise errors.CorruptDirstate(self.state._filename,
3255
 
                        "entry '%s/%s' is considered renamed from %r"
3256
 
                        " but source does not exist\n"
3257
 
                        "entry: %s" % (entry[0][0], entry[0][1], old_path, entry))
3258
 
                source_details = old_entry[1][self.source_index]
3259
 
                source_minikind = source_details[0]
3260
 
            else:
3261
 
                old_dirname = entry[0][0]
3262
 
                old_basename = entry[0][1]
3263
 
                old_path = path = None
3264
 
            if path_info is None:
3265
 
                # the file is missing on disk, show as removed.
3266
 
                content_change = True
3267
 
                target_kind = None
3268
 
                target_exec = False
3269
 
            else:
3270
 
                # source and target are both versioned and disk file is present.
3271
 
                target_kind = path_info[2]
3272
 
                if target_kind == 'directory':
3273
 
                    if path is None:
3274
 
                        old_path = path = pathjoin(old_dirname, old_basename)
3275
 
                    self.new_dirname_to_file_id[path] = file_id
3276
 
                    if source_minikind != 'd':
3277
 
                        content_change = True
3278
 
                    else:
3279
 
                        # directories have no fingerprint
3280
 
                        content_change = False
3281
 
                    target_exec = False
3282
 
                elif target_kind == 'file':
3283
 
                    if source_minikind != 'f':
3284
 
                        content_change = True
3285
 
                    else:
3286
 
                        # Check the sha. We can't just rely on the size as
3287
 
                        # content filtering may mean differ sizes actually
3288
 
                        # map to the same content
3289
 
                        if link_or_sha1 is None:
3290
 
                            # Stat cache miss:
3291
 
                            statvalue, link_or_sha1 = \
3292
 
                                self.state._sha1_provider.stat_and_sha1(
3293
 
                                path_info[4])
3294
 
                            self.state._observed_sha1(entry, link_or_sha1,
3295
 
                                statvalue)
3296
 
                        content_change = (link_or_sha1 != source_details[1])
3297
 
                    # Target details is updated at update_entry time
3298
 
                    if self.use_filesystem_for_exec:
3299
 
                        # We don't need S_ISREG here, because we are sure
3300
 
                        # we are dealing with a file.
3301
 
                        target_exec = bool(stat.S_IEXEC & path_info[3].st_mode)
3302
 
                    else:
3303
 
                        target_exec = target_details[3]
3304
 
                elif target_kind == 'symlink':
3305
 
                    if source_minikind != 'l':
3306
 
                        content_change = True
3307
 
                    else:
3308
 
                        content_change = (link_or_sha1 != source_details[1])
3309
 
                    target_exec = False
3310
 
                elif target_kind == 'tree-reference':
3311
 
                    if source_minikind != 't':
3312
 
                        content_change = True
3313
 
                    else:
3314
 
                        content_change = False
3315
 
                    target_exec = False
3316
 
                else:
3317
 
                    raise Exception, "unknown kind %s" % path_info[2]
3318
 
            if source_minikind == 'd':
3319
 
                if path is None:
3320
 
                    old_path = path = pathjoin(old_dirname, old_basename)
3321
 
                self.old_dirname_to_file_id[old_path] = file_id
3322
 
            # parent id is the entry for the path in the target tree
3323
 
            if old_basename and old_dirname == self.last_source_parent[0]:
3324
 
                source_parent_id = self.last_source_parent[1]
3325
 
            else:
3326
 
                try:
3327
 
                    source_parent_id = self.old_dirname_to_file_id[old_dirname]
3328
 
                except KeyError:
3329
 
                    source_parent_entry = self.state._get_entry(self.source_index,
3330
 
                                                           path_utf8=old_dirname)
3331
 
                    source_parent_id = source_parent_entry[0][2]
3332
 
                if source_parent_id == entry[0][2]:
3333
 
                    # This is the root, so the parent is None
3334
 
                    source_parent_id = None
3335
 
                else:
3336
 
                    self.last_source_parent[0] = old_dirname
3337
 
                    self.last_source_parent[1] = source_parent_id
3338
 
            new_dirname = entry[0][0]
3339
 
            if entry[0][1] and new_dirname == self.last_target_parent[0]:
3340
 
                target_parent_id = self.last_target_parent[1]
3341
 
            else:
3342
 
                try:
3343
 
                    target_parent_id = self.new_dirname_to_file_id[new_dirname]
3344
 
                except KeyError:
3345
 
                    # TODO: We don't always need to do the lookup, because the
3346
 
                    #       parent entry will be the same as the source entry.
3347
 
                    target_parent_entry = self.state._get_entry(self.target_index,
3348
 
                                                           path_utf8=new_dirname)
3349
 
                    if target_parent_entry == (None, None):
3350
 
                        raise AssertionError(
3351
 
                            "Could not find target parent in wt: %s\nparent of: %s"
3352
 
                            % (new_dirname, entry))
3353
 
                    target_parent_id = target_parent_entry[0][2]
3354
 
                if target_parent_id == entry[0][2]:
3355
 
                    # This is the root, so the parent is None
3356
 
                    target_parent_id = None
3357
 
                else:
3358
 
                    self.last_target_parent[0] = new_dirname
3359
 
                    self.last_target_parent[1] = target_parent_id
3360
 
 
3361
 
            source_exec = source_details[3]
3362
 
            changed = (content_change
3363
 
                or source_parent_id != target_parent_id
3364
 
                or old_basename != entry[0][1]
3365
 
                or source_exec != target_exec
3366
 
                )
3367
 
            if not changed and not self.include_unchanged:
3368
 
                return None, False
3369
 
            else:
3370
 
                if old_path is None:
3371
 
                    old_path = path = pathjoin(old_dirname, old_basename)
3372
 
                    old_path_u = self.utf8_decode(old_path)[0]
3373
 
                    path_u = old_path_u
3374
 
                else:
3375
 
                    old_path_u = self.utf8_decode(old_path)[0]
3376
 
                    if old_path == path:
3377
 
                        path_u = old_path_u
3378
 
                    else:
3379
 
                        path_u = self.utf8_decode(path)[0]
3380
 
                source_kind = DirState._minikind_to_kind[source_minikind]
3381
 
                return (entry[0][2],
3382
 
                       (old_path_u, path_u),
3383
 
                       content_change,
3384
 
                       (True, True),
3385
 
                       (source_parent_id, target_parent_id),
3386
 
                       (self.utf8_decode(old_basename)[0], self.utf8_decode(entry[0][1])[0]),
3387
 
                       (source_kind, target_kind),
3388
 
                       (source_exec, target_exec)), changed
3389
 
        elif source_minikind in 'a' and target_minikind in 'fdlt':
3390
 
            # looks like a new file
3391
 
            path = pathjoin(entry[0][0], entry[0][1])
3392
 
            # parent id is the entry for the path in the target tree
3393
 
            # TODO: these are the same for an entire directory: cache em.
3394
 
            parent_id = self.state._get_entry(self.target_index,
3395
 
                                         path_utf8=entry[0][0])[0][2]
3396
 
            if parent_id == entry[0][2]:
3397
 
                parent_id = None
3398
 
            if path_info is not None:
3399
 
                # Present on disk:
3400
 
                if self.use_filesystem_for_exec:
3401
 
                    # We need S_ISREG here, because we aren't sure if this
3402
 
                    # is a file or not.
3403
 
                    target_exec = bool(
3404
 
                        stat.S_ISREG(path_info[3].st_mode)
3405
 
                        and stat.S_IEXEC & path_info[3].st_mode)
3406
 
                else:
3407
 
                    target_exec = target_details[3]
3408
 
                return (entry[0][2],
3409
 
                       (None, self.utf8_decode(path)[0]),
3410
 
                       True,
3411
 
                       (False, True),
3412
 
                       (None, parent_id),
3413
 
                       (None, self.utf8_decode(entry[0][1])[0]),
3414
 
                       (None, path_info[2]),
3415
 
                       (None, target_exec)), True
3416
 
            else:
3417
 
                # Its a missing file, report it as such.
3418
 
                return (entry[0][2],
3419
 
                       (None, self.utf8_decode(path)[0]),
3420
 
                       False,
3421
 
                       (False, True),
3422
 
                       (None, parent_id),
3423
 
                       (None, self.utf8_decode(entry[0][1])[0]),
3424
 
                       (None, None),
3425
 
                       (None, False)), True
3426
 
        elif source_minikind in 'fdlt' and target_minikind in 'a':
3427
 
            # unversioned, possibly, or possibly not deleted: we dont care.
3428
 
            # if its still on disk, *and* theres no other entry at this
3429
 
            # path [we dont know this in this routine at the moment -
3430
 
            # perhaps we should change this - then it would be an unknown.
3431
 
            old_path = pathjoin(entry[0][0], entry[0][1])
3432
 
            # parent id is the entry for the path in the target tree
3433
 
            parent_id = self.state._get_entry(self.source_index, path_utf8=entry[0][0])[0][2]
3434
 
            if parent_id == entry[0][2]:
3435
 
                parent_id = None
3436
 
            return (entry[0][2],
3437
 
                   (self.utf8_decode(old_path)[0], None),
3438
 
                   True,
3439
 
                   (True, False),
3440
 
                   (parent_id, None),
3441
 
                   (self.utf8_decode(entry[0][1])[0], None),
3442
 
                   (DirState._minikind_to_kind[source_minikind], None),
3443
 
                   (source_details[3], None)), True
3444
 
        elif source_minikind in 'fdlt' and target_minikind in 'r':
3445
 
            # a rename; could be a true rename, or a rename inherited from
3446
 
            # a renamed parent. TODO: handle this efficiently. Its not
3447
 
            # common case to rename dirs though, so a correct but slow
3448
 
            # implementation will do.
3449
 
            if not osutils.is_inside_any(self.searched_specific_files, target_details[1]):
3450
 
                self.search_specific_files.add(target_details[1])
3451
 
        elif source_minikind in 'ra' and target_minikind in 'ra':
3452
 
            # neither of the selected trees contain this file,
3453
 
            # so skip over it. This is not currently directly tested, but
3454
 
            # is indirectly via test_too_much.TestCommands.test_conflicts.
3455
 
            pass
3456
 
        else:
3457
 
            raise AssertionError("don't know how to compare "
3458
 
                "source_minikind=%r, target_minikind=%r"
3459
 
                % (source_minikind, target_minikind))
3460
 
            ## import pdb;pdb.set_trace()
3461
 
        return None, None
3462
 
 
3463
 
    def __iter__(self):
3464
 
        return self
3465
 
 
3466
 
    def iter_changes(self):
3467
 
        """Iterate over the changes."""
3468
 
        utf8_decode = cache_utf8._utf8_decode
3469
 
        _cmp_by_dirs = cmp_by_dirs
3470
 
        _process_entry = self._process_entry
3471
 
        search_specific_files = self.search_specific_files
3472
 
        searched_specific_files = self.searched_specific_files
3473
 
        splitpath = osutils.splitpath
3474
 
        # sketch:
3475
 
        # compare source_index and target_index at or under each element of search_specific_files.
3476
 
        # follow the following comparison table. Note that we only want to do diff operations when
3477
 
        # the target is fdl because thats when the walkdirs logic will have exposed the pathinfo
3478
 
        # for the target.
3479
 
        # cases:
3480
 
        #
3481
 
        # Source | Target | disk | action
3482
 
        #   r    | fdlt   |      | add source to search, add id path move and perform
3483
 
        #        |        |      | diff check on source-target
3484
 
        #   r    | fdlt   |  a   | dangling file that was present in the basis.
3485
 
        #        |        |      | ???
3486
 
        #   r    |  a     |      | add source to search
3487
 
        #   r    |  a     |  a   |
3488
 
        #   r    |  r     |      | this path is present in a non-examined tree, skip.
3489
 
        #   r    |  r     |  a   | this path is present in a non-examined tree, skip.
3490
 
        #   a    | fdlt   |      | add new id
3491
 
        #   a    | fdlt   |  a   | dangling locally added file, skip
3492
 
        #   a    |  a     |      | not present in either tree, skip
3493
 
        #   a    |  a     |  a   | not present in any tree, skip
3494
 
        #   a    |  r     |      | not present in either tree at this path, skip as it
3495
 
        #        |        |      | may not be selected by the users list of paths.
3496
 
        #   a    |  r     |  a   | not present in either tree at this path, skip as it
3497
 
        #        |        |      | may not be selected by the users list of paths.
3498
 
        #  fdlt  | fdlt   |      | content in both: diff them
3499
 
        #  fdlt  | fdlt   |  a   | deleted locally, but not unversioned - show as deleted ?
3500
 
        #  fdlt  |  a     |      | unversioned: output deleted id for now
3501
 
        #  fdlt  |  a     |  a   | unversioned and deleted: output deleted id
3502
 
        #  fdlt  |  r     |      | relocated in this tree, so add target to search.
3503
 
        #        |        |      | Dont diff, we will see an r,fd; pair when we reach
3504
 
        #        |        |      | this id at the other path.
3505
 
        #  fdlt  |  r     |  a   | relocated in this tree, so add target to search.
3506
 
        #        |        |      | Dont diff, we will see an r,fd; pair when we reach
3507
 
        #        |        |      | this id at the other path.
3508
 
 
3509
 
        # TODO: jam 20070516 - Avoid the _get_entry lookup overhead by
3510
 
        #       keeping a cache of directories that we have seen.
3511
 
 
3512
 
        while search_specific_files:
3513
 
            # TODO: the pending list should be lexically sorted?  the
3514
 
            # interface doesn't require it.
3515
 
            current_root = search_specific_files.pop()
3516
 
            current_root_unicode = current_root.decode('utf8')
3517
 
            searched_specific_files.add(current_root)
3518
 
            # process the entries for this containing directory: the rest will be
3519
 
            # found by their parents recursively.
3520
 
            root_entries = self.state._entries_for_path(current_root)
3521
 
            root_abspath = self.tree.abspath(current_root_unicode)
3522
 
            try:
3523
 
                root_stat = os.lstat(root_abspath)
3524
 
            except OSError, e:
3525
 
                if e.errno == errno.ENOENT:
3526
 
                    # the path does not exist: let _process_entry know that.
3527
 
                    root_dir_info = None
3528
 
                else:
3529
 
                    # some other random error: hand it up.
3530
 
                    raise
3531
 
            else:
3532
 
                root_dir_info = ('', current_root,
3533
 
                    osutils.file_kind_from_stat_mode(root_stat.st_mode), root_stat,
3534
 
                    root_abspath)
3535
 
                if root_dir_info[2] == 'directory':
3536
 
                    if self.tree._directory_is_tree_reference(
3537
 
                        current_root.decode('utf8')):
3538
 
                        root_dir_info = root_dir_info[:2] + \
3539
 
                            ('tree-reference',) + root_dir_info[3:]
3540
 
 
3541
 
            if not root_entries and not root_dir_info:
3542
 
                # this specified path is not present at all, skip it.
3543
 
                continue
3544
 
            path_handled = False
3545
 
            for entry in root_entries:
3546
 
                result, changed = _process_entry(entry, root_dir_info)
3547
 
                if changed is not None:
3548
 
                    path_handled = True
3549
 
                    if changed or self.include_unchanged:
3550
 
                        yield result
3551
 
            if self.want_unversioned and not path_handled and root_dir_info:
3552
 
                new_executable = bool(
3553
 
                    stat.S_ISREG(root_dir_info[3].st_mode)
3554
 
                    and stat.S_IEXEC & root_dir_info[3].st_mode)
3555
 
                yield (None,
3556
 
                       (None, current_root_unicode),
3557
 
                       True,
3558
 
                       (False, False),
3559
 
                       (None, None),
3560
 
                       (None, splitpath(current_root_unicode)[-1]),
3561
 
                       (None, root_dir_info[2]),
3562
 
                       (None, new_executable)
3563
 
                      )
3564
 
            initial_key = (current_root, '', '')
3565
 
            block_index, _ = self.state._find_block_index_from_key(initial_key)
3566
 
            if block_index == 0:
3567
 
                # we have processed the total root already, but because the
3568
 
                # initial key matched it we should skip it here.
3569
 
                block_index +=1
3570
 
            if root_dir_info and root_dir_info[2] == 'tree-reference':
3571
 
                current_dir_info = None
3572
 
            else:
3573
 
                dir_iterator = osutils._walkdirs_utf8(root_abspath, prefix=current_root)
3574
 
                try:
3575
 
                    current_dir_info = dir_iterator.next()
3576
 
                except OSError, e:
3577
 
                    # on win32, python2.4 has e.errno == ERROR_DIRECTORY, but
3578
 
                    # python 2.5 has e.errno == EINVAL,
3579
 
                    #            and e.winerror == ERROR_DIRECTORY
3580
 
                    e_winerror = getattr(e, 'winerror', None)
3581
 
                    win_errors = (ERROR_DIRECTORY, ERROR_PATH_NOT_FOUND)
3582
 
                    # there may be directories in the inventory even though
3583
 
                    # this path is not a file on disk: so mark it as end of
3584
 
                    # iterator
3585
 
                    if e.errno in (errno.ENOENT, errno.ENOTDIR, errno.EINVAL):
3586
 
                        current_dir_info = None
3587
 
                    elif (sys.platform == 'win32'
3588
 
                          and (e.errno in win_errors
3589
 
                               or e_winerror in win_errors)):
3590
 
                        current_dir_info = None
3591
 
                    else:
3592
 
                        raise
3593
 
                else:
3594
 
                    if current_dir_info[0][0] == '':
3595
 
                        # remove .bzr from iteration
3596
 
                        bzr_index = bisect.bisect_left(current_dir_info[1], ('.bzr',))
3597
 
                        if current_dir_info[1][bzr_index][0] != '.bzr':
3598
 
                            raise AssertionError()
3599
 
                        del current_dir_info[1][bzr_index]
3600
 
            # walk until both the directory listing and the versioned metadata
3601
 
            # are exhausted.
3602
 
            if (block_index < len(self.state._dirblocks) and
3603
 
                osutils.is_inside(current_root, self.state._dirblocks[block_index][0])):
3604
 
                current_block = self.state._dirblocks[block_index]
3605
 
            else:
3606
 
                current_block = None
3607
 
            while (current_dir_info is not None or
3608
 
                   current_block is not None):
3609
 
                if (current_dir_info and current_block
3610
 
                    and current_dir_info[0][0] != current_block[0]):
3611
 
                    if _cmp_by_dirs(current_dir_info[0][0], current_block[0]) < 0:
3612
 
                        # filesystem data refers to paths not covered by the dirblock.
3613
 
                        # this has two possibilities:
3614
 
                        # A) it is versioned but empty, so there is no block for it
3615
 
                        # B) it is not versioned.
3616
 
 
3617
 
                        # if (A) then we need to recurse into it to check for
3618
 
                        # new unknown files or directories.
3619
 
                        # if (B) then we should ignore it, because we don't
3620
 
                        # recurse into unknown directories.
3621
 
                        path_index = 0
3622
 
                        while path_index < len(current_dir_info[1]):
3623
 
                                current_path_info = current_dir_info[1][path_index]
3624
 
                                if self.want_unversioned:
3625
 
                                    if current_path_info[2] == 'directory':
3626
 
                                        if self.tree._directory_is_tree_reference(
3627
 
                                            current_path_info[0].decode('utf8')):
3628
 
                                            current_path_info = current_path_info[:2] + \
3629
 
                                                ('tree-reference',) + current_path_info[3:]
3630
 
                                    new_executable = bool(
3631
 
                                        stat.S_ISREG(current_path_info[3].st_mode)
3632
 
                                        and stat.S_IEXEC & current_path_info[3].st_mode)
3633
 
                                    yield (None,
3634
 
                                        (None, utf8_decode(current_path_info[0])[0]),
3635
 
                                        True,
3636
 
                                        (False, False),
3637
 
                                        (None, None),
3638
 
                                        (None, utf8_decode(current_path_info[1])[0]),
3639
 
                                        (None, current_path_info[2]),
3640
 
                                        (None, new_executable))
3641
 
                                # dont descend into this unversioned path if it is
3642
 
                                # a dir
3643
 
                                if current_path_info[2] in ('directory',
3644
 
                                                            'tree-reference'):
3645
 
                                    del current_dir_info[1][path_index]
3646
 
                                    path_index -= 1
3647
 
                                path_index += 1
3648
 
 
3649
 
                        # This dir info has been handled, go to the next
3650
 
                        try:
3651
 
                            current_dir_info = dir_iterator.next()
3652
 
                        except StopIteration:
3653
 
                            current_dir_info = None
3654
 
                    else:
3655
 
                        # We have a dirblock entry for this location, but there
3656
 
                        # is no filesystem path for this. This is most likely
3657
 
                        # because a directory was removed from the disk.
3658
 
                        # We don't have to report the missing directory,
3659
 
                        # because that should have already been handled, but we
3660
 
                        # need to handle all of the files that are contained
3661
 
                        # within.
3662
 
                        for current_entry in current_block[1]:
3663
 
                            # entry referring to file not present on disk.
3664
 
                            # advance the entry only, after processing.
3665
 
                            result, changed = _process_entry(current_entry, None)
3666
 
                            if changed is not None:
3667
 
                                if changed or self.include_unchanged:
3668
 
                                    yield result
3669
 
                        block_index +=1
3670
 
                        if (block_index < len(self.state._dirblocks) and
3671
 
                            osutils.is_inside(current_root,
3672
 
                                              self.state._dirblocks[block_index][0])):
3673
 
                            current_block = self.state._dirblocks[block_index]
3674
 
                        else:
3675
 
                            current_block = None
3676
 
                    continue
3677
 
                entry_index = 0
3678
 
                if current_block and entry_index < len(current_block[1]):
3679
 
                    current_entry = current_block[1][entry_index]
3680
 
                else:
3681
 
                    current_entry = None
3682
 
                advance_entry = True
3683
 
                path_index = 0
3684
 
                if current_dir_info and path_index < len(current_dir_info[1]):
3685
 
                    current_path_info = current_dir_info[1][path_index]
3686
 
                    if current_path_info[2] == 'directory':
3687
 
                        if self.tree._directory_is_tree_reference(
3688
 
                            current_path_info[0].decode('utf8')):
3689
 
                            current_path_info = current_path_info[:2] + \
3690
 
                                ('tree-reference',) + current_path_info[3:]
3691
 
                else:
3692
 
                    current_path_info = None
3693
 
                advance_path = True
3694
 
                path_handled = False
3695
 
                while (current_entry is not None or
3696
 
                    current_path_info is not None):
3697
 
                    if current_entry is None:
3698
 
                        # the check for path_handled when the path is advanced
3699
 
                        # will yield this path if needed.
3700
 
                        pass
3701
 
                    elif current_path_info is None:
3702
 
                        # no path is fine: the per entry code will handle it.
3703
 
                        result, changed = _process_entry(current_entry, current_path_info)
3704
 
                        if changed is not None:
3705
 
                            if changed or self.include_unchanged:
3706
 
                                yield result
3707
 
                    elif (current_entry[0][1] != current_path_info[1]
3708
 
                          or current_entry[1][self.target_index][0] in 'ar'):
3709
 
                        # The current path on disk doesn't match the dirblock
3710
 
                        # record. Either the dirblock is marked as absent, or
3711
 
                        # the file on disk is not present at all in the
3712
 
                        # dirblock. Either way, report about the dirblock
3713
 
                        # entry, and let other code handle the filesystem one.
3714
 
 
3715
 
                        # Compare the basename for these files to determine
3716
 
                        # which comes first
3717
 
                        if current_path_info[1] < current_entry[0][1]:
3718
 
                            # extra file on disk: pass for now, but only
3719
 
                            # increment the path, not the entry
3720
 
                            advance_entry = False
3721
 
                        else:
3722
 
                            # entry referring to file not present on disk.
3723
 
                            # advance the entry only, after processing.
3724
 
                            result, changed = _process_entry(current_entry, None)
3725
 
                            if changed is not None:
3726
 
                                if changed or self.include_unchanged:
3727
 
                                    yield result
3728
 
                            advance_path = False
3729
 
                    else:
3730
 
                        result, changed = _process_entry(current_entry, current_path_info)
3731
 
                        if changed is not None:
3732
 
                            path_handled = True
3733
 
                            if changed or self.include_unchanged:
3734
 
                                yield result
3735
 
                    if advance_entry and current_entry is not None:
3736
 
                        entry_index += 1
3737
 
                        if entry_index < len(current_block[1]):
3738
 
                            current_entry = current_block[1][entry_index]
3739
 
                        else:
3740
 
                            current_entry = None
3741
 
                    else:
3742
 
                        advance_entry = True # reset the advance flaga
3743
 
                    if advance_path and current_path_info is not None:
3744
 
                        if not path_handled:
3745
 
                            # unversioned in all regards
3746
 
                            if self.want_unversioned:
3747
 
                                new_executable = bool(
3748
 
                                    stat.S_ISREG(current_path_info[3].st_mode)
3749
 
                                    and stat.S_IEXEC & current_path_info[3].st_mode)
3750
 
                                try:
3751
 
                                    relpath_unicode = utf8_decode(current_path_info[0])[0]
3752
 
                                except UnicodeDecodeError:
3753
 
                                    raise errors.BadFilenameEncoding(
3754
 
                                        current_path_info[0], osutils._fs_enc)
3755
 
                                yield (None,
3756
 
                                    (None, relpath_unicode),
3757
 
                                    True,
3758
 
                                    (False, False),
3759
 
                                    (None, None),
3760
 
                                    (None, utf8_decode(current_path_info[1])[0]),
3761
 
                                    (None, current_path_info[2]),
3762
 
                                    (None, new_executable))
3763
 
                            # dont descend into this unversioned path if it is
3764
 
                            # a dir
3765
 
                            if current_path_info[2] in ('directory'):
3766
 
                                del current_dir_info[1][path_index]
3767
 
                                path_index -= 1
3768
 
                        # dont descend the disk iterator into any tree
3769
 
                        # paths.
3770
 
                        if current_path_info[2] == 'tree-reference':
3771
 
                            del current_dir_info[1][path_index]
3772
 
                            path_index -= 1
3773
 
                        path_index += 1
3774
 
                        if path_index < len(current_dir_info[1]):
3775
 
                            current_path_info = current_dir_info[1][path_index]
3776
 
                            if current_path_info[2] == 'directory':
3777
 
                                if self.tree._directory_is_tree_reference(
3778
 
                                    current_path_info[0].decode('utf8')):
3779
 
                                    current_path_info = current_path_info[:2] + \
3780
 
                                        ('tree-reference',) + current_path_info[3:]
3781
 
                        else:
3782
 
                            current_path_info = None
3783
 
                        path_handled = False
3784
 
                    else:
3785
 
                        advance_path = True # reset the advance flagg.
3786
 
                if current_block is not None:
3787
 
                    block_index += 1
3788
 
                    if (block_index < len(self.state._dirblocks) and
3789
 
                        osutils.is_inside(current_root, self.state._dirblocks[block_index][0])):
3790
 
                        current_block = self.state._dirblocks[block_index]
3791
 
                    else:
3792
 
                        current_block = None
3793
 
                if current_dir_info is not None:
3794
 
                    try:
3795
 
                        current_dir_info = dir_iterator.next()
3796
 
                    except StopIteration:
3797
 
                        current_dir_info = None
3798
 
 
3799
 
 
3800
2777
# Try to load the compiled form if possible
3801
2778
try:
3802
 
    from bzrlib._dirstate_helpers_pyx import (
3803
 
        _read_dirblocks,
3804
 
        bisect_dirblock,
3805
 
        _bisect_path_left,
3806
 
        _bisect_path_right,
3807
 
        cmp_by_dirs,
3808
 
        ProcessEntryC as _process_entry,
3809
 
        update_entry as update_entry,
 
2779
    from bzrlib._dirstate_helpers_c import (
 
2780
        _read_dirblocks_c as _read_dirblocks,
 
2781
        bisect_dirblock_c as bisect_dirblock,
 
2782
        _bisect_path_left_c as _bisect_path_left,
 
2783
        _bisect_path_right_c as _bisect_path_right,
 
2784
        cmp_by_dirs_c as cmp_by_dirs,
3810
2785
        )
3811
2786
except ImportError:
3812
2787
    from bzrlib._dirstate_helpers_py import (
3813
 
        _read_dirblocks,
3814
 
        bisect_dirblock,
3815
 
        _bisect_path_left,
3816
 
        _bisect_path_right,
3817
 
        cmp_by_dirs,
 
2788
        _read_dirblocks_py as _read_dirblocks,
 
2789
        bisect_dirblock_py as bisect_dirblock,
 
2790
        _bisect_path_left_py as _bisect_path_left,
 
2791
        _bisect_path_right_py as _bisect_path_right,
 
2792
        cmp_by_dirs_py as cmp_by_dirs,
3818
2793
        )
3819
 
    # FIXME: It would be nice to be able to track moved lines so that the
3820
 
    # corresponding python code can be moved to the _dirstate_helpers_py
3821
 
    # module. I don't want to break the history for this important piece of
3822
 
    # code so I left the code here -- vila 20090622
3823
 
    update_entry = py_update_entry
3824
 
    _process_entry = ProcessEntryPython