~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/dirstate.py

  • Committer: Martin Pool
  • Date: 2009-01-13 03:11:04 UTC
  • mto: This revision was merged to the branch mainline in revision 3937.
  • Revision ID: mbp@sourcefrog.net-20090113031104-03my054s02i9l2pe
Bump version to 1.12 and add news template

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006-2010 Canonical Ltd
 
1
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""DirState objects record the state of a directory and its bzr metadata.
18
18
 
82
82
'a' is an absent entry: In that tree the id is not present at this path.
83
83
'd' is a directory entry: This path in this tree is a directory with the
84
84
    current file id. There is no fingerprint for directories.
85
 
'f' is a file entry: As for directory, but it's a file. The fingerprint is the
86
 
    sha1 value of the file's canonical form, i.e. after any read filters have
87
 
    been applied to the convenience form stored in the working tree.
 
85
'f' is a file entry: As for directory, but its a file. The fingerprint is a
 
86
    sha1 value.
88
87
'l' is a symlink entry: As for directory, but a symlink. The fingerprint is the
89
88
    link target.
90
89
't' is a reference to a nested subtree; the fingerprint is the referenced
100
99
 
101
100
--- Format 1 had the following different definition: ---
102
101
rows = dirname, NULL, basename, NULL, MINIKIND, NULL, fileid_utf8, NULL,
103
 
    WHOLE NUMBER (* size *), NULL, packed stat, NULL, sha1|symlink target,
 
102
    WHOLE NUMBER (* size *), NULL, packed stat, NULL, sha1|symlink target, 
104
103
    {PARENT ROW}
105
104
PARENT ROW = NULL, revision_utf8, NULL, MINIKIND, NULL, dirname, NULL,
106
105
    basename, NULL, WHOLE NUMBER (* size *), NULL, "y" | "n", NULL,
131
130
operations for the less common but still occurs a lot status/diff/commit
132
131
on specific files). Operations on specific files involve a scan for all
133
132
the children of a path, *in every involved tree*, which the current
134
 
format did not accommodate.
 
133
format did not accommodate. 
135
134
----
136
135
 
137
136
Design priorities:
149
148
 
150
149
Memory representation:
151
150
 vector of all directories, and vector of the childen ?
152
 
   i.e.
153
 
     root_entrie = (direntry for root, [parent_direntries_for_root]),
 
151
   i.e. 
 
152
     root_entrie = (direntry for root, [parent_direntries_for_root]), 
154
153
     dirblocks = [
155
154
     ('', ['data for achild', 'data for bchild', 'data for cchild'])
156
155
     ('dir', ['achild', 'cchild', 'echild'])
159
158
    - in-order for serialisation - this is 'dirblock' grouping.
160
159
    - insertion of a file '/a' affects only the '/' child-vector, that is, to
161
160
      insert 10K elements from scratch does not generates O(N^2) memoves of a
162
 
      single vector, rather each individual, which tends to be limited to a
163
 
      manageable number. Will scale badly on trees with 10K entries in a
 
161
      single vector, rather each individual, which tends to be limited to a 
 
162
      manageable number. Will scale badly on trees with 10K entries in a 
164
163
      single directory. compare with Inventory.InventoryDirectory which has
165
164
      a dictionary for the children. No bisect capability, can only probe for
166
165
      exact matches, or grab all elements and sort.
167
166
    - What's the risk of error here? Once we have the base format being processed
168
 
      we should have a net win regardless of optimality. So we are going to
 
167
      we should have a net win regardless of optimality. So we are going to 
169
168
      go with what seems reasonable.
170
169
open questions:
171
170
 
187
186
the file on disk, and then immediately discard, the overhead of object creation
188
187
becomes a significant cost.
189
188
 
190
 
Figures: Creating a tuple from 3 elements was profiled at 0.0625
 
189
Figures: Creating a tuple from from 3 elements was profiled at 0.0625
191
190
microseconds, whereas creating a object which is subclassed from tuple was
192
191
0.500 microseconds, and creating an object with 3 elements and slots was 3
193
192
microseconds long. 0.1 milliseconds is 100 microseconds, and ideally we'll get
204
203
import bisect
205
204
import binascii
206
205
import errno
207
 
import operator
208
206
import os
209
207
from stat import S_IEXEC
210
208
import stat
264
262
        # return '%X.%X' % (int(st.st_mtime), st.st_mode)
265
263
 
266
264
 
267
 
class SHA1Provider(object):
268
 
    """An interface for getting sha1s of a file."""
269
 
 
270
 
    def sha1(self, abspath):
271
 
        """Return the sha1 of a file given its absolute path.
272
 
 
273
 
        :param abspath:  May be a filesystem encoded absolute path
274
 
             or a unicode path.
275
 
        """
276
 
        raise NotImplementedError(self.sha1)
277
 
 
278
 
    def stat_and_sha1(self, abspath):
279
 
        """Return the stat and sha1 of a file given its absolute path.
280
 
        
281
 
        :param abspath:  May be a filesystem encoded absolute path
282
 
             or a unicode path.
283
 
 
284
 
        Note: the stat should be the stat of the physical file
285
 
        while the sha may be the sha of its canonical content.
286
 
        """
287
 
        raise NotImplementedError(self.stat_and_sha1)
288
 
 
289
 
 
290
 
class DefaultSHA1Provider(SHA1Provider):
291
 
    """A SHA1Provider that reads directly from the filesystem."""
292
 
 
293
 
    def sha1(self, abspath):
294
 
        """Return the sha1 of a file given its absolute path."""
295
 
        return osutils.sha_file_by_name(abspath)
296
 
 
297
 
    def stat_and_sha1(self, abspath):
298
 
        """Return the stat and sha1 of a file given its absolute path."""
299
 
        file_obj = file(abspath, 'rb')
300
 
        try:
301
 
            statvalue = os.fstat(file_obj.fileno())
302
 
            sha1 = osutils.sha_file(file_obj)
303
 
        finally:
304
 
            file_obj.close()
305
 
        return statvalue, sha1
306
 
 
307
 
 
308
265
class DirState(object):
309
266
    """Record directory and metadata state for fast access.
310
267
 
363
320
    HEADER_FORMAT_2 = '#bazaar dirstate flat format 2\n'
364
321
    HEADER_FORMAT_3 = '#bazaar dirstate flat format 3\n'
365
322
 
366
 
    def __init__(self, path, sha1_provider):
 
323
    def __init__(self, path):
367
324
        """Create a  DirState object.
368
325
 
369
326
        :param path: The path at which the dirstate file on disk should live.
370
 
        :param sha1_provider: an object meeting the SHA1Provider interface.
371
327
        """
372
328
        # _header_state and _dirblock_state represent the current state
373
329
        # of the dirstate metadata and the per-row data respectiely.
375
331
        # IN_MEMORY_UNMODIFIED indicates that what we have in memory
376
332
        #   is the same as is on disk
377
333
        # IN_MEMORY_MODIFIED indicates that we have a modified version
378
 
        #   of what is on disk.
 
334
        #   of what is on disk. 
379
335
        # In future we will add more granularity, for instance _dirblock_state
380
336
        # will probably support partially-in-memory as a separate variable,
381
337
        # allowing for partially-in-memory unmodified and partially-in-memory
382
338
        # modified states.
383
339
        self._header_state = DirState.NOT_IN_MEMORY
384
340
        self._dirblock_state = DirState.NOT_IN_MEMORY
385
 
        # If true, an error has been detected while updating the dirstate, and
 
341
        # If true, an error has been detected while updating the dirstate, and 
386
342
        # for safety we're not going to commit to disk.
387
343
        self._changes_aborted = False
388
344
        self._dirblocks = []
399
355
        self._cutoff_time = None
400
356
        self._split_path_cache = {}
401
357
        self._bisect_page_size = DirState.BISECT_PAGE_SIZE
402
 
        self._sha1_provider = sha1_provider
403
358
        if 'hashcache' in debug.debug_flags:
404
359
            self._sha1_file = self._sha1_file_and_mutter
405
360
        else:
406
 
            self._sha1_file = self._sha1_provider.sha1
 
361
            self._sha1_file = osutils.sha_file_by_name
407
362
        # These two attributes provide a simple cache for lookups into the
408
363
        # dirstate in-memory vectors. By probing respectively for the last
409
364
        # block, and for the next entry, we save nearly 2 bisections per path
419
374
        """Add a path to be tracked.
420
375
 
421
376
        :param path: The path within the dirstate - '' is the root, 'foo' is the
422
 
            path foo within the root, 'foo/bar' is the path bar within foo
 
377
            path foo within the root, 'foo/bar' is the path bar within foo 
423
378
            within the root.
424
379
        :param file_id: The file id of the path being added.
425
 
        :param kind: The kind of the path, as a string like 'file',
 
380
        :param kind: The kind of the path, as a string like 'file', 
426
381
            'directory', etc.
427
382
        :param stat: The output of os.lstat for the path.
428
 
        :param fingerprint: The sha value of the file's canonical form (i.e.
429
 
            after any read filters have been applied),
 
383
        :param fingerprint: The sha value of the file,
430
384
            or the target of a symlink,
431
385
            or the referenced revision id for tree-references,
432
386
            or '' for directories.
433
387
        """
434
388
        # adding a file:
435
 
        # find the block its in.
 
389
        # find the block its in. 
436
390
        # find the location in the block.
437
391
        # check its not there
438
392
        # add it.
451
405
        # in the parent, or according to the special treatment for the root
452
406
        if basename == '.' or basename == '..':
453
407
            raise errors.InvalidEntryName(path)
454
 
        # now that we've normalised, we need the correct utf8 path and
 
408
        # now that we've normalised, we need the correct utf8 path and 
455
409
        # dirname and basename elements. This single encode and split should be
456
410
        # faster than three separate encodes.
457
411
        utf8path = (dirname + '/' + basename).strip('/').encode('utf8')
485
439
            # check the path is not in the tree
486
440
            block = self._dirblocks[block_index][1]
487
441
            entry_index, _ = self._find_entry_index(first_key, block)
488
 
            while (entry_index < len(block) and
 
442
            while (entry_index < len(block) and 
489
443
                block[entry_index][0][0:2] == first_key[0:2]):
490
444
                if block[entry_index][1][0][0] not in 'ar':
491
445
                    # this path is in the dirstate in the current tree.
981
935
 
982
936
    def _discard_merge_parents(self):
983
937
        """Discard any parents trees beyond the first.
984
 
 
 
938
        
985
939
        Note that if this fails the dirstate is corrupted.
986
940
 
987
941
        After this function returns the dirstate contains 2 trees, neither of
1057
1011
                raise AssertionError("bad dirname %r" % dirname)
1058
1012
        block_index, present = self._find_block_index_from_key((dirname, '', ''))
1059
1013
        if not present:
1060
 
            ## In future, when doing partial parsing, this should load and
 
1014
            ## In future, when doing partial parsing, this should load and 
1061
1015
            # populate the entire block.
1062
1016
            self._dirblocks.insert(block_index, (dirname, []))
1063
1017
        return block_index
1075
1029
        if new_entries[0][0][0:2] != ('', ''):
1076
1030
            raise AssertionError(
1077
1031
                "Missing root row %r" % (new_entries[0][0],))
1078
 
        # The two blocks here are deliberate: the root block and the
 
1032
        # The two blocks here are deliberate: the root block and the 
1079
1033
        # contents-of-root block.
1080
1034
        self._dirblocks = [('', []), ('', [])]
1081
1035
        current_block = self._dirblocks[0][1]
1205
1159
        # one to use it. we use _right here because there are two
1206
1160
        # '' blocks - the root, and the contents of root
1207
1161
        # we always have a minimum of 2 in self._dirblocks: root and
1208
 
        # root-contents, and for '', we get 2 back, so this is
 
1162
        # root-contents, and for '', we get 2 back, so this is 
1209
1163
        # simple and correct:
1210
1164
        present = (block_index < len(self._dirblocks) and
1211
1165
            self._dirblocks[block_index][0] == key[0])
1240
1194
        return entry_index, present
1241
1195
 
1242
1196
    @staticmethod
1243
 
    def from_tree(tree, dir_state_filename, sha1_provider=None):
 
1197
    def from_tree(tree, dir_state_filename):
1244
1198
        """Create a dirstate from a bzr Tree.
1245
1199
 
1246
1200
        :param tree: The tree which should provide parent information and
1247
1201
            inventory ids.
1248
 
        :param sha1_provider: an object meeting the SHA1Provider interface.
1249
 
            If None, a DefaultSHA1Provider is used.
1250
1202
        :return: a DirState object which is currently locked for writing.
1251
1203
            (it was locked by DirState.initialize)
1252
1204
        """
1253
 
        result = DirState.initialize(dir_state_filename,
1254
 
            sha1_provider=sha1_provider)
 
1205
        result = DirState.initialize(dir_state_filename)
1255
1206
        try:
1256
1207
            tree.lock_read()
1257
1208
            try:
1278
1229
    def update_by_delta(self, delta):
1279
1230
        """Apply an inventory delta to the dirstate for tree 0
1280
1231
 
1281
 
        This is the workhorse for apply_inventory_delta in dirstate based
1282
 
        trees.
1283
 
 
1284
1232
        :param delta: An inventory delta.  See Inventory.apply_delta for
1285
1233
            details.
1286
1234
        """
1287
1235
        self._read_dirblocks_if_needed()
1288
 
        encode = cache_utf8.encode
1289
1236
        insertions = {}
1290
1237
        removals = {}
1291
 
        # Accumulate parent references (path_utf8, id), to check for parentless
1292
 
        # items or items placed under files/links/tree-references. We get
1293
 
        # references from every item in the delta that is not a deletion and
1294
 
        # is not itself the root.
1295
 
        parents = set()
1296
 
        # Added ids must not be in the dirstate already. This set holds those
1297
 
        # ids.
1298
 
        new_ids = set()
1299
 
        # This loop transforms the delta to single atomic operations that can
1300
 
        # be executed and validated.
1301
 
        for old_path, new_path, file_id, inv_entry in sorted(
1302
 
            inventory._check_delta_unique_old_paths(
1303
 
            inventory._check_delta_unique_new_paths(
1304
 
            inventory._check_delta_ids_match_entry(
1305
 
            inventory._check_delta_ids_are_valid(
1306
 
            inventory._check_delta_new_path_entry_both_or_None(delta))))),
1307
 
            reverse=True):
 
1238
        for old_path, new_path, file_id, inv_entry in sorted(delta, reverse=True):
1308
1239
            if (file_id in insertions) or (file_id in removals):
1309
 
                raise errors.InconsistentDelta(old_path or new_path, file_id,
1310
 
                    "repeated file_id")
 
1240
                raise AssertionError("repeated file id in delta %r" % (file_id,))
1311
1241
            if old_path is not None:
1312
1242
                old_path = old_path.encode('utf-8')
1313
1243
                removals[file_id] = old_path
1314
 
            else:
1315
 
                new_ids.add(file_id)
1316
1244
            if new_path is not None:
1317
 
                if inv_entry is None:
1318
 
                    raise errors.InconsistentDelta(new_path, file_id,
1319
 
                        "new_path with no entry")
1320
1245
                new_path = new_path.encode('utf-8')
1321
 
                dirname_utf8, basename = osutils.split(new_path)
1322
 
                if basename:
1323
 
                    parents.add((dirname_utf8, inv_entry.parent_id))
1324
 
                key = (dirname_utf8, basename, file_id)
 
1246
                dirname, basename = osutils.split(new_path)
 
1247
                key = (dirname, basename, file_id)
1325
1248
                minikind = DirState._kind_to_minikind[inv_entry.kind]
1326
1249
                if minikind == 't':
1327
 
                    fingerprint = inv_entry.reference_revision or ''
 
1250
                    fingerprint = inv_entry.reference_revision
1328
1251
                else:
1329
1252
                    fingerprint = ''
1330
1253
                insertions[file_id] = (key, minikind, inv_entry.executable,
1339
1262
                    minikind = child[1][0][0]
1340
1263
                    fingerprint = child[1][0][4]
1341
1264
                    executable = child[1][0][3]
1342
 
                    old_child_path = osutils.pathjoin(child_dirname,
1343
 
                                                      child_basename)
 
1265
                    old_child_path = osutils.pathjoin(child[0][0],
 
1266
                                                      child[0][1])
1344
1267
                    removals[child[0][2]] = old_child_path
1345
1268
                    child_suffix = child_dirname[len(old_path):]
1346
1269
                    new_child_dirname = (new_path + child_suffix)
1347
1270
                    key = (new_child_dirname, child_basename, child[0][2])
1348
 
                    new_child_path = osutils.pathjoin(new_child_dirname,
1349
 
                                                      child_basename)
 
1271
                    new_child_path = os.path.join(new_child_dirname,
 
1272
                                                  child_basename)
1350
1273
                    insertions[child[0][2]] = (key, minikind, executable,
1351
1274
                                               fingerprint, new_child_path)
1352
 
        self._check_delta_ids_absent(new_ids, delta, 0)
1353
 
        try:
1354
 
            self._apply_removals(removals.iteritems())
1355
 
            self._apply_insertions(insertions.values())
1356
 
            # Validate parents
1357
 
            self._after_delta_check_parents(parents, 0)
1358
 
        except errors.BzrError, e:
1359
 
            self._changes_aborted = True
1360
 
            if 'integrity error' not in str(e):
1361
 
                raise
1362
 
            # _get_entry raises BzrError when a request is inconsistent; we
1363
 
            # want such errors to be shown as InconsistentDelta - and that 
1364
 
            # fits the behaviour we trigger.
1365
 
            raise errors.InconsistentDeltaDelta(delta, "error from _get_entry.")
 
1275
        self._apply_removals(removals.values())
 
1276
        self._apply_insertions(insertions.values())
1366
1277
 
1367
1278
    def _apply_removals(self, removals):
1368
 
        for file_id, path in sorted(removals, reverse=True,
1369
 
            key=operator.itemgetter(1)):
 
1279
        for path in sorted(removals, reverse=True):
1370
1280
            dirname, basename = osutils.split(path)
1371
1281
            block_i, entry_i, d_present, f_present = \
1372
1282
                self._get_block_entry_index(dirname, basename, 0)
1373
 
            try:
1374
 
                entry = self._dirblocks[block_i][1][entry_i]
1375
 
            except IndexError:
1376
 
                self._changes_aborted = True
1377
 
                raise errors.InconsistentDelta(path, file_id,
1378
 
                    "Wrong path for old path.")
1379
 
            if not f_present or entry[1][0][0] in 'ar':
1380
 
                self._changes_aborted = True
1381
 
                raise errors.InconsistentDelta(path, file_id,
1382
 
                    "Wrong path for old path.")
1383
 
            if file_id != entry[0][2]:
1384
 
                self._changes_aborted = True
1385
 
                raise errors.InconsistentDelta(path, file_id,
1386
 
                    "Attempt to remove path has wrong id - found %r."
1387
 
                    % entry[0][2])
 
1283
            entry = self._dirblocks[block_i][1][entry_i]
1388
1284
            self._make_absent(entry)
1389
1285
            # See if we have a malformed delta: deleting a directory must not
1390
1286
            # leave crud behind. This increases the number of bisects needed
1398
1294
                # be due to it being in a parent tree, or a corrupt delta.
1399
1295
                for child_entry in self._dirblocks[block_i][1]:
1400
1296
                    if child_entry[1][0][0] not in ('r', 'a'):
1401
 
                        self._changes_aborted = True
1402
1297
                        raise errors.InconsistentDelta(path, entry[0][2],
1403
1298
                            "The file id was deleted but its children were "
1404
1299
                            "not deleted.")
1405
1300
 
1406
1301
    def _apply_insertions(self, adds):
1407
 
        try:
1408
 
            for key, minikind, executable, fingerprint, path_utf8 in sorted(adds):
1409
 
                self.update_minimal(key, minikind, executable, fingerprint,
1410
 
                                    path_utf8=path_utf8)
1411
 
        except errors.NotVersionedError:
1412
 
            self._changes_aborted = True
1413
 
            raise errors.InconsistentDelta(path_utf8.decode('utf8'), key[2],
1414
 
                "Missing parent")
 
1302
        for key, minikind, executable, fingerprint, path_utf8 in sorted(adds):
 
1303
            self.update_minimal(key, minikind, executable, fingerprint,
 
1304
                                path_utf8=path_utf8)
1415
1305
 
1416
1306
    def update_basis_by_delta(self, delta, new_revid):
1417
1307
        """Update the parents of this tree after a commit.
1461
1351
        # At the same time, to reduce interface friction we convert the input
1462
1352
        # inventory entries to dirstate.
1463
1353
        root_only = ('', '')
1464
 
        # Accumulate parent references (path_utf8, id), to check for parentless
1465
 
        # items or items placed under files/links/tree-references. We get
1466
 
        # references from every item in the delta that is not a deletion and
1467
 
        # is not itself the root.
1468
 
        parents = set()
1469
 
        # Added ids must not be in the dirstate already. This set holds those
1470
 
        # ids.
1471
 
        new_ids = set()
1472
1354
        for old_path, new_path, file_id, inv_entry in delta:
1473
 
            if inv_entry is not None and file_id != inv_entry.file_id:
1474
 
                raise errors.InconsistentDelta(new_path, file_id,
1475
 
                    "mismatched entry file_id %r" % inv_entry)
1476
 
            if new_path is not None:
1477
 
                if inv_entry is None:
1478
 
                    raise errors.InconsistentDelta(new_path, file_id,
1479
 
                        "new_path with no entry")
1480
 
                new_path_utf8 = encode(new_path)
1481
 
                # note the parent for validation
1482
 
                dirname_utf8, basename_utf8 = osutils.split(new_path_utf8)
1483
 
                if basename_utf8:
1484
 
                    parents.add((dirname_utf8, inv_entry.parent_id))
1485
1355
            if old_path is None:
1486
1356
                adds.append((None, encode(new_path), file_id,
1487
1357
                    inv_to_entry(inv_entry), True))
1488
 
                new_ids.add(file_id)
1489
1358
            elif new_path is None:
1490
1359
                deletes.append((encode(old_path), None, file_id, None, True))
1491
1360
            elif (old_path, new_path) != root_only:
1503
1372
                # for 'r' items on every pass.
1504
1373
                self._update_basis_apply_deletes(deletes)
1505
1374
                deletes = []
 
1375
                new_path_utf8 = encode(new_path)
1506
1376
                # Split into an add/delete pair recursively.
1507
1377
                adds.append((None, new_path_utf8, file_id,
1508
1378
                    inv_to_entry(inv_entry), False))
1534
1404
                # of everything.
1535
1405
                changes.append((encode(old_path), encode(new_path), file_id,
1536
1406
                    inv_to_entry(inv_entry)))
1537
 
        self._check_delta_ids_absent(new_ids, delta, 1)
1538
 
        try:
1539
 
            # Finish expunging deletes/first half of renames.
1540
 
            self._update_basis_apply_deletes(deletes)
1541
 
            # Reinstate second half of renames and new paths.
1542
 
            self._update_basis_apply_adds(adds)
1543
 
            # Apply in-situ changes.
1544
 
            self._update_basis_apply_changes(changes)
1545
 
            # Validate parents
1546
 
            self._after_delta_check_parents(parents, 1)
1547
 
        except errors.BzrError, e:
1548
 
            self._changes_aborted = True
1549
 
            if 'integrity error' not in str(e):
1550
 
                raise
1551
 
            # _get_entry raises BzrError when a request is inconsistent; we
1552
 
            # want such errors to be shown as InconsistentDelta - and that 
1553
 
            # fits the behaviour we trigger. Partof this is driven by dirstate
1554
 
            # only supporting deltas that turn the basis into a closer fit to
1555
 
            # the active tree.
1556
 
            raise errors.InconsistentDeltaDelta(delta, "error from _get_entry.")
 
1407
 
 
1408
        # Finish expunging deletes/first half of renames.
 
1409
        self._update_basis_apply_deletes(deletes)
 
1410
        # Reinstate second half of renames and new paths.
 
1411
        self._update_basis_apply_adds(adds)
 
1412
        # Apply in-situ changes.
 
1413
        self._update_basis_apply_changes(changes)
1557
1414
 
1558
1415
        self._dirblock_state = DirState.IN_MEMORY_MODIFIED
1559
1416
        self._header_state = DirState.IN_MEMORY_MODIFIED
1560
1417
        self._id_index = None
1561
1418
        return
1562
1419
 
1563
 
    def _check_delta_ids_absent(self, new_ids, delta, tree_index):
1564
 
        """Check that none of the file_ids in new_ids are present in a tree."""
1565
 
        if not new_ids:
1566
 
            return
1567
 
        id_index = self._get_id_index()
1568
 
        for file_id in new_ids:
1569
 
            for key in id_index.get(file_id, []):
1570
 
                block_i, entry_i, d_present, f_present = \
1571
 
                    self._get_block_entry_index(key[0], key[1], tree_index)
1572
 
                if not f_present:
1573
 
                    # In a different tree
1574
 
                    continue
1575
 
                entry = self._dirblocks[block_i][1][entry_i]
1576
 
                if entry[0][2] != file_id:
1577
 
                    # Different file_id, so not what we want.
1578
 
                    continue
1579
 
                # NB: No changes made before this helper is called, so no need
1580
 
                # to set the _changes_aborted flag.
1581
 
                raise errors.InconsistentDelta(
1582
 
                    ("%s/%s" % key[0:2]).decode('utf8'), file_id,
1583
 
                    "This file_id is new in the delta but already present in "
1584
 
                    "the target")
1585
 
 
1586
1420
    def _update_basis_apply_adds(self, adds):
1587
1421
        """Apply a sequence of adds to tree 1 during update_basis_by_delta.
1588
1422
 
1653
1487
        null = DirState.NULL_PARENT_DETAILS
1654
1488
        for old_path, new_path, file_id, _, real_delete in deletes:
1655
1489
            if real_delete != (new_path is None):
1656
 
                self._changes_aborted = True
1657
1490
                raise AssertionError("bad delete delta")
1658
1491
            # the entry for this file_id must be in tree 1.
1659
1492
            dirname, basename = osutils.split(old_path)
1692
1525
                    # it is being resurrected here, so blank it out temporarily.
1693
1526
                    self._dirblocks[block_index][1][entry_index][1][1] = null
1694
1527
 
1695
 
    def _after_delta_check_parents(self, parents, index):
1696
 
        """Check that parents required by the delta are all intact.
1697
 
        
1698
 
        :param parents: An iterable of (path_utf8, file_id) tuples which are
1699
 
            required to be present in tree 'index' at path_utf8 with id file_id
1700
 
            and be a directory.
1701
 
        :param index: The column in the dirstate to check for parents in.
1702
 
        """
1703
 
        for dirname_utf8, file_id in parents:
1704
 
            # Get the entry - the ensures that file_id, dirname_utf8 exists and
1705
 
            # has the right file id.
1706
 
            entry = self._get_entry(index, file_id, dirname_utf8)
1707
 
            if entry[1] is None:
1708
 
                self._changes_aborted = True
1709
 
                raise errors.InconsistentDelta(dirname_utf8.decode('utf8'),
1710
 
                    file_id, "This parent is not present.")
1711
 
            # Parents of things must be directories
1712
 
            if entry[1][index][0] != 'd':
1713
 
                self._changes_aborted = True
1714
 
                raise errors.InconsistentDelta(dirname_utf8.decode('utf8'),
1715
 
                    file_id, "This parent is not a directory.")
1716
 
 
1717
1528
    def _observed_sha1(self, entry, sha1, stat_value,
1718
1529
        _stat_to_minikind=_stat_to_minikind, _pack_stat=pack_stat):
1719
1530
        """Note the sha1 of a file.
1758
1569
        # when -Dhashcache is turned on, this is monkey-patched in to log
1759
1570
        # file reads
1760
1571
        trace.mutter("dirstate sha1 " + abspath)
1761
 
        return self._sha1_provider.sha1(abspath)
 
1572
        return osutils.sha_file_by_name(abspath)
1762
1573
 
1763
1574
    def _is_executable(self, mode, old_executable):
1764
1575
        """Is this file executable?"""
1777
1588
        #       already in memory. However, this really needs to be done at a
1778
1589
        #       higher level, because there either won't be anything on disk,
1779
1590
        #       or the thing on disk will be a file.
1780
 
        fs_encoding = osutils._fs_enc
1781
 
        if isinstance(abspath, unicode):
1782
 
            # abspath is defined as the path to pass to lstat. readlink is
1783
 
            # buggy in python < 2.6 (it doesn't encode unicode path into FS
1784
 
            # encoding), so we need to encode ourselves knowing that unicode
1785
 
            # paths are produced by UnicodeDirReader on purpose.
1786
 
            abspath = abspath.encode(fs_encoding)
1787
 
        target = os.readlink(abspath)
1788
 
        if fs_encoding not in ('UTF-8', 'US-ASCII', 'ANSI_X3.4-1968'):
1789
 
            # Change encoding if needed
1790
 
            target = target.decode(fs_encoding).encode('UTF-8')
1791
 
        return target
 
1591
        return os.readlink(abspath)
1792
1592
 
1793
1593
    def get_ghosts(self):
1794
1594
        """Return a list of the parent tree revision ids that are ghosts."""
1962
1762
        self._read_dirblocks_if_needed()
1963
1763
        if path_utf8 is not None:
1964
1764
            if type(path_utf8) is not str:
1965
 
                raise errors.BzrError('path_utf8 is not a str: %s %r'
 
1765
                raise AssertionError('path_utf8 is not a str: %s %s'
1966
1766
                    % (type(path_utf8), path_utf8))
1967
1767
            # path lookups are faster
1968
1768
            dirname, basename = osutils.split(path_utf8)
1997
1797
                entry_index, present = self._find_entry_index(key, block)
1998
1798
                if present:
1999
1799
                    entry = self._dirblocks[block_index][1][entry_index]
2000
 
                    # TODO: We might want to assert that entry[0][2] ==
2001
 
                    #       fileid_utf8.
2002
1800
                    if entry[1][tree_index][0] in 'fdlt':
2003
 
                        # this is the result we are looking for: the
 
1801
                        # this is the result we are looking for: the  
2004
1802
                        # real home of this file_id in this tree.
2005
1803
                        return entry
2006
1804
                    if entry[1][tree_index][0] == 'a':
2020
1818
            return None, None
2021
1819
 
2022
1820
    @classmethod
2023
 
    def initialize(cls, path, sha1_provider=None):
 
1821
    def initialize(cls, path):
2024
1822
        """Create a new dirstate on path.
2025
1823
 
2026
1824
        The new dirstate will be an empty tree - that is it has no parents,
2027
1825
        and only a root node - which has id ROOT_ID.
2028
1826
 
2029
1827
        :param path: The name of the file for the dirstate.
2030
 
        :param sha1_provider: an object meeting the SHA1Provider interface.
2031
 
            If None, a DefaultSHA1Provider is used.
2032
1828
        :return: A write-locked DirState object.
2033
1829
        """
2034
1830
        # This constructs a new DirState object on a path, sets the _state_file
2036
1832
        # stock empty dirstate information - a root with ROOT_ID, no children,
2037
1833
        # and no parents. Finally it calls save() to ensure that this data will
2038
1834
        # persist.
2039
 
        if sha1_provider is None:
2040
 
            sha1_provider = DefaultSHA1Provider()
2041
 
        result = cls(path, sha1_provider)
 
1835
        result = cls(path)
2042
1836
        # root dir and root dir contents with no children.
2043
1837
        empty_tree_dirblocks = [('', []), ('', [])]
2044
1838
        # a new root directory, with a NULLSTAT.
2072
1866
            size = 0
2073
1867
            executable = False
2074
1868
        elif kind == 'symlink':
2075
 
            if inv_entry.symlink_target is None:
2076
 
                fingerprint = ''
2077
 
            else:
2078
 
                fingerprint = inv_entry.symlink_target.encode('utf8')
 
1869
            # We don't support non-ascii targets for symlinks yet.
 
1870
            fingerprint = str(inv_entry.symlink_target or '')
2079
1871
            size = 0
2080
1872
            executable = False
2081
1873
        elif kind == 'file':
2093
1885
    def _iter_child_entries(self, tree_index, path_utf8):
2094
1886
        """Iterate over all the entries that are children of path_utf.
2095
1887
 
2096
 
        This only returns entries that are present (not in 'a', 'r') in
 
1888
        This only returns entries that are present (not in 'a', 'r') in 
2097
1889
        tree_index. tree_index data is not refreshed, so if tree 0 is used,
2098
1890
        results may differ from that obtained if paths were statted to
2099
1891
        determine what ones were directories.
2130
1922
                        else:
2131
1923
                            path = entry[0][1]
2132
1924
                        next_pending_dirs.append(path)
2133
 
 
 
1925
    
2134
1926
    def _iter_entries(self):
2135
1927
        """Iterate over all the entries in the dirstate.
2136
1928
 
2177
1969
        return len(self._parents) - len(self._ghosts)
2178
1970
 
2179
1971
    @staticmethod
2180
 
    def on_file(path, sha1_provider=None):
2181
 
        """Construct a DirState on the file at path "path".
 
1972
    def on_file(path):
 
1973
        """Construct a DirState on the file at path path.
2182
1974
 
2183
 
        :param path: The path at which the dirstate file on disk should live.
2184
 
        :param sha1_provider: an object meeting the SHA1Provider interface.
2185
 
            If None, a DefaultSHA1Provider is used.
2186
1975
        :return: An unlocked DirState object, associated with the given path.
2187
1976
        """
2188
 
        if sha1_provider is None:
2189
 
            sha1_provider = DefaultSHA1Provider()
2190
 
        result = DirState(path, sha1_provider)
 
1977
        result = DirState(path)
2191
1978
        return result
2192
1979
 
2193
1980
    def _read_dirblocks_if_needed(self):
2194
1981
        """Read in all the dirblocks from the file if they are not in memory.
2195
 
 
 
1982
        
2196
1983
        This populates self._dirblocks, and sets self._dirblock_state to
2197
1984
        IN_MEMORY_UNMODIFIED. It is not currently ready for incremental block
2198
1985
        loading.
2323
2110
 
2324
2111
        :param parent_ids: A list of parent tree revision ids.
2325
2112
        :param dirblocks: A list containing one tuple for each directory in the
2326
 
            tree. Each tuple contains the directory path and a list of entries
 
2113
            tree. Each tuple contains the directory path and a list of entries 
2327
2114
            found in that directory.
2328
2115
        """
2329
2116
        # our memory copy is now authoritative.
2356
2143
        self.update_minimal(('', '', new_id), 'd',
2357
2144
            path_utf8='', packed_stat=entry[1][0][4])
2358
2145
        self._dirblock_state = DirState.IN_MEMORY_MODIFIED
 
2146
        if self._id_index is not None:
 
2147
            self._id_index.setdefault(new_id, set()).add(entry[0])
2359
2148
 
2360
2149
    def set_parent_trees(self, trees, ghosts):
2361
2150
        """Set the parent trees for the dirstate.
2362
2151
 
2363
2152
        :param trees: A list of revision_id, tree tuples. tree must be provided
2364
 
            even if the revision_id refers to a ghost: supply an empty tree in
 
2153
            even if the revision_id refers to a ghost: supply an empty tree in 
2365
2154
            this case.
2366
2155
        :param ghosts: A list of the revision_ids that are ghosts at the time
2367
2156
            of setting.
2368
 
        """
2369
 
        # TODO: generate a list of parent indexes to preserve to save
 
2157
        """ 
 
2158
        # TODO: generate a list of parent indexes to preserve to save 
2370
2159
        # processing specific parent trees. In the common case one tree will
2371
2160
        # be preserved - the left most parent.
2372
2161
        # TODO: if the parent tree is a dirstate, we might want to walk them
2377
2166
        # map and then walk the new parent trees only, mapping them into the
2378
2167
        # dirstate. Walk the dirstate at the same time to remove unreferenced
2379
2168
        # entries.
2380
 
        # for now:
2381
 
        # sketch: loop over all entries in the dirstate, cherry picking
 
2169
        # for now: 
 
2170
        # sketch: loop over all entries in the dirstate, cherry picking 
2382
2171
        # entries from the parent trees, if they are not ghost trees.
2383
2172
        # after we finish walking the dirstate, all entries not in the dirstate
2384
2173
        # are deletes, so we want to append them to the end as per the design
2389
2178
        #   links. We dont't trivially use the inventory from other trees
2390
2179
        #   because this leads to either double touching, or to accessing
2391
2180
        #   missing keys,
2392
 
        # - find other keys containing a path
2393
 
        # We accumulate each entry via this dictionary, including the root
 
2181
        # - find other keys containing a path 
 
2182
        # We accumulate each entry via this dictionary, including the root 
2394
2183
        by_path = {}
2395
2184
        id_index = {}
2396
2185
        # we could do parallel iterators, but because file id data may be
2400
2189
        # parent, but for now the common cases are adding a new parent (merge),
2401
2190
        # and replacing completely (commit), and commit is more common: so
2402
2191
        # optimise merge later.
2403
 
 
 
2192
        
2404
2193
        # ---- start generation of full tree mapping data
2405
2194
        # what trees should we use?
2406
2195
        parent_trees = [tree for rev_id, tree in trees if rev_id not in ghosts]
2407
 
        # how many trees do we end up with
 
2196
        # how many trees do we end up with 
2408
2197
        parent_count = len(parent_trees)
2409
2198
 
2410
2199
        # one: the current tree
2415
2204
            by_path[entry[0]] = [entry[1][0]] + \
2416
2205
                [DirState.NULL_PARENT_DETAILS] * parent_count
2417
2206
            id_index[entry[0][2]] = set([entry[0]])
2418
 
 
 
2207
        
2419
2208
        # now the parent trees:
2420
2209
        for tree_index, tree in enumerate(parent_trees):
2421
2210
            # the index is off by one, adjust it.
2435
2224
                # avoid checking all known paths for the id when generating a
2436
2225
                # new entry at this path: by adding the id->path mapping last,
2437
2226
                # all the mappings are valid and have correct relocation
2438
 
                # records where needed.
 
2227
                # records where needed. 
2439
2228
                file_id = entry.file_id
2440
2229
                path_utf8 = path.encode('utf8')
2441
2230
                dirname, basename = osutils.split(path_utf8)
2452
2241
                        # This is the vertical axis in the matrix, all pointing
2453
2242
                        # to the real path.
2454
2243
                        by_path[entry_key][tree_index] = ('r', path_utf8, 0, False, '')
2455
 
                # by path consistency: Insert into an existing path record (trivial), or
 
2244
                # by path consistency: Insert into an existing path record (trivial), or 
2456
2245
                # add a new one with relocation pointers for the other tree indexes.
2457
2246
                if new_entry_key in id_index[file_id]:
2458
2247
                    # there is already an entry where this data belongs, just insert it.
2471
2260
                            new_details.append(DirState.NULL_PARENT_DETAILS)
2472
2261
                        else:
2473
2262
                            # grab any one entry, use it to find the right path.
2474
 
                            # TODO: optimise this to reduce memory use in highly
 
2263
                            # TODO: optimise this to reduce memory use in highly 
2475
2264
                            # fragmented situations by reusing the relocation
2476
2265
                            # records.
2477
2266
                            a_key = iter(id_index[file_id]).next()
2510
2299
        return sorted(entry_list, key=_key)
2511
2300
 
2512
2301
    def set_state_from_inventory(self, new_inv):
2513
 
        """Set new_inv as the current state.
 
2302
        """Set new_inv as the current state. 
2514
2303
 
2515
2304
        This API is called by tree transform, and will usually occur with
2516
2305
        existing parent trees.
2520
2309
        if 'evil' in debug.debug_flags:
2521
2310
            trace.mutter_callsite(1,
2522
2311
                "set_state_from_inventory called; please mutate the tree instead")
2523
 
        tracing = 'dirstate' in debug.debug_flags
2524
 
        if tracing:
2525
 
            trace.mutter("set_state_from_inventory trace:")
2526
2312
        self._read_dirblocks_if_needed()
2527
2313
        # sketch:
2528
 
        # Two iterators: current data and new data, both in dirblock order.
 
2314
        # Two iterators: current data and new data, both in dirblock order. 
2529
2315
        # We zip them together, which tells about entries that are new in the
2530
2316
        # inventory, or removed in the inventory, or present in both and
2531
 
        # possibly changed.
 
2317
        # possibly changed.  
2532
2318
        #
2533
2319
        # You might think we could just synthesize a new dirstate directly
2534
2320
        # since we're processing it in the right order.  However, we need to
2537
2323
        new_iterator = new_inv.iter_entries_by_dir()
2538
2324
        # we will be modifying the dirstate, so we need a stable iterator. In
2539
2325
        # future we might write one, for now we just clone the state into a
2540
 
        # list using a copy so that we see every original item and don't have
2541
 
        # to adjust the position when items are inserted or deleted in the
2542
 
        # underlying dirstate.
 
2326
        # list - which is a shallow copy.
2543
2327
        old_iterator = iter(list(self._iter_entries()))
2544
2328
        # both must have roots so this is safe:
2545
2329
        current_new = new_iterator.next()
2579
2363
            # we make both end conditions explicit
2580
2364
            if not current_old:
2581
2365
                # old is finished: insert current_new into the state.
2582
 
                if tracing:
2583
 
                    trace.mutter("Appending from new '%s'.",
2584
 
                        new_path_utf8.decode('utf8'))
2585
2366
                self.update_minimal(new_entry_key, current_new_minikind,
2586
2367
                    executable=current_new[1].executable,
2587
 
                    path_utf8=new_path_utf8, fingerprint=fingerprint,
2588
 
                    fullscan=True)
 
2368
                    path_utf8=new_path_utf8, fingerprint=fingerprint)
2589
2369
                current_new = advance(new_iterator)
2590
2370
            elif not current_new:
2591
2371
                # new is finished
2592
 
                if tracing:
2593
 
                    trace.mutter("Truncating from old '%s/%s'.",
2594
 
                        current_old[0][0].decode('utf8'),
2595
 
                        current_old[0][1].decode('utf8'))
2596
2372
                self._make_absent(current_old)
2597
2373
                current_old = advance(old_iterator)
2598
2374
            elif new_entry_key == current_old[0]:
2605
2381
                # kind has changed.
2606
2382
                if (current_old[1][0][3] != current_new[1].executable or
2607
2383
                    current_old[1][0][0] != current_new_minikind):
2608
 
                    if tracing:
2609
 
                        trace.mutter("Updating in-place change '%s'.",
2610
 
                            new_path_utf8.decode('utf8'))
2611
2384
                    self.update_minimal(current_old[0], current_new_minikind,
2612
2385
                        executable=current_new[1].executable,
2613
 
                        path_utf8=new_path_utf8, fingerprint=fingerprint,
2614
 
                        fullscan=True)
 
2386
                        path_utf8=new_path_utf8, fingerprint=fingerprint)
2615
2387
                # both sides are dealt with, move on
2616
2388
                current_old = advance(old_iterator)
2617
2389
                current_new = advance(new_iterator)
2620
2392
                      and new_entry_key[1:] < current_old[0][1:])):
2621
2393
                # new comes before:
2622
2394
                # add a entry for this and advance new
2623
 
                if tracing:
2624
 
                    trace.mutter("Inserting from new '%s'.",
2625
 
                        new_path_utf8.decode('utf8'))
2626
2395
                self.update_minimal(new_entry_key, current_new_minikind,
2627
2396
                    executable=current_new[1].executable,
2628
 
                    path_utf8=new_path_utf8, fingerprint=fingerprint,
2629
 
                    fullscan=True)
 
2397
                    path_utf8=new_path_utf8, fingerprint=fingerprint)
2630
2398
                current_new = advance(new_iterator)
2631
2399
            else:
2632
2400
                # we've advanced past the place where the old key would be,
2633
2401
                # without seeing it in the new list.  so it must be gone.
2634
 
                if tracing:
2635
 
                    trace.mutter("Deleting from old '%s/%s'.",
2636
 
                        current_old[0][0].decode('utf8'),
2637
 
                        current_old[0][1].decode('utf8'))
2638
2402
                self._make_absent(current_old)
2639
2403
                current_old = advance(old_iterator)
2640
2404
        self._dirblock_state = DirState.IN_MEMORY_MODIFIED
2641
2405
        self._id_index = None
2642
2406
        self._packed_stat_index = None
2643
 
        if tracing:
2644
 
            trace.mutter("set_state_from_inventory complete.")
2645
2407
 
2646
2408
    def _make_absent(self, current_old):
2647
2409
        """Mark current_old - an entry - as absent for tree 0.
2696
2458
        return last_reference
2697
2459
 
2698
2460
    def update_minimal(self, key, minikind, executable=False, fingerprint='',
2699
 
        packed_stat=None, size=0, path_utf8=None, fullscan=False):
 
2461
                       packed_stat=None, size=0, path_utf8=None):
2700
2462
        """Update an entry to the state in tree 0.
2701
2463
 
2702
2464
        This will either create a new entry at 'key' or update an existing one.
2707
2469
        :param minikind: The type for the entry ('f' == 'file', 'd' ==
2708
2470
                'directory'), etc.
2709
2471
        :param executable: Should the executable bit be set?
2710
 
        :param fingerprint: Simple fingerprint for new entry: canonical-form
2711
 
            sha1 for files, referenced revision id for subtrees, etc.
 
2472
        :param fingerprint: Simple fingerprint for new entry: sha1 for files, 
 
2473
            referenced revision id for subtrees, etc.
2712
2474
        :param packed_stat: Packed stat value for new entry.
2713
2475
        :param size: Size information for new entry
2714
2476
        :param path_utf8: key[0] + '/' + key[1], just passed in to avoid doing
2715
2477
                extra computation.
2716
 
        :param fullscan: If True then a complete scan of the dirstate is being
2717
 
            done and checking for duplicate rows should not be done. This
2718
 
            should only be set by set_state_from_inventory and similar methods.
2719
2478
 
2720
2479
        If packed_stat and fingerprint are not given, they're invalidated in
2721
2480
        the entry.
2730
2489
        new_details = (minikind, fingerprint, size, executable, packed_stat)
2731
2490
        id_index = self._get_id_index()
2732
2491
        if not present:
2733
 
            # New record. Check there isn't a entry at this path already.
2734
 
            if not fullscan:
2735
 
                low_index, _ = self._find_entry_index(key[0:2] + ('',), block)
2736
 
                while low_index < len(block):
2737
 
                    entry = block[low_index]
2738
 
                    if entry[0][0:2] == key[0:2]:
2739
 
                        if entry[1][0][0] not in 'ar':
2740
 
                            # This entry has the same path (but a different id) as
2741
 
                            # the new entry we're adding, and is present in ths
2742
 
                            # tree.
2743
 
                            raise errors.InconsistentDelta(
2744
 
                                ("%s/%s" % key[0:2]).decode('utf8'), key[2],
2745
 
                                "Attempt to add item at path already occupied by "
2746
 
                                "id %r" % entry[0][2])
2747
 
                        low_index += 1
2748
 
                    else:
2749
 
                        break
2750
2492
            # new entry, synthesis cross reference here,
2751
2493
            existing_keys = id_index.setdefault(key[2], set())
2752
2494
            if not existing_keys:
2757
2499
                # grab one of them and use it to generate parent
2758
2500
                # relocation/absent entries.
2759
2501
                new_entry = key, [new_details]
2760
 
                # existing_keys can be changed as we iterate.
2761
 
                for other_key in tuple(existing_keys):
 
2502
                for other_key in existing_keys:
2762
2503
                    # change the record at other to be a pointer to this new
2763
2504
                    # record. The loop looks similar to the change to
2764
2505
                    # relocations when updating an existing record but its not:
2765
2506
                    # the test for existing kinds is different: this can be
2766
2507
                    # factored out to a helper though.
2767
 
                    other_block_index, present = self._find_block_index_from_key(
2768
 
                        other_key)
2769
 
                    if not present:
2770
 
                        raise AssertionError('could not find block for %s' % (
2771
 
                            other_key,))
2772
 
                    other_block = self._dirblocks[other_block_index][1]
2773
 
                    other_entry_index, present = self._find_entry_index(
2774
 
                        other_key, other_block)
2775
 
                    if not present:
2776
 
                        raise AssertionError(
2777
 
                            'update_minimal: could not find other entry for %s'
2778
 
                            % (other_key,))
 
2508
                    other_block_index, present = self._find_block_index_from_key(other_key)
 
2509
                    if not present:
 
2510
                        raise AssertionError('could not find block for %s' % (other_key,))
 
2511
                    other_entry_index, present = self._find_entry_index(other_key,
 
2512
                                            self._dirblocks[other_block_index][1])
 
2513
                    if not present:
 
2514
                        raise AssertionError('could not find entry for %s' % (other_key,))
2779
2515
                    if path_utf8 is None:
2780
2516
                        raise AssertionError('no path')
2781
 
                    # Turn this other location into a reference to the new
2782
 
                    # location. This also updates the aliased iterator
2783
 
                    # (current_old in set_state_from_inventory) so that the old
2784
 
                    # entry, if not already examined, is skipped over by that
2785
 
                    # loop.
2786
 
                    other_entry = other_block[other_entry_index]
2787
 
                    other_entry[1][0] = ('r', path_utf8, 0, False, '')
2788
 
                    self._maybe_remove_row(other_block, other_entry_index,
2789
 
                        id_index)
 
2517
                    self._dirblocks[other_block_index][1][other_entry_index][1][0] = \
 
2518
                        ('r', path_utf8, 0, False, '')
2790
2519
 
2791
 
                # This loop:
2792
 
                # adds a tuple to the new details for each column
2793
 
                #  - either by copying an existing relocation pointer inside that column
2794
 
                #  - or by creating a new pointer to the right row inside that column
2795
2520
                num_present_parents = self._num_present_parents()
2796
 
                if num_present_parents:
2797
 
                    other_key = list(existing_keys)[0]
2798
2521
                for lookup_index in xrange(1, num_present_parents + 1):
2799
2522
                    # grab any one entry, use it to find the right path.
2800
 
                    # TODO: optimise this to reduce memory use in highly
 
2523
                    # TODO: optimise this to reduce memory use in highly 
2801
2524
                    # fragmented situations by reusing the relocation
2802
2525
                    # records.
2803
2526
                    update_block_index, present = \
2807
2530
                    update_entry_index, present = \
2808
2531
                        self._find_entry_index(other_key, self._dirblocks[update_block_index][1])
2809
2532
                    if not present:
2810
 
                        raise AssertionError('update_minimal: could not find entry for %s' % (other_key,))
 
2533
                        raise AssertionError('could not find entry for %s' % (other_key,))
2811
2534
                    update_details = self._dirblocks[update_block_index][1][update_entry_index][1][lookup_index]
2812
2535
                    if update_details[0] in 'ar': # relocated, absent
2813
2536
                        # its a pointer or absent in lookup_index's tree, use
2820
2543
            block.insert(entry_index, new_entry)
2821
2544
            existing_keys.add(key)
2822
2545
        else:
2823
 
            # Does the new state matter?
 
2546
            # Does the new state matter? 
2824
2547
            block[entry_index][1][0] = new_details
2825
2548
            # parents cannot be affected by what we do.
2826
 
            # other occurences of this id can be found
 
2549
            # other occurences of this id can be found 
2827
2550
            # from the id index.
2828
2551
            # ---
2829
2552
            # tree index consistency: All other paths for this id in this tree
2859
2582
 
2860
2583
        self._dirblock_state = DirState.IN_MEMORY_MODIFIED
2861
2584
 
2862
 
    def _maybe_remove_row(self, block, index, id_index):
2863
 
        """Remove index if it is absent or relocated across the row.
2864
 
        
2865
 
        id_index is updated accordingly.
2866
 
        """
2867
 
        present_in_row = False
2868
 
        entry = block[index]
2869
 
        for column in entry[1]:
2870
 
            if column[0] not in 'ar':
2871
 
                present_in_row = True
2872
 
                break
2873
 
        if not present_in_row:
2874
 
            block.pop(index)
2875
 
            id_index[entry[0][2]].remove(entry[0])
2876
 
 
2877
2585
    def _validate(self):
2878
2586
        """Check that invariants on the dirblock are correct.
2879
2587
 
2880
 
        This can be useful in debugging; it shouldn't be necessary in
 
2588
        This can be useful in debugging; it shouldn't be necessary in 
2881
2589
        normal code.
2882
2590
 
2883
2591
        This must be called with a lock held.
2952
2660
        # For each file id, for each tree: either
2953
2661
        # the file id is not present at all; all rows with that id in the
2954
2662
        # key have it marked as 'absent'
2955
 
        # OR the file id is present under exactly one name; any other entries
 
2663
        # OR the file id is present under exactly one name; any other entries 
2956
2664
        # that mention that id point to the correct name.
2957
2665
        #
2958
2666
        # We check this with a dict per tree pointing either to the present
3005
2713
                        # absent; should not occur anywhere else
3006
2714
                        this_tree_map[file_id] = None, this_path
3007
2715
                    elif minikind == 'r':
3008
 
                        # relocation, must occur at expected location
 
2716
                        # relocation, must occur at expected location 
3009
2717
                        this_tree_map[file_id] = tree_state[1], this_path
3010
2718
                    else:
3011
2719
                        this_tree_map[file_id] = this_path, this_path
3013
2721
            if absent_positions == tree_count:
3014
2722
                raise AssertionError(
3015
2723
                    "entry %r has no data for any tree." % (entry,))
3016
 
        if self._id_index is not None:
3017
 
            for file_id, entry_keys in self._id_index.iteritems():
3018
 
                for entry_key in entry_keys:
3019
 
                    if entry_key[2] != file_id:
3020
 
                        raise AssertionError(
3021
 
                            'file_id %r did not match entry key %s'
3022
 
                            % (file_id, entry_key))
3023
2724
 
3024
2725
    def _wipe_state(self):
3025
2726
        """Forget all state information about the dirstate."""
3106
2807
    (saved_minikind, saved_link_or_sha1, saved_file_size,
3107
2808
     saved_executable, saved_packed_stat) = entry[1][0]
3108
2809
 
3109
 
    if minikind == 'd' and saved_minikind == 't':
3110
 
        minikind = 't'
3111
2810
    if (minikind == saved_minikind
3112
2811
        and packed_stat == saved_packed_stat):
3113
2812
        # The stat hasn't changed since we saved, so we can re-use the
3131
2830
            and stat_value.st_ctime < state._cutoff_time
3132
2831
            and len(entry[1]) > 1
3133
2832
            and entry[1][1][0] != 'a'):
3134
 
            # Could check for size changes for further optimised
3135
 
            # avoidance of sha1's. However the most prominent case of
3136
 
            # over-shaing is during initial add, which this catches.
3137
 
            # Besides, if content filtering happens, size and sha
3138
 
            # are calculated at the same time, so checking just the size
3139
 
            # gains nothing w.r.t. performance.
 
2833
                # Could check for size changes for further optimised
 
2834
                # avoidance of sha1's. However the most prominent case of
 
2835
                # over-shaing is during initial add, which this catches.
3140
2836
            link_or_sha1 = state._sha1_file(abspath)
3141
2837
            entry[1][0] = ('f', link_or_sha1, stat_value.st_size,
3142
2838
                           executable, packed_stat)
3167
2863
                           False, DirState.NULLSTAT)
3168
2864
    state._dirblock_state = DirState.IN_MEMORY_MODIFIED
3169
2865
    return link_or_sha1
 
2866
update_entry = py_update_entry
3170
2867
 
3171
2868
 
3172
2869
class ProcessEntryPython(object):
3173
2870
 
3174
 
    __slots__ = ["old_dirname_to_file_id", "new_dirname_to_file_id",
 
2871
    __slots__ = ["old_dirname_to_file_id", "new_dirname_to_file_id", "uninteresting",
3175
2872
        "last_source_parent", "last_target_parent", "include_unchanged",
3176
 
        "partial", "use_filesystem_for_exec", "utf8_decode",
3177
 
        "searched_specific_files", "search_specific_files",
3178
 
        "searched_exact_paths", "search_specific_file_parents", "seen_ids",
3179
 
        "state", "source_index", "target_index", "want_unversioned", "tree"]
 
2873
        "use_filesystem_for_exec", "utf8_decode", "searched_specific_files",
 
2874
        "search_specific_files", "state", "source_index", "target_index",
 
2875
        "want_unversioned", "tree"]
3180
2876
 
3181
2877
    def __init__(self, include_unchanged, use_filesystem_for_exec,
3182
2878
        search_specific_files, state, source_index, target_index,
3183
2879
        want_unversioned, tree):
3184
2880
        self.old_dirname_to_file_id = {}
3185
2881
        self.new_dirname_to_file_id = {}
3186
 
        # Are we doing a partial iter_changes?
3187
 
        self.partial = search_specific_files != set([''])
 
2882
        # Just a sentry, so that _process_entry can say that this
 
2883
        # record is handled, but isn't interesting to process (unchanged)
 
2884
        self.uninteresting = object()
3188
2885
        # Using a list so that we can access the values and change them in
3189
2886
        # nested scope. Each one is [path, file_id, entry]
3190
2887
        self.last_source_parent = [None, None]
3193
2890
        self.use_filesystem_for_exec = use_filesystem_for_exec
3194
2891
        self.utf8_decode = cache_utf8._utf8_decode
3195
2892
        # for all search_indexs in each path at or under each element of
3196
 
        # search_specific_files, if the detail is relocated: add the id, and
3197
 
        # add the relocated path as one to search if its not searched already.
3198
 
        # If the detail is not relocated, add the id.
 
2893
        # search_specific_files, if the detail is relocated: add the id, and add the
 
2894
        # relocated path as one to search if its not searched already. If the
 
2895
        # detail is not relocated, add the id.
3199
2896
        self.searched_specific_files = set()
3200
 
        # When we search exact paths without expanding downwards, we record
3201
 
        # that here.
3202
 
        self.searched_exact_paths = set()
3203
2897
        self.search_specific_files = search_specific_files
3204
 
        # The parents up to the root of the paths we are searching.
3205
 
        # After all normal paths are returned, these specific items are returned.
3206
 
        self.search_specific_file_parents = set()
3207
 
        # The ids we've sent out in the delta.
3208
 
        self.seen_ids = set()
3209
2898
        self.state = state
3210
2899
        self.source_index = source_index
3211
2900
        self.target_index = target_index
3212
 
        if target_index != 0:
3213
 
            # A lot of code in here depends on target_index == 0
3214
 
            raise errors.BzrError('unsupported target index')
3215
2901
        self.want_unversioned = want_unversioned
3216
2902
        self.tree = tree
3217
2903
 
3219
2905
        """Compare an entry and real disk to generate delta information.
3220
2906
 
3221
2907
        :param path_info: top_relpath, basename, kind, lstat, abspath for
3222
 
            the path of entry. If None, then the path is considered absent in 
3223
 
            the target (Perhaps we should pass in a concrete entry for this ?)
 
2908
            the path of entry. If None, then the path is considered absent.
 
2909
            (Perhaps we should pass in a concrete entry for this ?)
3224
2910
            Basename is returned as a utf8 string because we expect this
3225
2911
            tuple will be ignored, and don't want to take the time to
3226
2912
            decode.
3227
 
        :return: (iter_changes_result, changed). If the entry has not been
3228
 
            handled then changed is None. Otherwise it is False if no content
3229
 
            or metadata changes have occurred, and True if any content or
3230
 
            metadata change has occurred. If self.include_unchanged is True then
3231
 
            if changed is not None, iter_changes_result will always be a result
3232
 
            tuple. Otherwise, iter_changes_result is None unless changed is
3233
 
            True.
 
2913
        :return: None if these don't match
 
2914
                 A tuple of information about the change, or
 
2915
                 the object 'uninteresting' if these match, but are
 
2916
                 basically identical.
3234
2917
        """
3235
2918
        if self.source_index is None:
3236
2919
            source_details = DirState.NULL_PARENT_DETAILS
3304
2987
                    if source_minikind != 'f':
3305
2988
                        content_change = True
3306
2989
                    else:
3307
 
                        # Check the sha. We can't just rely on the size as
3308
 
                        # content filtering may mean differ sizes actually
3309
 
                        # map to the same content
3310
 
                        if link_or_sha1 is None:
3311
 
                            # Stat cache miss:
3312
 
                            statvalue, link_or_sha1 = \
3313
 
                                self.state._sha1_provider.stat_and_sha1(
3314
 
                                path_info[4])
3315
 
                            self.state._observed_sha1(entry, link_or_sha1,
3316
 
                                statvalue)
3317
 
                        content_change = (link_or_sha1 != source_details[1])
 
2990
                        # If the size is the same, check the sha:
 
2991
                        if target_details[2] == source_details[2]:
 
2992
                            if link_or_sha1 is None:
 
2993
                                # Stat cache miss:
 
2994
                                file_obj = file(path_info[4], 'rb')
 
2995
                                try:
 
2996
                                    statvalue = os.fstat(file_obj.fileno())
 
2997
                                    link_or_sha1 = osutils.sha_file(file_obj)
 
2998
                                finally:
 
2999
                                    file_obj.close()
 
3000
                                self.state._observed_sha1(entry, link_or_sha1,
 
3001
                                    statvalue)
 
3002
                            content_change = (link_or_sha1 != source_details[1])
 
3003
                        else:
 
3004
                            # Size changed, so must be different
 
3005
                            content_change = True
3318
3006
                    # Target details is updated at update_entry time
3319
3007
                    if self.use_filesystem_for_exec:
3320
3008
                        # We don't need S_ISREG here, because we are sure
3335
3023
                        content_change = False
3336
3024
                    target_exec = False
3337
3025
                else:
3338
 
                    if path is None:
3339
 
                        path = pathjoin(old_dirname, old_basename)
3340
 
                    raise errors.BadFileKindError(path, path_info[2])
 
3026
                    raise Exception, "unknown kind %s" % path_info[2]
3341
3027
            if source_minikind == 'd':
3342
3028
                if path is None:
3343
3029
                    old_path = path = pathjoin(old_dirname, old_basename)
3344
3030
                self.old_dirname_to_file_id[old_path] = file_id
3345
3031
            # parent id is the entry for the path in the target tree
3346
 
            if old_basename and old_dirname == self.last_source_parent[0]:
 
3032
            if old_dirname == self.last_source_parent[0]:
3347
3033
                source_parent_id = self.last_source_parent[1]
3348
3034
            else:
3349
3035
                try:
3359
3045
                    self.last_source_parent[0] = old_dirname
3360
3046
                    self.last_source_parent[1] = source_parent_id
3361
3047
            new_dirname = entry[0][0]
3362
 
            if entry[0][1] and new_dirname == self.last_target_parent[0]:
 
3048
            if new_dirname == self.last_target_parent[0]:
3363
3049
                target_parent_id = self.last_target_parent[1]
3364
3050
            else:
3365
3051
                try:
3382
3068
                    self.last_target_parent[1] = target_parent_id
3383
3069
 
3384
3070
            source_exec = source_details[3]
3385
 
            changed = (content_change
 
3071
            if (self.include_unchanged
 
3072
                or content_change
3386
3073
                or source_parent_id != target_parent_id
3387
3074
                or old_basename != entry[0][1]
3388
3075
                or source_exec != target_exec
3389
 
                )
3390
 
            if not changed and not self.include_unchanged:
3391
 
                return None, False
3392
 
            else:
 
3076
                ):
3393
3077
                if old_path is None:
3394
3078
                    old_path = path = pathjoin(old_dirname, old_basename)
3395
3079
                    old_path_u = self.utf8_decode(old_path)[0]
3408
3092
                       (source_parent_id, target_parent_id),
3409
3093
                       (self.utf8_decode(old_basename)[0], self.utf8_decode(entry[0][1])[0]),
3410
3094
                       (source_kind, target_kind),
3411
 
                       (source_exec, target_exec)), changed
 
3095
                       (source_exec, target_exec))
 
3096
            else:
 
3097
                return self.uninteresting
3412
3098
        elif source_minikind in 'a' and target_minikind in 'fdlt':
3413
3099
            # looks like a new file
3414
3100
            path = pathjoin(entry[0][0], entry[0][1])
3435
3121
                       (None, parent_id),
3436
3122
                       (None, self.utf8_decode(entry[0][1])[0]),
3437
3123
                       (None, path_info[2]),
3438
 
                       (None, target_exec)), True
 
3124
                       (None, target_exec))
3439
3125
            else:
3440
3126
                # Its a missing file, report it as such.
3441
3127
                return (entry[0][2],
3445
3131
                       (None, parent_id),
3446
3132
                       (None, self.utf8_decode(entry[0][1])[0]),
3447
3133
                       (None, None),
3448
 
                       (None, False)), True
 
3134
                       (None, False))
3449
3135
        elif source_minikind in 'fdlt' and target_minikind in 'a':
3450
3136
            # unversioned, possibly, or possibly not deleted: we dont care.
3451
3137
            # if its still on disk, *and* theres no other entry at this
3463
3149
                   (parent_id, None),
3464
3150
                   (self.utf8_decode(entry[0][1])[0], None),
3465
3151
                   (DirState._minikind_to_kind[source_minikind], None),
3466
 
                   (source_details[3], None)), True
 
3152
                   (source_details[3], None))
3467
3153
        elif source_minikind in 'fdlt' and target_minikind in 'r':
3468
3154
            # a rename; could be a true rename, or a rename inherited from
3469
3155
            # a renamed parent. TODO: handle this efficiently. Its not
3481
3167
                "source_minikind=%r, target_minikind=%r"
3482
3168
                % (source_minikind, target_minikind))
3483
3169
            ## import pdb;pdb.set_trace()
3484
 
        return None, None
 
3170
        return None
3485
3171
 
3486
3172
    def __iter__(self):
3487
3173
        return self
3488
3174
 
3489
 
    def _gather_result_for_consistency(self, result):
3490
 
        """Check a result we will yield to make sure we are consistent later.
3491
 
        
3492
 
        This gathers result's parents into a set to output later.
3493
 
 
3494
 
        :param result: A result tuple.
3495
 
        """
3496
 
        if not self.partial or not result[0]:
3497
 
            return
3498
 
        self.seen_ids.add(result[0])
3499
 
        new_path = result[1][1]
3500
 
        if new_path:
3501
 
            # Not the root and not a delete: queue up the parents of the path.
3502
 
            self.search_specific_file_parents.update(
3503
 
                osutils.parent_directories(new_path.encode('utf8')))
3504
 
            # Add the root directory which parent_directories does not
3505
 
            # provide.
3506
 
            self.search_specific_file_parents.add('')
3507
 
 
3508
3175
    def iter_changes(self):
3509
3176
        """Iterate over the changes."""
3510
3177
        utf8_decode = cache_utf8._utf8_decode
3511
3178
        _cmp_by_dirs = cmp_by_dirs
3512
3179
        _process_entry = self._process_entry
 
3180
        uninteresting = self.uninteresting
3513
3181
        search_specific_files = self.search_specific_files
3514
3182
        searched_specific_files = self.searched_specific_files
3515
3183
        splitpath = osutils.splitpath
3516
 
        # sketch:
 
3184
        # sketch: 
3517
3185
        # compare source_index and target_index at or under each element of search_specific_files.
3518
3186
        # follow the following comparison table. Note that we only want to do diff operations when
3519
 
        # the target is fdl because thats when the walkdirs logic will have exposed the pathinfo
 
3187
        # the target is fdl because thats when the walkdirs logic will have exposed the pathinfo 
3520
3188
        # for the target.
3521
3189
        # cases:
3522
 
        #
 
3190
        # 
3523
3191
        # Source | Target | disk | action
3524
3192
        #   r    | fdlt   |      | add source to search, add id path move and perform
3525
3193
        #        |        |      | diff check on source-target
3526
 
        #   r    | fdlt   |  a   | dangling file that was present in the basis.
 
3194
        #   r    | fdlt   |  a   | dangling file that was present in the basis. 
3527
3195
        #        |        |      | ???
3528
3196
        #   r    |  a     |      | add source to search
3529
 
        #   r    |  a     |  a   |
 
3197
        #   r    |  a     |  a   | 
3530
3198
        #   r    |  r     |      | this path is present in a non-examined tree, skip.
3531
3199
        #   r    |  r     |  a   | this path is present in a non-examined tree, skip.
3532
3200
        #   a    | fdlt   |      | add new id
3585
3253
                continue
3586
3254
            path_handled = False
3587
3255
            for entry in root_entries:
3588
 
                result, changed = _process_entry(entry, root_dir_info)
3589
 
                if changed is not None:
 
3256
                result = _process_entry(entry, root_dir_info)
 
3257
                if result is not None:
3590
3258
                    path_handled = True
3591
 
                    if changed:
3592
 
                        self._gather_result_for_consistency(result)
3593
 
                    if changed or self.include_unchanged:
 
3259
                    if result is not uninteresting:
3594
3260
                        yield result
3595
3261
            if self.want_unversioned and not path_handled and root_dir_info:
3596
3262
                new_executable = bool(
3642
3308
                            raise AssertionError()
3643
3309
                        del current_dir_info[1][bzr_index]
3644
3310
            # walk until both the directory listing and the versioned metadata
3645
 
            # are exhausted.
 
3311
            # are exhausted. 
3646
3312
            if (block_index < len(self.state._dirblocks) and
3647
3313
                osutils.is_inside(current_root, self.state._dirblocks[block_index][0])):
3648
3314
                current_block = self.state._dirblocks[block_index]
3706
3372
                        for current_entry in current_block[1]:
3707
3373
                            # entry referring to file not present on disk.
3708
3374
                            # advance the entry only, after processing.
3709
 
                            result, changed = _process_entry(current_entry, None)
3710
 
                            if changed is not None:
3711
 
                                if changed:
3712
 
                                    self._gather_result_for_consistency(result)
3713
 
                                if changed or self.include_unchanged:
 
3375
                            result = _process_entry(current_entry, None)
 
3376
                            if result is not None:
 
3377
                                if result is not uninteresting:
3714
3378
                                    yield result
3715
3379
                        block_index +=1
3716
3380
                        if (block_index < len(self.state._dirblocks) and
3741
3405
                while (current_entry is not None or
3742
3406
                    current_path_info is not None):
3743
3407
                    if current_entry is None:
3744
 
                        # the check for path_handled when the path is advanced
 
3408
                        # the check for path_handled when the path is adnvaced
3745
3409
                        # will yield this path if needed.
3746
3410
                        pass
3747
3411
                    elif current_path_info is None:
3748
3412
                        # no path is fine: the per entry code will handle it.
3749
 
                        result, changed = _process_entry(current_entry, current_path_info)
3750
 
                        if changed is not None:
3751
 
                            if changed:
3752
 
                                self._gather_result_for_consistency(result)
3753
 
                            if changed or self.include_unchanged:
 
3413
                        result = _process_entry(current_entry, current_path_info)
 
3414
                        if result is not None:
 
3415
                            if result is not uninteresting:
3754
3416
                                yield result
3755
3417
                    elif (current_entry[0][1] != current_path_info[1]
3756
3418
                          or current_entry[1][self.target_index][0] in 'ar'):
3769
3431
                        else:
3770
3432
                            # entry referring to file not present on disk.
3771
3433
                            # advance the entry only, after processing.
3772
 
                            result, changed = _process_entry(current_entry, None)
3773
 
                            if changed is not None:
3774
 
                                if changed:
3775
 
                                    self._gather_result_for_consistency(result)
3776
 
                                if changed or self.include_unchanged:
 
3434
                            result = _process_entry(current_entry, None)
 
3435
                            if result is not None:
 
3436
                                if result is not uninteresting:
3777
3437
                                    yield result
3778
3438
                            advance_path = False
3779
3439
                    else:
3780
 
                        result, changed = _process_entry(current_entry, current_path_info)
3781
 
                        if changed is not None:
 
3440
                        result = _process_entry(current_entry, current_path_info)
 
3441
                        if result is not None:
3782
3442
                            path_handled = True
3783
 
                            if changed:
3784
 
                                self._gather_result_for_consistency(result)
3785
 
                            if changed or self.include_unchanged:
 
3443
                            if result is not uninteresting:
3786
3444
                                yield result
3787
3445
                    if advance_entry and current_entry is not None:
3788
3446
                        entry_index += 1
3817
3475
                            if current_path_info[2] in ('directory'):
3818
3476
                                del current_dir_info[1][path_index]
3819
3477
                                path_index -= 1
3820
 
                        # dont descend the disk iterator into any tree
 
3478
                        # dont descend the disk iterator into any tree 
3821
3479
                        # paths.
3822
3480
                        if current_path_info[2] == 'tree-reference':
3823
3481
                            del current_dir_info[1][path_index]
3847
3505
                        current_dir_info = dir_iterator.next()
3848
3506
                    except StopIteration:
3849
3507
                        current_dir_info = None
3850
 
        for result in self._iter_specific_file_parents():
3851
 
            yield result
3852
 
 
3853
 
    def _iter_specific_file_parents(self):
3854
 
        """Iter over the specific file parents."""
3855
 
        while self.search_specific_file_parents:
3856
 
            # Process the parent directories for the paths we were iterating.
3857
 
            # Even in extremely large trees this should be modest, so currently
3858
 
            # no attempt is made to optimise.
3859
 
            path_utf8 = self.search_specific_file_parents.pop()
3860
 
            if osutils.is_inside_any(self.searched_specific_files, path_utf8):
3861
 
                # We've examined this path.
3862
 
                continue
3863
 
            if path_utf8 in self.searched_exact_paths:
3864
 
                # We've examined this path.
3865
 
                continue
3866
 
            path_entries = self.state._entries_for_path(path_utf8)
3867
 
            # We need either one or two entries. If the path in
3868
 
            # self.target_index has moved (so the entry in source_index is in
3869
 
            # 'ar') then we need to also look for the entry for this path in
3870
 
            # self.source_index, to output the appropriate delete-or-rename.
3871
 
            selected_entries = []
3872
 
            found_item = False
3873
 
            for candidate_entry in path_entries:
3874
 
                # Find entries present in target at this path:
3875
 
                if candidate_entry[1][self.target_index][0] not in 'ar':
3876
 
                    found_item = True
3877
 
                    selected_entries.append(candidate_entry)
3878
 
                # Find entries present in source at this path:
3879
 
                elif (self.source_index is not None and
3880
 
                    candidate_entry[1][self.source_index][0] not in 'ar'):
3881
 
                    found_item = True
3882
 
                    if candidate_entry[1][self.target_index][0] == 'a':
3883
 
                        # Deleted, emit it here.
3884
 
                        selected_entries.append(candidate_entry)
3885
 
                    else:
3886
 
                        # renamed, emit it when we process the directory it
3887
 
                        # ended up at.
3888
 
                        self.search_specific_file_parents.add(
3889
 
                            candidate_entry[1][self.target_index][1])
3890
 
            if not found_item:
3891
 
                raise AssertionError(
3892
 
                    "Missing entry for specific path parent %r, %r" % (
3893
 
                    path_utf8, path_entries))
3894
 
            path_info = self._path_info(path_utf8, path_utf8.decode('utf8'))
3895
 
            for entry in selected_entries:
3896
 
                if entry[0][2] in self.seen_ids:
3897
 
                    continue
3898
 
                result, changed = self._process_entry(entry, path_info)
3899
 
                if changed is None:
3900
 
                    raise AssertionError(
3901
 
                        "Got entry<->path mismatch for specific path "
3902
 
                        "%r entry %r path_info %r " % (
3903
 
                        path_utf8, entry, path_info))
3904
 
                # Only include changes - we're outside the users requested
3905
 
                # expansion.
3906
 
                if changed:
3907
 
                    self._gather_result_for_consistency(result)
3908
 
                    if (result[6][0] == 'directory' and
3909
 
                        result[6][1] != 'directory'):
3910
 
                        # This stopped being a directory, the old children have
3911
 
                        # to be included.
3912
 
                        if entry[1][self.source_index][0] == 'r':
3913
 
                            # renamed, take the source path
3914
 
                            entry_path_utf8 = entry[1][self.source_index][1]
3915
 
                        else:
3916
 
                            entry_path_utf8 = path_utf8
3917
 
                        initial_key = (entry_path_utf8, '', '')
3918
 
                        block_index, _ = self.state._find_block_index_from_key(
3919
 
                            initial_key)
3920
 
                        if block_index == 0:
3921
 
                            # The children of the root are in block index 1.
3922
 
                            block_index +=1
3923
 
                        current_block = None
3924
 
                        if block_index < len(self.state._dirblocks):
3925
 
                            current_block = self.state._dirblocks[block_index]
3926
 
                            if not osutils.is_inside(
3927
 
                                entry_path_utf8, current_block[0]):
3928
 
                                # No entries for this directory at all.
3929
 
                                current_block = None
3930
 
                        if current_block is not None:
3931
 
                            for entry in current_block[1]:
3932
 
                                if entry[1][self.source_index][0] in 'ar':
3933
 
                                    # Not in the source tree, so doesn't have to be
3934
 
                                    # included.
3935
 
                                    continue
3936
 
                                # Path of the entry itself.
3937
 
 
3938
 
                                self.search_specific_file_parents.add(
3939
 
                                    osutils.pathjoin(*entry[0][:2]))
3940
 
                if changed or self.include_unchanged:
3941
 
                    yield result
3942
 
            self.searched_exact_paths.add(path_utf8)
3943
 
 
3944
 
    def _path_info(self, utf8_path, unicode_path):
3945
 
        """Generate path_info for unicode_path.
3946
 
 
3947
 
        :return: None if unicode_path does not exist, or a path_info tuple.
3948
 
        """
3949
 
        abspath = self.tree.abspath(unicode_path)
3950
 
        try:
3951
 
            stat = os.lstat(abspath)
3952
 
        except OSError, e:
3953
 
            if e.errno == errno.ENOENT:
3954
 
                # the path does not exist.
3955
 
                return None
3956
 
            else:
3957
 
                raise
3958
 
        utf8_basename = utf8_path.rsplit('/', 1)[-1]
3959
 
        dir_info = (utf8_path, utf8_basename,
3960
 
            osutils.file_kind_from_stat_mode(stat.st_mode), stat,
3961
 
            abspath)
3962
 
        if dir_info[2] == 'directory':
3963
 
            if self.tree._directory_is_tree_reference(
3964
 
                unicode_path):
3965
 
                self.root_dir_info = self.root_dir_info[:2] + \
3966
 
                    ('tree-reference',) + self.root_dir_info[3:]
3967
 
        return dir_info
 
3508
_process_entry = ProcessEntryPython
3968
3509
 
3969
3510
 
3970
3511
# Try to load the compiled form if possible
3971
3512
try:
3972
 
    from bzrlib._dirstate_helpers_pyx import (
3973
 
        _read_dirblocks,
3974
 
        bisect_dirblock,
3975
 
        _bisect_path_left,
3976
 
        _bisect_path_right,
3977
 
        cmp_by_dirs,
 
3513
    from bzrlib._dirstate_helpers_c import (
 
3514
        _read_dirblocks_c as _read_dirblocks,
 
3515
        bisect_dirblock_c as bisect_dirblock,
 
3516
        _bisect_path_left_c as _bisect_path_left,
 
3517
        _bisect_path_right_c as _bisect_path_right,
 
3518
        cmp_by_dirs_c as cmp_by_dirs,
3978
3519
        ProcessEntryC as _process_entry,
3979
3520
        update_entry as update_entry,
3980
3521
        )
3981
 
except ImportError, e:
3982
 
    osutils.failed_to_load_extension(e)
 
3522
except ImportError:
3983
3523
    from bzrlib._dirstate_helpers_py import (
3984
 
        _read_dirblocks,
3985
 
        bisect_dirblock,
3986
 
        _bisect_path_left,
3987
 
        _bisect_path_right,
3988
 
        cmp_by_dirs,
 
3524
        _read_dirblocks_py as _read_dirblocks,
 
3525
        bisect_dirblock_py as bisect_dirblock,
 
3526
        _bisect_path_left_py as _bisect_path_left,
 
3527
        _bisect_path_right_py as _bisect_path_right,
 
3528
        cmp_by_dirs_py as cmp_by_dirs,
3989
3529
        )
3990
 
    # FIXME: It would be nice to be able to track moved lines so that the
3991
 
    # corresponding python code can be moved to the _dirstate_helpers_py
3992
 
    # module. I don't want to break the history for this important piece of
3993
 
    # code so I left the code here -- vila 20090622
3994
 
    update_entry = py_update_entry
3995
 
    _process_entry = ProcessEntryPython