~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/dirstate.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2011-05-18 13:02:52 UTC
  • mfrom: (5830.3.6 i18n-msgfmt)
  • Revision ID: pqm@pqm.ubuntu.com-20110518130252-ky96qcvzt6o0zg3f
(mbp) add build_mo command to setup.py (INADA Naoki)

Show diffs side-by-side

added added

removed removed

Lines of Context:
20
20
lines by NL. The field delimiters are ommitted in the grammar, line delimiters
21
21
are not - this is done for clarity of reading. All string data is in utf8.
22
22
 
23
 
::
24
 
 
25
 
    MINIKIND = "f" | "d" | "l" | "a" | "r" | "t";
26
 
    NL = "\\n";
27
 
    NULL = "\\0";
28
 
    WHOLE_NUMBER = {digit}, digit;
29
 
    BOOLEAN = "y" | "n";
30
 
    REVISION_ID = a non-empty utf8 string;
31
 
    
32
 
    dirstate format = header line, full checksum, row count, parent details,
33
 
     ghost_details, entries;
34
 
    header line = "#bazaar dirstate flat format 3", NL;
35
 
    full checksum = "crc32: ", ["-"], WHOLE_NUMBER, NL;
36
 
    row count = "num_entries: ", WHOLE_NUMBER, NL;
37
 
    parent_details = WHOLE NUMBER, {REVISION_ID}* NL;
38
 
    ghost_details = WHOLE NUMBER, {REVISION_ID}*, NL;
39
 
    entries = {entry};
40
 
    entry = entry_key, current_entry_details, {parent_entry_details};
41
 
    entry_key = dirname,  basename, fileid;
42
 
    current_entry_details = common_entry_details, working_entry_details;
43
 
    parent_entry_details = common_entry_details, history_entry_details;
44
 
    common_entry_details = MINIKIND, fingerprint, size, executable
45
 
    working_entry_details = packed_stat
46
 
    history_entry_details = REVISION_ID;
47
 
    executable = BOOLEAN;
48
 
    size = WHOLE_NUMBER;
49
 
    fingerprint = a nonempty utf8 sequence with meaning defined by minikind.
50
 
 
51
 
Given this definition, the following is useful to know::
52
 
 
53
 
    entry (aka row) - all the data for a given key.
54
 
    entry[0]: The key (dirname, basename, fileid)
55
 
    entry[0][0]: dirname
56
 
    entry[0][1]: basename
57
 
    entry[0][2]: fileid
58
 
    entry[1]: The tree(s) data for this path and id combination.
59
 
    entry[1][0]: The current tree
60
 
    entry[1][1]: The second tree
61
 
 
62
 
For an entry for a tree, we have (using tree 0 - current tree) to demonstrate::
63
 
 
64
 
    entry[1][0][0]: minikind
65
 
    entry[1][0][1]: fingerprint
66
 
    entry[1][0][2]: size
67
 
    entry[1][0][3]: executable
68
 
    entry[1][0][4]: packed_stat
69
 
 
70
 
OR (for non tree-0)::
71
 
 
72
 
    entry[1][1][4]: revision_id
 
23
MINIKIND = "f" | "d" | "l" | "a" | "r" | "t";
 
24
NL = "\n";
 
25
NULL = "\0";
 
26
WHOLE_NUMBER = {digit}, digit;
 
27
BOOLEAN = "y" | "n";
 
28
REVISION_ID = a non-empty utf8 string;
 
29
 
 
30
dirstate format = header line, full checksum, row count, parent details,
 
31
 ghost_details, entries;
 
32
header line = "#bazaar dirstate flat format 3", NL;
 
33
full checksum = "crc32: ", ["-"], WHOLE_NUMBER, NL;
 
34
row count = "num_entries: ", WHOLE_NUMBER, NL;
 
35
parent_details = WHOLE NUMBER, {REVISION_ID}* NL;
 
36
ghost_details = WHOLE NUMBER, {REVISION_ID}*, NL;
 
37
entries = {entry};
 
38
entry = entry_key, current_entry_details, {parent_entry_details};
 
39
entry_key = dirname,  basename, fileid;
 
40
current_entry_details = common_entry_details, working_entry_details;
 
41
parent_entry_details = common_entry_details, history_entry_details;
 
42
common_entry_details = MINIKIND, fingerprint, size, executable
 
43
working_entry_details = packed_stat
 
44
history_entry_details = REVISION_ID;
 
45
executable = BOOLEAN;
 
46
size = WHOLE_NUMBER;
 
47
fingerprint = a nonempty utf8 sequence with meaning defined by minikind.
 
48
 
 
49
Given this definition, the following is useful to know:
 
50
entry (aka row) - all the data for a given key.
 
51
entry[0]: The key (dirname, basename, fileid)
 
52
entry[0][0]: dirname
 
53
entry[0][1]: basename
 
54
entry[0][2]: fileid
 
55
entry[1]: The tree(s) data for this path and id combination.
 
56
entry[1][0]: The current tree
 
57
entry[1][1]: The second tree
 
58
 
 
59
For an entry for a tree, we have (using tree 0 - current tree) to demonstrate:
 
60
entry[1][0][0]: minikind
 
61
entry[1][0][1]: fingerprint
 
62
entry[1][0][2]: size
 
63
entry[1][0][3]: executable
 
64
entry[1][0][4]: packed_stat
 
65
OR (for non tree-0)
 
66
entry[1][1][4]: revision_id
73
67
 
74
68
There may be multiple rows at the root, one per id present in the root, so the
75
 
in memory root row is now::
76
 
 
77
 
    self._dirblocks[0] -> ('', [entry ...]),
78
 
 
79
 
and the entries in there are::
80
 
 
81
 
    entries[0][0]: ''
82
 
    entries[0][1]: ''
83
 
    entries[0][2]: file_id
84
 
    entries[1][0]: The tree data for the current tree for this fileid at /
85
 
    etc.
86
 
 
87
 
Kinds::
88
 
 
89
 
    'r' is a relocated entry: This path is not present in this tree with this
90
 
        id, but the id can be found at another location. The fingerprint is
91
 
        used to point to the target location.
92
 
    'a' is an absent entry: In that tree the id is not present at this path.
93
 
    'd' is a directory entry: This path in this tree is a directory with the
94
 
        current file id. There is no fingerprint for directories.
95
 
    'f' is a file entry: As for directory, but it's a file. The fingerprint is
96
 
        the sha1 value of the file's canonical form, i.e. after any read
97
 
        filters have been applied to the convenience form stored in the working
98
 
        tree.
99
 
    'l' is a symlink entry: As for directory, but a symlink. The fingerprint is
100
 
        the link target.
101
 
    't' is a reference to a nested subtree; the fingerprint is the referenced
102
 
        revision.
 
69
in memory root row is now:
 
70
self._dirblocks[0] -> ('', [entry ...]),
 
71
and the entries in there are
 
72
entries[0][0]: ''
 
73
entries[0][1]: ''
 
74
entries[0][2]: file_id
 
75
entries[1][0]: The tree data for the current tree for this fileid at /
 
76
etc.
 
77
 
 
78
Kinds:
 
79
'r' is a relocated entry: This path is not present in this tree with this id,
 
80
    but the id can be found at another location. The fingerprint is used to
 
81
    point to the target location.
 
82
'a' is an absent entry: In that tree the id is not present at this path.
 
83
'd' is a directory entry: This path in this tree is a directory with the
 
84
    current file id. There is no fingerprint for directories.
 
85
'f' is a file entry: As for directory, but it's a file. The fingerprint is the
 
86
    sha1 value of the file's canonical form, i.e. after any read filters have
 
87
    been applied to the convenience form stored in the working tree.
 
88
'l' is a symlink entry: As for directory, but a symlink. The fingerprint is the
 
89
    link target.
 
90
't' is a reference to a nested subtree; the fingerprint is the referenced
 
91
    revision.
103
92
 
104
93
Ordering:
105
94
 
106
 
The entries on disk and in memory are ordered according to the following keys::
 
95
The entries on disk and in memory are ordered according to the following keys:
107
96
 
108
97
    directory, as a list of components
109
98
    filename
110
99
    file-id
111
100
 
112
101
--- Format 1 had the following different definition: ---
113
 
 
114
 
::
115
 
 
116
 
    rows = dirname, NULL, basename, NULL, MINIKIND, NULL, fileid_utf8, NULL,
117
 
        WHOLE NUMBER (* size *), NULL, packed stat, NULL, sha1|symlink target,
118
 
        {PARENT ROW}
119
 
    PARENT ROW = NULL, revision_utf8, NULL, MINIKIND, NULL, dirname, NULL,
120
 
        basename, NULL, WHOLE NUMBER (* size *), NULL, "y" | "n", NULL,
121
 
        SHA1
 
102
rows = dirname, NULL, basename, NULL, MINIKIND, NULL, fileid_utf8, NULL,
 
103
    WHOLE NUMBER (* size *), NULL, packed stat, NULL, sha1|symlink target,
 
104
    {PARENT ROW}
 
105
PARENT ROW = NULL, revision_utf8, NULL, MINIKIND, NULL, dirname, NULL,
 
106
    basename, NULL, WHOLE NUMBER (* size *), NULL, "y" | "n", NULL,
 
107
    SHA1
122
108
 
123
109
PARENT ROW's are emitted for every parent that is not in the ghosts details
124
110
line. That is, if the parents are foo, bar, baz, and the ghosts are bar, then
149
135
----
150
136
 
151
137
Design priorities:
152
 
 1. Fast end to end use for bzr's top 5 uses cases. (commmit/diff/status/merge/???)
153
 
 2. fall back current object model as needed.
154
 
 3. scale usably to the largest trees known today - say 50K entries. (mozilla
 
138
 1) Fast end to end use for bzr's top 5 uses cases. (commmit/diff/status/merge/???)
 
139
 2) fall back current object model as needed.
 
140
 3) scale usably to the largest trees known today - say 50K entries. (mozilla
155
141
    is an example of this)
156
142
 
157
143
 
158
144
Locking:
159
 
 
160
145
 Eventually reuse dirstate objects across locks IFF the dirstate file has not
161
146
 been modified, but will require that we flush/ignore cached stat-hit data
162
147
 because we won't want to restat all files on disk just because a lock was
163
148
 acquired, yet we cannot trust the data after the previous lock was released.
164
149
 
165
 
Memory representation::
166
 
 
 
150
Memory representation:
167
151
 vector of all directories, and vector of the childen ?
168
152
   i.e.
169
153
     root_entrie = (direntry for root, [parent_direntries_for_root]),
183
167
    - What's the risk of error here? Once we have the base format being processed
184
168
      we should have a net win regardless of optimality. So we are going to
185
169
      go with what seems reasonable.
186
 
 
187
170
open questions:
188
171
 
189
172
Maybe we should do a test profile of the core structure - 10K simulated
218
201
 
219
202
"""
220
203
 
221
 
from __future__ import absolute_import
222
 
 
223
204
import bisect
 
205
import binascii
224
206
import errno
225
207
import operator
226
208
import os
227
209
from stat import S_IEXEC
228
210
import stat
 
211
import struct
229
212
import sys
230
213
import time
231
214
import zlib
232
215
 
233
216
from bzrlib import (
234
217
    cache_utf8,
235
 
    config,
236
218
    debug,
237
219
    errors,
238
220
    inventory,
240
222
    osutils,
241
223
    static_tuple,
242
224
    trace,
243
 
    urlutils,
244
225
    )
245
226
 
246
227
 
251
232
ERROR_DIRECTORY = 267
252
233
 
253
234
 
 
235
if not getattr(struct, '_compile', None):
 
236
    # Cannot pre-compile the dirstate pack_stat
 
237
    def pack_stat(st, _encode=binascii.b2a_base64, _pack=struct.pack):
 
238
        """Convert stat values into a packed representation."""
 
239
        return _encode(_pack('>LLLLLL', st.st_size, int(st.st_mtime),
 
240
            int(st.st_ctime), st.st_dev, st.st_ino & 0xFFFFFFFF,
 
241
            st.st_mode))[:-1]
 
242
else:
 
243
    # compile the struct compiler we need, so as to only do it once
 
244
    from _struct import Struct
 
245
    _compiled_pack = Struct('>LLLLLL').pack
 
246
    def pack_stat(st, _encode=binascii.b2a_base64, _pack=_compiled_pack):
 
247
        """Convert stat values into a packed representation."""
 
248
        # jam 20060614 it isn't really worth removing more entries if we
 
249
        # are going to leave it in packed form.
 
250
        # With only st_mtime and st_mode filesize is 5.5M and read time is 275ms
 
251
        # With all entries, filesize is 5.9M and read time is maybe 280ms
 
252
        # well within the noise margin
 
253
 
 
254
        # base64 encoding always adds a final newline, so strip it off
 
255
        # The current version
 
256
        return _encode(_pack(st.st_size, int(st.st_mtime), int(st.st_ctime),
 
257
            st.st_dev, st.st_ino & 0xFFFFFFFF, st.st_mode))[:-1]
 
258
        # This is 0.060s / 1.520s faster by not encoding as much information
 
259
        # return _encode(_pack('>LL', int(st.st_mtime), st.st_mode))[:-1]
 
260
        # This is not strictly faster than _encode(_pack())[:-1]
 
261
        # return '%X.%X.%X.%X.%X.%X' % (
 
262
        #      st.st_size, int(st.st_mtime), int(st.st_ctime),
 
263
        #      st.st_dev, st.st_ino, st.st_mode)
 
264
        # Similar to the _encode(_pack('>LL'))
 
265
        # return '%X.%X' % (int(st.st_mtime), st.st_mode)
 
266
 
 
267
 
 
268
def _unpack_stat(packed_stat):
 
269
    """Turn a packed_stat back into the stat fields.
 
270
 
 
271
    This is meant as a debugging tool, should not be used in real code.
 
272
    """
 
273
    (st_size, st_mtime, st_ctime, st_dev, st_ino,
 
274
     st_mode) = struct.unpack('>LLLLLL', binascii.a2b_base64(packed_stat))
 
275
    return dict(st_size=st_size, st_mtime=st_mtime, st_ctime=st_ctime,
 
276
                st_dev=st_dev, st_ino=st_ino, st_mode=st_mode)
 
277
 
 
278
 
254
279
class SHA1Provider(object):
255
280
    """An interface for getting sha1s of a file."""
256
281
 
346
371
    # A pack_stat (the x's) that is just noise and will never match the output
347
372
    # of base64 encode.
348
373
    NULLSTAT = 'x' * 32
349
 
    NULL_PARENT_DETAILS = static_tuple.StaticTuple('a', '', 0, False, '')
 
374
    NULL_PARENT_DETAILS = ('a', '', 0, False, '')
350
375
 
351
376
    HEADER_FORMAT_2 = '#bazaar dirstate flat format 2\n'
352
377
    HEADER_FORMAT_3 = '#bazaar dirstate flat format 3\n'
406
431
        self._known_hash_changes = set()
407
432
        # How many hash changed entries can we have without saving
408
433
        self._worth_saving_limit = worth_saving_limit
409
 
        self._config_stack = config.LocationStack(urlutils.local_path_to_url(
410
 
            path))
411
434
 
412
435
    def __repr__(self):
413
436
        return "%s(%r)" % \
1182
1205
    def _fields_per_entry(self):
1183
1206
        """How many null separated fields should be in each entry row.
1184
1207
 
1185
 
        Each line now has an extra '\\n' field which is not used
 
1208
        Each line now has an extra '\n' field which is not used
1186
1209
        so we just skip over it
1187
 
 
1188
 
        entry size::
 
1210
        entry size:
1189
1211
            3 fields for the key
1190
1212
            + number of fields per tree_data (5) * tree count
1191
1213
            + newline
1292
1314
                    parent_trees.append((parent_id, parent_tree))
1293
1315
                    parent_tree.lock_read()
1294
1316
                result.set_parent_trees(parent_trees, [])
1295
 
                result.set_state_from_inventory(tree.root_inventory)
 
1317
                result.set_state_from_inventory(tree.inventory)
1296
1318
            finally:
1297
1319
                for revid, parent_tree in parent_trees:
1298
1320
                    parent_tree.unlock()
1338
1360
        delta = sorted(self._check_delta_is_valid(delta), reverse=True)
1339
1361
        for old_path, new_path, file_id, inv_entry in delta:
1340
1362
            if (file_id in insertions) or (file_id in removals):
1341
 
                self._raise_invalid(old_path or new_path, file_id,
 
1363
                raise errors.InconsistentDelta(old_path or new_path, file_id,
1342
1364
                    "repeated file_id")
1343
1365
            if old_path is not None:
1344
1366
                old_path = old_path.encode('utf-8')
1347
1369
                new_ids.add(file_id)
1348
1370
            if new_path is not None:
1349
1371
                if inv_entry is None:
1350
 
                    self._raise_invalid(new_path, file_id,
 
1372
                    raise errors.InconsistentDelta(new_path, file_id,
1351
1373
                        "new_path with no entry")
1352
1374
                new_path = new_path.encode('utf-8')
1353
1375
                dirname_utf8, basename = osutils.split(new_path)
1394
1416
            # _get_entry raises BzrError when a request is inconsistent; we
1395
1417
            # want such errors to be shown as InconsistentDelta - and that 
1396
1418
            # fits the behaviour we trigger.
1397
 
            raise errors.InconsistentDeltaDelta(delta,
1398
 
                "error from _get_entry. %s" % (e,))
 
1419
            raise errors.InconsistentDeltaDelta(delta, "error from _get_entry.")
1399
1420
 
1400
1421
    def _apply_removals(self, removals):
1401
1422
        for file_id, path in sorted(removals, reverse=True,
1406
1427
            try:
1407
1428
                entry = self._dirblocks[block_i][1][entry_i]
1408
1429
            except IndexError:
1409
 
                self._raise_invalid(path, file_id,
 
1430
                self._changes_aborted = True
 
1431
                raise errors.InconsistentDelta(path, file_id,
1410
1432
                    "Wrong path for old path.")
1411
1433
            if not f_present or entry[1][0][0] in 'ar':
1412
 
                self._raise_invalid(path, file_id,
 
1434
                self._changes_aborted = True
 
1435
                raise errors.InconsistentDelta(path, file_id,
1413
1436
                    "Wrong path for old path.")
1414
1437
            if file_id != entry[0][2]:
1415
 
                self._raise_invalid(path, file_id,
 
1438
                self._changes_aborted = True
 
1439
                raise errors.InconsistentDelta(path, file_id,
1416
1440
                    "Attempt to remove path has wrong id - found %r."
1417
1441
                    % entry[0][2])
1418
1442
            self._make_absent(entry)
1428
1452
                # be due to it being in a parent tree, or a corrupt delta.
1429
1453
                for child_entry in self._dirblocks[block_i][1]:
1430
1454
                    if child_entry[1][0][0] not in ('r', 'a'):
1431
 
                        self._raise_invalid(path, entry[0][2],
 
1455
                        self._changes_aborted = True
 
1456
                        raise errors.InconsistentDelta(path, entry[0][2],
1432
1457
                            "The file id was deleted but its children were "
1433
1458
                            "not deleted.")
1434
1459
 
1438
1463
                self.update_minimal(key, minikind, executable, fingerprint,
1439
1464
                                    path_utf8=path_utf8)
1440
1465
        except errors.NotVersionedError:
1441
 
            self._raise_invalid(path_utf8.decode('utf8'), key[2],
 
1466
            self._changes_aborted = True
 
1467
            raise errors.InconsistentDelta(path_utf8.decode('utf8'), key[2],
1442
1468
                "Missing parent")
1443
1469
 
1444
1470
    def update_basis_by_delta(self, delta, new_revid):
1496
1522
        new_ids = set()
1497
1523
        for old_path, new_path, file_id, inv_entry in delta:
1498
1524
            if inv_entry is not None and file_id != inv_entry.file_id:
1499
 
                self._raise_invalid(new_path, file_id,
 
1525
                raise errors.InconsistentDelta(new_path, file_id,
1500
1526
                    "mismatched entry file_id %r" % inv_entry)
1501
 
            if new_path is None:
1502
 
                new_path_utf8 = None
1503
 
            else:
 
1527
            if new_path is not None:
1504
1528
                if inv_entry is None:
1505
 
                    self._raise_invalid(new_path, file_id,
 
1529
                    raise errors.InconsistentDelta(new_path, file_id,
1506
1530
                        "new_path with no entry")
1507
1531
                new_path_utf8 = encode(new_path)
1508
1532
                # note the parent for validation
1510
1534
                if basename_utf8:
1511
1535
                    parents.add((dirname_utf8, inv_entry.parent_id))
1512
1536
            if old_path is None:
1513
 
                old_path_utf8 = None
1514
 
            else:
1515
 
                old_path_utf8 = encode(old_path)
1516
 
            if old_path is None:
1517
 
                adds.append((None, new_path_utf8, file_id,
 
1537
                adds.append((None, encode(new_path), file_id,
1518
1538
                    inv_to_entry(inv_entry), True))
1519
1539
                new_ids.add(file_id)
1520
1540
            elif new_path is None:
1521
 
                deletes.append((old_path_utf8, None, file_id, None, True))
1522
 
            elif (old_path, new_path) == root_only:
1523
 
                # change things in-place
1524
 
                # Note: the case of a parent directory changing its file_id
1525
 
                #       tends to break optimizations here, because officially
1526
 
                #       the file has actually been moved, it just happens to
1527
 
                #       end up at the same path. If we can figure out how to
1528
 
                #       handle that case, we can avoid a lot of add+delete
1529
 
                #       pairs for objects that stay put.
1530
 
                # elif old_path == new_path:
1531
 
                changes.append((old_path_utf8, new_path_utf8, file_id,
1532
 
                                inv_to_entry(inv_entry)))
1533
 
            else:
 
1541
                deletes.append((encode(old_path), None, file_id, None, True))
 
1542
            elif (old_path, new_path) != root_only:
1534
1543
                # Renames:
1535
1544
                # Because renames must preserve their children we must have
1536
1545
                # processed all relocations and removes before hand. The sort
1546
1555
                self._update_basis_apply_deletes(deletes)
1547
1556
                deletes = []
1548
1557
                # Split into an add/delete pair recursively.
1549
 
                adds.append((old_path_utf8, new_path_utf8, file_id,
1550
 
                             inv_to_entry(inv_entry), False))
 
1558
                adds.append((None, new_path_utf8, file_id,
 
1559
                    inv_to_entry(inv_entry), False))
1551
1560
                # Expunge deletes that we've seen so that deleted/renamed
1552
1561
                # children of a rename directory are handled correctly.
1553
 
                new_deletes = reversed(list(
1554
 
                    self._iter_child_entries(1, old_path_utf8)))
 
1562
                new_deletes = reversed(list(self._iter_child_entries(1,
 
1563
                    encode(old_path))))
1555
1564
                # Remove the current contents of the tree at orig_path, and
1556
1565
                # reinsert at the correct new path.
1557
1566
                for entry in new_deletes:
1558
 
                    child_dirname, child_basename, child_file_id = entry[0]
1559
 
                    if child_dirname:
1560
 
                        source_path = child_dirname + '/' + child_basename
 
1567
                    if entry[0][0]:
 
1568
                        source_path = entry[0][0] + '/' + entry[0][1]
1561
1569
                    else:
1562
 
                        source_path = child_basename
 
1570
                        source_path = entry[0][1]
1563
1571
                    if new_path_utf8:
1564
 
                        target_path = \
1565
 
                            new_path_utf8 + source_path[len(old_path_utf8):]
 
1572
                        target_path = new_path_utf8 + source_path[len(old_path):]
1566
1573
                    else:
1567
 
                        if old_path_utf8 == '':
 
1574
                        if old_path == '':
1568
1575
                            raise AssertionError("cannot rename directory to"
1569
 
                                                 " itself")
1570
 
                        target_path = source_path[len(old_path_utf8) + 1:]
 
1576
                                " itself")
 
1577
                        target_path = source_path[len(old_path) + 1:]
1571
1578
                    adds.append((None, target_path, entry[0][2], entry[1][1], False))
1572
1579
                    deletes.append(
1573
1580
                        (source_path, target_path, entry[0][2], None, False))
1574
1581
                deletes.append(
1575
 
                    (old_path_utf8, new_path_utf8, file_id, None, False))
1576
 
 
 
1582
                    (encode(old_path), new_path, file_id, None, False))
 
1583
            else:
 
1584
                # changes to just the root should not require remove/insertion
 
1585
                # of everything.
 
1586
                changes.append((encode(old_path), encode(new_path), file_id,
 
1587
                    inv_to_entry(inv_entry)))
1577
1588
        self._check_delta_ids_absent(new_ids, delta, 1)
1578
1589
        try:
1579
1590
            # Finish expunging deletes/first half of renames.
1589
1600
            if 'integrity error' not in str(e):
1590
1601
                raise
1591
1602
            # _get_entry raises BzrError when a request is inconsistent; we
1592
 
            # want such errors to be shown as InconsistentDelta - and that
1593
 
            # fits the behaviour we trigger.
1594
 
            raise errors.InconsistentDeltaDelta(delta,
1595
 
                "error from _get_entry. %s" % (e,))
 
1603
            # want such errors to be shown as InconsistentDelta - and that 
 
1604
            # fits the behaviour we trigger. Partof this is driven by dirstate
 
1605
            # only supporting deltas that turn the basis into a closer fit to
 
1606
            # the active tree.
 
1607
            raise errors.InconsistentDeltaDelta(delta, "error from _get_entry.")
1596
1608
 
1597
1609
        self._mark_modified(header_modified=True)
1598
1610
        self._id_index = None
1614
1626
                if entry[0][2] != file_id:
1615
1627
                    # Different file_id, so not what we want.
1616
1628
                    continue
1617
 
                self._raise_invalid(("%s/%s" % key[0:2]).decode('utf8'), file_id,
 
1629
                # NB: No changes made before this helper is called, so no need
 
1630
                # to set the _changes_aborted flag.
 
1631
                raise errors.InconsistentDelta(
 
1632
                    ("%s/%s" % key[0:2]).decode('utf8'), file_id,
1618
1633
                    "This file_id is new in the delta but already present in "
1619
1634
                    "the target")
1620
1635
 
1621
 
    def _raise_invalid(self, path, file_id, reason):
1622
 
        self._changes_aborted = True
1623
 
        raise errors.InconsistentDelta(path, file_id, reason)
1624
 
 
1625
1636
    def _update_basis_apply_adds(self, adds):
1626
1637
        """Apply a sequence of adds to tree 1 during update_basis_by_delta.
1627
1638
 
1635
1646
        """
1636
1647
        # Adds are accumulated partly from renames, so can be in any input
1637
1648
        # order - sort it.
1638
 
        # TODO: we may want to sort in dirblocks order. That way each entry
1639
 
        #       will end up in the same directory, allowing the _get_entry
1640
 
        #       fast-path for looking up 2 items in the same dir work.
1641
 
        adds.sort(key=lambda x: x[1])
 
1649
        adds.sort()
1642
1650
        # adds is now in lexographic order, which places all parents before
1643
1651
        # their children, so we can process it linearly.
1644
1652
        absent = 'ar'
1645
 
        st = static_tuple.StaticTuple
1646
1653
        for old_path, new_path, file_id, new_details, real_add in adds:
1647
 
            dirname, basename = osutils.split(new_path)
1648
 
            entry_key = st(dirname, basename, file_id)
1649
 
            block_index, present = self._find_block_index_from_key(entry_key)
1650
 
            if not present:
1651
 
                # The block where we want to put the file is not present.
1652
 
                # However, it might have just been an empty directory. Look for
1653
 
                # the parent in the basis-so-far before throwing an error.
1654
 
                parent_dir, parent_base = osutils.split(dirname)
1655
 
                parent_block_idx, parent_entry_idx, _, parent_present = \
1656
 
                    self._get_block_entry_index(parent_dir, parent_base, 1)
1657
 
                if not parent_present:
1658
 
                    self._raise_invalid(new_path, file_id,
1659
 
                        "Unable to find block for this record."
1660
 
                        " Was the parent added?")
1661
 
                self._ensure_block(parent_block_idx, parent_entry_idx, dirname)
1662
 
 
1663
 
            block = self._dirblocks[block_index][1]
1664
 
            entry_index, present = self._find_entry_index(entry_key, block)
1665
 
            if real_add:
1666
 
                if old_path is not None:
1667
 
                    self._raise_invalid(new_path, file_id,
1668
 
                        'considered a real add but still had old_path at %s'
1669
 
                        % (old_path,))
1670
 
            if present:
1671
 
                entry = block[entry_index]
1672
 
                basis_kind = entry[1][1][0]
1673
 
                if basis_kind == 'a':
1674
 
                    entry[1][1] = new_details
1675
 
                elif basis_kind == 'r':
1676
 
                    raise NotImplementedError()
1677
 
                else:
1678
 
                    self._raise_invalid(new_path, file_id,
1679
 
                        "An entry was marked as a new add"
1680
 
                        " but the basis target already existed")
1681
 
            else:
1682
 
                # The exact key was not found in the block. However, we need to
1683
 
                # check if there is a key next to us that would have matched.
1684
 
                # We only need to check 2 locations, because there are only 2
1685
 
                # trees present.
1686
 
                for maybe_index in range(entry_index-1, entry_index+1):
1687
 
                    if maybe_index < 0 or maybe_index >= len(block):
1688
 
                        continue
1689
 
                    maybe_entry = block[maybe_index]
1690
 
                    if maybe_entry[0][:2] != (dirname, basename):
1691
 
                        # Just a random neighbor
1692
 
                        continue
1693
 
                    if maybe_entry[0][2] == file_id:
1694
 
                        raise AssertionError(
1695
 
                            '_find_entry_index didnt find a key match'
1696
 
                            ' but walking the data did, for %s'
1697
 
                            % (entry_key,))
1698
 
                    basis_kind = maybe_entry[1][1][0]
1699
 
                    if basis_kind not in 'ar':
1700
 
                        self._raise_invalid(new_path, file_id,
1701
 
                            "we have an add record for path, but the path"
1702
 
                            " is already present with another file_id %s"
1703
 
                            % (maybe_entry[0][2],))
1704
 
 
1705
 
                entry = (entry_key, [DirState.NULL_PARENT_DETAILS,
1706
 
                                     new_details])
1707
 
                block.insert(entry_index, entry)
1708
 
 
1709
 
            active_kind = entry[1][0][0]
1710
 
            if active_kind == 'a':
1711
 
                # The active record shows up as absent, this could be genuine,
1712
 
                # or it could be present at some other location. We need to
1713
 
                # verify.
1714
 
                id_index = self._get_id_index()
1715
 
                # The id_index may not be perfectly accurate for tree1, because
1716
 
                # we haven't been keeping it updated. However, it should be
1717
 
                # fine for tree0, and that gives us enough info for what we
1718
 
                # need
1719
 
                keys = id_index.get(file_id, ())
1720
 
                for key in keys:
1721
 
                    block_i, entry_i, d_present, f_present = \
1722
 
                        self._get_block_entry_index(key[0], key[1], 0)
1723
 
                    if not f_present:
1724
 
                        continue
1725
 
                    active_entry = self._dirblocks[block_i][1][entry_i]
1726
 
                    if (active_entry[0][2] != file_id):
1727
 
                        # Some other file is at this path, we don't need to
1728
 
                        # link it.
1729
 
                        continue
1730
 
                    real_active_kind = active_entry[1][0][0]
1731
 
                    if real_active_kind in 'ar':
1732
 
                        # We found a record, which was not *this* record,
1733
 
                        # which matches the file_id, but is not actually
1734
 
                        # present. Something seems *really* wrong.
1735
 
                        self._raise_invalid(new_path, file_id,
1736
 
                            "We found a tree0 entry that doesnt make sense")
1737
 
                    # Now, we've found a tree0 entry which matches the file_id
1738
 
                    # but is at a different location. So update them to be
1739
 
                    # rename records.
1740
 
                    active_dir, active_name = active_entry[0][:2]
1741
 
                    if active_dir:
1742
 
                        active_path = active_dir + '/' + active_name
1743
 
                    else:
1744
 
                        active_path = active_name
1745
 
                    active_entry[1][1] = st('r', new_path, 0, False, '')
1746
 
                    entry[1][0] = st('r', active_path, 0, False, '')
1747
 
            elif active_kind == 'r':
1748
 
                raise NotImplementedError()
1749
 
 
1750
 
            new_kind = new_details[0]
1751
 
            if new_kind == 'd':
1752
 
                self._ensure_block(block_index, entry_index, new_path)
 
1654
            # the entry for this file_id must be in tree 0.
 
1655
            entry = self._get_entry(0, file_id, new_path)
 
1656
            if entry[0] is None:
 
1657
                # new_path is not versioned in the active WT state,
 
1658
                # but we are adding it to the basis tree state, we
 
1659
                # need to create a new entry record for it.
 
1660
                dirname, basename = osutils.split(new_path)
 
1661
                entry_key = (dirname, basename, file_id)
 
1662
                _, block = self._find_block(entry_key, add_if_missing=True)
 
1663
                index, _ = self._find_entry_index(entry_key, block)
 
1664
                entry = (entry_key, [DirState.NULL_PARENT_DETAILS]*2)
 
1665
                block.insert(index, entry)
 
1666
            elif entry[0][2] != file_id:
 
1667
                self._changes_aborted = True
 
1668
                raise errors.InconsistentDelta(new_path, file_id,
 
1669
                    'working tree does not contain new entry')
 
1670
            if real_add and entry[1][1][0] not in absent:
 
1671
                self._changes_aborted = True
 
1672
                raise errors.InconsistentDelta(new_path, file_id,
 
1673
                    'The entry was considered to be a genuinely new record,'
 
1674
                    ' but there was already an old record for it.')
 
1675
            # We don't need to update the target of an 'r' because the handling
 
1676
            # of renames turns all 'r' situations into a delete at the original
 
1677
            # location.
 
1678
            entry[1][1] = new_details
1753
1679
 
1754
1680
    def _update_basis_apply_changes(self, changes):
1755
1681
        """Apply a sequence of changes to tree 1 during update_basis_by_delta.
1760
1686
        absent = 'ar'
1761
1687
        for old_path, new_path, file_id, new_details in changes:
1762
1688
            # the entry for this file_id must be in tree 0.
1763
 
            entry = self._get_entry(1, file_id, new_path)
1764
 
            if entry[0] is None or entry[1][1][0] in 'ar':
1765
 
                self._raise_invalid(new_path, file_id,
1766
 
                    'changed entry considered not present')
 
1689
            entry = self._get_entry(0, file_id, new_path)
 
1690
            if entry[0] is None or entry[0][2] != file_id:
 
1691
                self._changes_aborted = True
 
1692
                raise errors.InconsistentDelta(new_path, file_id,
 
1693
                    'working tree does not contain new entry')
 
1694
            if (entry[1][0][0] in absent or
 
1695
                entry[1][1][0] in absent):
 
1696
                self._changes_aborted = True
 
1697
                raise errors.InconsistentDelta(new_path, file_id,
 
1698
                    'changed considered absent')
1767
1699
            entry[1][1] = new_details
1768
1700
 
1769
1701
    def _update_basis_apply_deletes(self, deletes):
1781
1713
        null = DirState.NULL_PARENT_DETAILS
1782
1714
        for old_path, new_path, file_id, _, real_delete in deletes:
1783
1715
            if real_delete != (new_path is None):
1784
 
                self._raise_invalid(old_path, file_id, "bad delete delta")
 
1716
                self._changes_aborted = True
 
1717
                raise AssertionError("bad delete delta")
1785
1718
            # the entry for this file_id must be in tree 1.
1786
1719
            dirname, basename = osutils.split(old_path)
1787
1720
            block_index, entry_index, dir_present, file_present = \
1788
1721
                self._get_block_entry_index(dirname, basename, 1)
1789
1722
            if not file_present:
1790
 
                self._raise_invalid(old_path, file_id,
 
1723
                self._changes_aborted = True
 
1724
                raise errors.InconsistentDelta(old_path, file_id,
1791
1725
                    'basis tree does not contain removed entry')
1792
1726
            entry = self._dirblocks[block_index][1][entry_index]
1793
 
            # The state of the entry in the 'active' WT
1794
 
            active_kind = entry[1][0][0]
1795
1727
            if entry[0][2] != file_id:
1796
 
                self._raise_invalid(old_path, file_id,
 
1728
                self._changes_aborted = True
 
1729
                raise errors.InconsistentDelta(old_path, file_id,
1797
1730
                    'mismatched file_id in tree 1')
1798
 
            dir_block = ()
1799
 
            old_kind = entry[1][1][0]
1800
 
            if active_kind in 'ar':
1801
 
                # The active tree doesn't have this file_id.
1802
 
                # The basis tree is changing this record. If this is a
1803
 
                # rename, then we don't want the record here at all
1804
 
                # anymore. If it is just an in-place change, we want the
1805
 
                # record here, but we'll add it if we need to. So we just
1806
 
                # delete it
1807
 
                if active_kind == 'r':
1808
 
                    active_path = entry[1][0][1]
1809
 
                    active_entry = self._get_entry(0, file_id, active_path)
1810
 
                    if active_entry[1][1][0] != 'r':
1811
 
                        self._raise_invalid(old_path, file_id,
1812
 
                            "Dirstate did not have matching rename entries")
1813
 
                    elif active_entry[1][0][0] in 'ar':
1814
 
                        self._raise_invalid(old_path, file_id,
1815
 
                            "Dirstate had a rename pointing at an inactive"
1816
 
                            " tree0")
1817
 
                    active_entry[1][1] = null
1818
 
                del self._dirblocks[block_index][1][entry_index]
1819
 
                if old_kind == 'd':
1820
 
                    # This was a directory, and the active tree says it
1821
 
                    # doesn't exist, and now the basis tree says it doesn't
1822
 
                    # exist. Remove its dirblock if present
1823
 
                    (dir_block_index,
1824
 
                     present) = self._find_block_index_from_key(
1825
 
                        (old_path, '', ''))
1826
 
                    if present:
1827
 
                        dir_block = self._dirblocks[dir_block_index][1]
1828
 
                        if not dir_block:
1829
 
                            # This entry is empty, go ahead and just remove it
1830
 
                            del self._dirblocks[dir_block_index]
1831
 
            else:
1832
 
                # There is still an active record, so just mark this
1833
 
                # removed.
1834
 
                entry[1][1] = null
 
1731
            if real_delete:
 
1732
                if entry[1][0][0] == 'a':
 
1733
                    # The file was marked as deleted in the active
 
1734
                    # state, and it is now deleted in the basis state,
 
1735
                    # so just remove the record entirely
 
1736
                    del self._dirblocks[block_index][1][entry_index]
 
1737
                else:
 
1738
                    # The basis entry needs to be marked deleted
 
1739
                    entry[1][1] = null
 
1740
                # If we are deleting a directory, we need to make sure
 
1741
                # that all of its children are already deleted
1835
1742
                block_i, entry_i, d_present, f_present = \
1836
 
                    self._get_block_entry_index(old_path, '', 1)
 
1743
                    self._get_block_entry_index(old_path, '', 0)
1837
1744
                if d_present:
1838
 
                    dir_block = self._dirblocks[block_i][1]
1839
 
            for child_entry in dir_block:
1840
 
                child_basis_kind = child_entry[1][1][0]
1841
 
                if child_basis_kind not in 'ar':
1842
 
                    self._raise_invalid(old_path, file_id,
1843
 
                        "The file id was deleted but its children were "
1844
 
                        "not deleted.")
 
1745
                    # The dir block is still present in the dirstate; this could
 
1746
                    # be due to it being in a parent tree, or a corrupt delta.
 
1747
                    for child_entry in self._dirblocks[block_i][1]:
 
1748
                        if child_entry[1][1][0] not in ('r', 'a'):
 
1749
                            self._changes_aborted = True
 
1750
                            raise errors.InconsistentDelta(old_path, entry[0][2],
 
1751
                                "The file id was deleted but its children were "
 
1752
                                "not deleted.")
 
1753
            else:
 
1754
                if entry[1][0][0] == 'a':
 
1755
                    self._changes_aborted = True
 
1756
                    raise errors.InconsistentDelta(old_path, file_id,
 
1757
                        'The entry was considered a rename, but the source path'
 
1758
                        ' is marked as absent.')
 
1759
                    # For whatever reason, we were asked to rename an entry
 
1760
                    # that was originally marked as deleted. This could be
 
1761
                    # because we are renaming the parent directory, and the WT
 
1762
                    # current state has the file marked as deleted.
 
1763
                elif entry[1][0][0] == 'r':
 
1764
                    # implement the rename
 
1765
                    del self._dirblocks[block_index][1][entry_index]
 
1766
                else:
 
1767
                    # it is being resurrected here, so blank it out temporarily.
 
1768
                    # should be equivalent to entry[1][1] = null
 
1769
                    self._dirblocks[block_index][1][entry_index][1][1] = null
1845
1770
 
1846
1771
    def _after_delta_check_parents(self, parents, index):
1847
1772
        """Check that parents required by the delta are all intact.
1856
1781
            # has the right file id.
1857
1782
            entry = self._get_entry(index, file_id, dirname_utf8)
1858
1783
            if entry[1] is None:
1859
 
                self._raise_invalid(dirname_utf8.decode('utf8'),
 
1784
                self._changes_aborted = True
 
1785
                raise errors.InconsistentDelta(dirname_utf8.decode('utf8'),
1860
1786
                    file_id, "This parent is not present.")
1861
1787
            # Parents of things must be directories
1862
1788
            if entry[1][index][0] != 'd':
1863
 
                self._raise_invalid(dirname_utf8.decode('utf8'),
 
1789
                self._changes_aborted = True
 
1790
                raise errors.InconsistentDelta(dirname_utf8.decode('utf8'),
1864
1791
                    file_id, "This parent is not a directory.")
1865
1792
 
1866
1793
    def _observed_sha1(self, entry, sha1, stat_value,
1867
 
        _stat_to_minikind=_stat_to_minikind):
 
1794
        _stat_to_minikind=_stat_to_minikind, _pack_stat=pack_stat):
1868
1795
        """Note the sha1 of a file.
1869
1796
 
1870
1797
        :param entry: The entry the sha1 is for.
1876
1803
        except KeyError:
1877
1804
            # Unhandled kind
1878
1805
            return None
 
1806
        packed_stat = _pack_stat(stat_value)
1879
1807
        if minikind == 'f':
1880
1808
            if self._cutoff_time is None:
1881
1809
                self._sha_cutoff_time()
1882
1810
            if (stat_value.st_mtime < self._cutoff_time
1883
1811
                and stat_value.st_ctime < self._cutoff_time):
1884
1812
                entry[1][0] = ('f', sha1, stat_value.st_size, entry[1][0][3],
1885
 
                               pack_stat(stat_value))
 
1813
                               packed_stat)
1886
1814
                self._mark_modified([entry])
1887
1815
 
1888
1816
    def _sha_cutoff_time(self):
1933
1861
            # paths are produced by UnicodeDirReader on purpose.
1934
1862
            abspath = abspath.encode(fs_encoding)
1935
1863
        target = os.readlink(abspath)
1936
 
        if fs_encoding not in ('utf-8', 'ascii'):
 
1864
        if fs_encoding not in ('UTF-8', 'US-ASCII', 'ANSI_X3.4-1968'):
1937
1865
            # Change encoding if needed
1938
1866
            target = target.decode(fs_encoding).encode('UTF-8')
1939
1867
        return target
2091
2019
            entry_index += 1
2092
2020
        return block_index, entry_index, True, False
2093
2021
 
2094
 
    def _get_entry(self, tree_index, fileid_utf8=None, path_utf8=None,
2095
 
                   include_deleted=False):
 
2022
    def _get_entry(self, tree_index, fileid_utf8=None, path_utf8=None, include_deleted=False):
2096
2023
        """Get the dirstate entry for path in tree tree_index.
2097
2024
 
2098
2025
        If either file_id or path is supplied, it is used as the key to lookup.
2297
2224
 
2298
2225
    def _get_id_index(self):
2299
2226
        """Get an id index of self._dirblocks.
2300
 
 
 
2227
        
2301
2228
        This maps from file_id => [(directory, name, file_id)] entries where
2302
2229
        that file_id appears in one of the trees.
2303
2230
        """
2317
2244
        # such, we use a simple tuple, and do our own uniqueness checks. While
2318
2245
        # the 'in' check is O(N) since N is nicely bounded it shouldn't ever
2319
2246
        # cause quadratic failure.
 
2247
        # TODO: This should use StaticTuple
2320
2248
        file_id = entry_key[2]
2321
2249
        entry_key = static_tuple.StaticTuple.from_sequence(entry_key)
2322
2250
        if file_id not in id_index:
2441
2369
            raise errors.BzrError('missing num_entries line')
2442
2370
        self._num_entries = int(num_entries_line[len('num_entries: '):-1])
2443
2371
 
2444
 
    def sha1_from_stat(self, path, stat_result):
 
2372
    def sha1_from_stat(self, path, stat_result, _pack_stat=pack_stat):
2445
2373
        """Find a sha1 given a stat lookup."""
2446
 
        return self._get_packed_stat_index().get(pack_stat(stat_result), None)
 
2374
        return self._get_packed_stat_index().get(_pack_stat(stat_result), None)
2447
2375
 
2448
2376
    def _get_packed_stat_index(self):
2449
2377
        """Get a packed_stat index of self._dirblocks."""
2479
2407
        #       IN_MEMORY_HASH_MODIFIED, we should only fail quietly if we fail
2480
2408
        #       to save an IN_MEMORY_HASH_MODIFIED, and fail *noisily* if we
2481
2409
        #       fail to save IN_MEMORY_MODIFIED
2482
 
        if not self._worth_saving():
2483
 
            return
2484
 
 
2485
 
        grabbed_write_lock = False
2486
 
        if self._lock_state != 'w':
2487
 
            grabbed_write_lock, new_lock = self._lock_token.temporary_write_lock()
2488
 
            # Switch over to the new lock, as the old one may be closed.
2489
 
            # TODO: jam 20070315 We should validate the disk file has
2490
 
            #       not changed contents, since temporary_write_lock may
2491
 
            #       not be an atomic operation.
2492
 
            self._lock_token = new_lock
2493
 
            self._state_file = new_lock.f
2494
 
            if not grabbed_write_lock:
2495
 
                # We couldn't grab a write lock, so we switch back to a read one
2496
 
                return
2497
 
        try:
2498
 
            lines = self.get_lines()
2499
 
            self._state_file.seek(0)
2500
 
            self._state_file.writelines(lines)
2501
 
            self._state_file.truncate()
2502
 
            self._state_file.flush()
2503
 
            self._maybe_fdatasync()
2504
 
            self._mark_unmodified()
2505
 
        finally:
2506
 
            if grabbed_write_lock:
2507
 
                self._lock_token = self._lock_token.restore_read_lock()
2508
 
                self._state_file = self._lock_token.f
 
2410
        if self._worth_saving():
 
2411
            grabbed_write_lock = False
 
2412
            if self._lock_state != 'w':
 
2413
                grabbed_write_lock, new_lock = self._lock_token.temporary_write_lock()
 
2414
                # Switch over to the new lock, as the old one may be closed.
2509
2415
                # TODO: jam 20070315 We should validate the disk file has
2510
 
                #       not changed contents. Since restore_read_lock may
2511
 
                #       not be an atomic operation.                
2512
 
 
2513
 
    def _maybe_fdatasync(self):
2514
 
        """Flush to disk if possible and if not configured off."""
2515
 
        if self._config_stack.get('dirstate.fdatasync'):
2516
 
            osutils.fdatasync(self._state_file.fileno())
 
2416
                #       not changed contents. Since temporary_write_lock may
 
2417
                #       not be an atomic operation.
 
2418
                self._lock_token = new_lock
 
2419
                self._state_file = new_lock.f
 
2420
                if not grabbed_write_lock:
 
2421
                    # We couldn't grab a write lock, so we switch back to a read one
 
2422
                    return
 
2423
            try:
 
2424
                lines = self.get_lines()
 
2425
                self._state_file.seek(0)
 
2426
                self._state_file.writelines(lines)
 
2427
                self._state_file.truncate()
 
2428
                self._state_file.flush()
 
2429
                self._mark_unmodified()
 
2430
            finally:
 
2431
                if grabbed_write_lock:
 
2432
                    self._lock_token = self._lock_token.restore_read_lock()
 
2433
                    self._state_file = self._lock_token.f
 
2434
                    # TODO: jam 20070315 We should validate the disk file has
 
2435
                    #       not changed contents. Since restore_read_lock may
 
2436
                    #       not be an atomic operation.
2517
2437
 
2518
2438
    def _worth_saving(self):
2519
2439
        """Is it worth saving the dirstate or not?"""
2575
2495
        self.update_minimal(('', '', new_id), 'd',
2576
2496
            path_utf8='', packed_stat=entry[1][0][4])
2577
2497
        self._mark_modified()
 
2498
        # XXX: This was added by Ian, we need to make sure there
 
2499
        #      are tests for it, because it isn't in bzr.dev TRUNK
 
2500
        #      It looks like the only place it is called is in setting the root
 
2501
        #      id of the tree. So probably we never had an _id_index when we
 
2502
        #      don't even have a root yet.
 
2503
        if self._id_index is not None:
 
2504
            self._add_to_id_index(self._id_index, entry[0])
2578
2505
 
2579
2506
    def set_parent_trees(self, trees, ghosts):
2580
2507
        """Set the parent trees for the dirstate.
2998
2925
                            # This entry has the same path (but a different id) as
2999
2926
                            # the new entry we're adding, and is present in ths
3000
2927
                            # tree.
3001
 
                            self._raise_invalid(
 
2928
                            raise errors.InconsistentDelta(
3002
2929
                                ("%s/%s" % key[0:2]).decode('utf8'), key[2],
3003
2930
                                "Attempt to add item at path already occupied by "
3004
2931
                                "id %r" % entry[0][2])
3287
3214
        if self._id_index is not None:
3288
3215
            for file_id, entry_keys in self._id_index.iteritems():
3289
3216
                for entry_key in entry_keys:
3290
 
                    # Check that the entry in the map is pointing to the same
3291
 
                    # file_id
3292
3217
                    if entry_key[2] != file_id:
3293
3218
                        raise AssertionError(
3294
3219
                            'file_id %r did not match entry key %s'
3295
3220
                            % (file_id, entry_key))
3296
 
                    # And that from this entry key, we can look up the original
3297
 
                    # record
3298
 
                    block_index, present = self._find_block_index_from_key(entry_key)
3299
 
                    if not present:
3300
 
                        raise AssertionError('missing block for entry key: %r', entry_key)
3301
 
                    entry_index, present = self._find_entry_index(entry_key, self._dirblocks[block_index][1])
3302
 
                    if not present:
3303
 
                        raise AssertionError('missing entry for key: %r', entry_key)
3304
3221
                if len(entry_keys) != len(set(entry_keys)):
3305
3222
                    raise AssertionError(
3306
3223
                        'id_index contained non-unique data for %s'
3367
3284
 
3368
3285
 
3369
3286
def py_update_entry(state, entry, abspath, stat_value,
3370
 
                 _stat_to_minikind=DirState._stat_to_minikind):
 
3287
                 _stat_to_minikind=DirState._stat_to_minikind,
 
3288
                 _pack_stat=pack_stat):
3371
3289
    """Update the entry based on what is actually on disk.
3372
3290
 
3373
3291
    This function only calculates the sha if it needs to - if the entry is
3386
3304
    except KeyError:
3387
3305
        # Unhandled kind
3388
3306
        return None
3389
 
    packed_stat = pack_stat(stat_value)
 
3307
    packed_stat = _pack_stat(stat_value)
3390
3308
    (saved_minikind, saved_link_or_sha1, saved_file_size,
3391
3309
     saved_executable, saved_packed_stat) = entry[1][0]
3392
3310
 
3771
3689
            raise AssertionError("don't know how to compare "
3772
3690
                "source_minikind=%r, target_minikind=%r"
3773
3691
                % (source_minikind, target_minikind))
 
3692
            ## import pdb;pdb.set_trace()
3774
3693
        return None, None
3775
3694
 
3776
3695
    def __iter__(self):
4265
4184
        _bisect_path_left,
4266
4185
        _bisect_path_right,
4267
4186
        cmp_by_dirs,
4268
 
        pack_stat,
4269
4187
        ProcessEntryC as _process_entry,
4270
4188
        update_entry as update_entry,
4271
4189
        )
4277
4195
        _bisect_path_left,
4278
4196
        _bisect_path_right,
4279
4197
        cmp_by_dirs,
4280
 
        pack_stat,
4281
4198
        )
4282
4199
    # FIXME: It would be nice to be able to track moved lines so that the
4283
4200
    # corresponding python code can be moved to the _dirstate_helpers_py