~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/dirstate.py

  • Committer: Aaron Bentley
  • Date: 2012-07-13 19:32:33 UTC
  • mto: This revision was merged to the branch mainline in revision 6540.
  • Revision ID: aaron@aaronbentley.com-20120713193233-l6y0l0twwhd3wmka
Switch to much simpler implementation of restore_uncommitted.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
 
1
# Copyright (C) 2006-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
20
20
lines by NL. The field delimiters are ommitted in the grammar, line delimiters
21
21
are not - this is done for clarity of reading. All string data is in utf8.
22
22
 
23
 
MINIKIND = "f" | "d" | "l" | "a" | "r" | "t";
24
 
NL = "\n";
25
 
NULL = "\0";
26
 
WHOLE_NUMBER = {digit}, digit;
27
 
BOOLEAN = "y" | "n";
28
 
REVISION_ID = a non-empty utf8 string;
29
 
 
30
 
dirstate format = header line, full checksum, row count, parent details,
31
 
 ghost_details, entries;
32
 
header line = "#bazaar dirstate flat format 3", NL;
33
 
full checksum = "crc32: ", ["-"], WHOLE_NUMBER, NL;
34
 
row count = "num_entries: ", WHOLE_NUMBER, NL;
35
 
parent_details = WHOLE NUMBER, {REVISION_ID}* NL;
36
 
ghost_details = WHOLE NUMBER, {REVISION_ID}*, NL;
37
 
entries = {entry};
38
 
entry = entry_key, current_entry_details, {parent_entry_details};
39
 
entry_key = dirname,  basename, fileid;
40
 
current_entry_details = common_entry_details, working_entry_details;
41
 
parent_entry_details = common_entry_details, history_entry_details;
42
 
common_entry_details = MINIKIND, fingerprint, size, executable
43
 
working_entry_details = packed_stat
44
 
history_entry_details = REVISION_ID;
45
 
executable = BOOLEAN;
46
 
size = WHOLE_NUMBER;
47
 
fingerprint = a nonempty utf8 sequence with meaning defined by minikind.
48
 
 
49
 
Given this definition, the following is useful to know:
50
 
entry (aka row) - all the data for a given key.
51
 
entry[0]: The key (dirname, basename, fileid)
52
 
entry[0][0]: dirname
53
 
entry[0][1]: basename
54
 
entry[0][2]: fileid
55
 
entry[1]: The tree(s) data for this path and id combination.
56
 
entry[1][0]: The current tree
57
 
entry[1][1]: The second tree
58
 
 
59
 
For an entry for a tree, we have (using tree 0 - current tree) to demonstrate:
60
 
entry[1][0][0]: minikind
61
 
entry[1][0][1]: fingerprint
62
 
entry[1][0][2]: size
63
 
entry[1][0][3]: executable
64
 
entry[1][0][4]: packed_stat
65
 
OR (for non tree-0)
66
 
entry[1][1][4]: revision_id
 
23
::
 
24
 
 
25
    MINIKIND = "f" | "d" | "l" | "a" | "r" | "t";
 
26
    NL = "\\n";
 
27
    NULL = "\\0";
 
28
    WHOLE_NUMBER = {digit}, digit;
 
29
    BOOLEAN = "y" | "n";
 
30
    REVISION_ID = a non-empty utf8 string;
 
31
    
 
32
    dirstate format = header line, full checksum, row count, parent details,
 
33
     ghost_details, entries;
 
34
    header line = "#bazaar dirstate flat format 3", NL;
 
35
    full checksum = "crc32: ", ["-"], WHOLE_NUMBER, NL;
 
36
    row count = "num_entries: ", WHOLE_NUMBER, NL;
 
37
    parent_details = WHOLE NUMBER, {REVISION_ID}* NL;
 
38
    ghost_details = WHOLE NUMBER, {REVISION_ID}*, NL;
 
39
    entries = {entry};
 
40
    entry = entry_key, current_entry_details, {parent_entry_details};
 
41
    entry_key = dirname,  basename, fileid;
 
42
    current_entry_details = common_entry_details, working_entry_details;
 
43
    parent_entry_details = common_entry_details, history_entry_details;
 
44
    common_entry_details = MINIKIND, fingerprint, size, executable
 
45
    working_entry_details = packed_stat
 
46
    history_entry_details = REVISION_ID;
 
47
    executable = BOOLEAN;
 
48
    size = WHOLE_NUMBER;
 
49
    fingerprint = a nonempty utf8 sequence with meaning defined by minikind.
 
50
 
 
51
Given this definition, the following is useful to know::
 
52
 
 
53
    entry (aka row) - all the data for a given key.
 
54
    entry[0]: The key (dirname, basename, fileid)
 
55
    entry[0][0]: dirname
 
56
    entry[0][1]: basename
 
57
    entry[0][2]: fileid
 
58
    entry[1]: The tree(s) data for this path and id combination.
 
59
    entry[1][0]: The current tree
 
60
    entry[1][1]: The second tree
 
61
 
 
62
For an entry for a tree, we have (using tree 0 - current tree) to demonstrate::
 
63
 
 
64
    entry[1][0][0]: minikind
 
65
    entry[1][0][1]: fingerprint
 
66
    entry[1][0][2]: size
 
67
    entry[1][0][3]: executable
 
68
    entry[1][0][4]: packed_stat
 
69
 
 
70
OR (for non tree-0)::
 
71
 
 
72
    entry[1][1][4]: revision_id
67
73
 
68
74
There may be multiple rows at the root, one per id present in the root, so the
69
 
in memory root row is now:
70
 
self._dirblocks[0] -> ('', [entry ...]),
71
 
and the entries in there are
72
 
entries[0][0]: ''
73
 
entries[0][1]: ''
74
 
entries[0][2]: file_id
75
 
entries[1][0]: The tree data for the current tree for this fileid at /
76
 
etc.
77
 
 
78
 
Kinds:
79
 
'r' is a relocated entry: This path is not present in this tree with this id,
80
 
    but the id can be found at another location. The fingerprint is used to
81
 
    point to the target location.
82
 
'a' is an absent entry: In that tree the id is not present at this path.
83
 
'd' is a directory entry: This path in this tree is a directory with the
84
 
    current file id. There is no fingerprint for directories.
85
 
'f' is a file entry: As for directory, but it's a file. The fingerprint is the
86
 
    sha1 value of the file's canonical form, i.e. after any read filters have
87
 
    been applied to the convenience form stored in the working tree.
88
 
'l' is a symlink entry: As for directory, but a symlink. The fingerprint is the
89
 
    link target.
90
 
't' is a reference to a nested subtree; the fingerprint is the referenced
91
 
    revision.
 
75
in memory root row is now::
 
76
 
 
77
    self._dirblocks[0] -> ('', [entry ...]),
 
78
 
 
79
and the entries in there are::
 
80
 
 
81
    entries[0][0]: ''
 
82
    entries[0][1]: ''
 
83
    entries[0][2]: file_id
 
84
    entries[1][0]: The tree data for the current tree for this fileid at /
 
85
    etc.
 
86
 
 
87
Kinds::
 
88
 
 
89
    'r' is a relocated entry: This path is not present in this tree with this
 
90
        id, but the id can be found at another location. The fingerprint is
 
91
        used to point to the target location.
 
92
    'a' is an absent entry: In that tree the id is not present at this path.
 
93
    'd' is a directory entry: This path in this tree is a directory with the
 
94
        current file id. There is no fingerprint for directories.
 
95
    'f' is a file entry: As for directory, but it's a file. The fingerprint is
 
96
        the sha1 value of the file's canonical form, i.e. after any read
 
97
        filters have been applied to the convenience form stored in the working
 
98
        tree.
 
99
    'l' is a symlink entry: As for directory, but a symlink. The fingerprint is
 
100
        the link target.
 
101
    't' is a reference to a nested subtree; the fingerprint is the referenced
 
102
        revision.
92
103
 
93
104
Ordering:
94
105
 
95
 
The entries on disk and in memory are ordered according to the following keys:
 
106
The entries on disk and in memory are ordered according to the following keys::
96
107
 
97
108
    directory, as a list of components
98
109
    filename
99
110
    file-id
100
111
 
101
112
--- Format 1 had the following different definition: ---
102
 
rows = dirname, NULL, basename, NULL, MINIKIND, NULL, fileid_utf8, NULL,
103
 
    WHOLE NUMBER (* size *), NULL, packed stat, NULL, sha1|symlink target,
104
 
    {PARENT ROW}
105
 
PARENT ROW = NULL, revision_utf8, NULL, MINIKIND, NULL, dirname, NULL,
106
 
    basename, NULL, WHOLE NUMBER (* size *), NULL, "y" | "n", NULL,
107
 
    SHA1
 
113
 
 
114
::
 
115
 
 
116
    rows = dirname, NULL, basename, NULL, MINIKIND, NULL, fileid_utf8, NULL,
 
117
        WHOLE NUMBER (* size *), NULL, packed stat, NULL, sha1|symlink target,
 
118
        {PARENT ROW}
 
119
    PARENT ROW = NULL, revision_utf8, NULL, MINIKIND, NULL, dirname, NULL,
 
120
        basename, NULL, WHOLE NUMBER (* size *), NULL, "y" | "n", NULL,
 
121
        SHA1
108
122
 
109
123
PARENT ROW's are emitted for every parent that is not in the ghosts details
110
124
line. That is, if the parents are foo, bar, baz, and the ghosts are bar, then
135
149
----
136
150
 
137
151
Design priorities:
138
 
 1) Fast end to end use for bzr's top 5 uses cases. (commmit/diff/status/merge/???)
139
 
 2) fall back current object model as needed.
140
 
 3) scale usably to the largest trees known today - say 50K entries. (mozilla
 
152
 1. Fast end to end use for bzr's top 5 uses cases. (commmit/diff/status/merge/???)
 
153
 2. fall back current object model as needed.
 
154
 3. scale usably to the largest trees known today - say 50K entries. (mozilla
141
155
    is an example of this)
142
156
 
143
157
 
144
158
Locking:
 
159
 
145
160
 Eventually reuse dirstate objects across locks IFF the dirstate file has not
146
161
 been modified, but will require that we flush/ignore cached stat-hit data
147
162
 because we won't want to restat all files on disk just because a lock was
148
163
 acquired, yet we cannot trust the data after the previous lock was released.
149
164
 
150
 
Memory representation:
 
165
Memory representation::
 
166
 
151
167
 vector of all directories, and vector of the childen ?
152
168
   i.e.
153
169
     root_entrie = (direntry for root, [parent_direntries_for_root]),
167
183
    - What's the risk of error here? Once we have the base format being processed
168
184
      we should have a net win regardless of optimality. So we are going to
169
185
      go with what seems reasonable.
 
186
 
170
187
open questions:
171
188
 
172
189
Maybe we should do a test profile of the core structure - 10K simulated
201
218
 
202
219
"""
203
220
 
 
221
from __future__ import absolute_import
 
222
 
204
223
import bisect
205
 
import binascii
206
224
import errno
 
225
import operator
207
226
import os
208
227
from stat import S_IEXEC
209
228
import stat
210
 
import struct
211
229
import sys
212
230
import time
213
231
import zlib
214
232
 
215
233
from bzrlib import (
216
234
    cache_utf8,
 
235
    config,
217
236
    debug,
218
237
    errors,
219
238
    inventory,
220
239
    lock,
221
240
    osutils,
 
241
    static_tuple,
222
242
    trace,
 
243
    urlutils,
223
244
    )
224
245
 
225
246
 
230
251
ERROR_DIRECTORY = 267
231
252
 
232
253
 
233
 
if not getattr(struct, '_compile', None):
234
 
    # Cannot pre-compile the dirstate pack_stat
235
 
    def pack_stat(st, _encode=binascii.b2a_base64, _pack=struct.pack):
236
 
        """Convert stat values into a packed representation."""
237
 
        return _encode(_pack('>LLLLLL', st.st_size, int(st.st_mtime),
238
 
            int(st.st_ctime), st.st_dev, st.st_ino & 0xFFFFFFFF,
239
 
            st.st_mode))[:-1]
240
 
else:
241
 
    # compile the struct compiler we need, so as to only do it once
242
 
    from _struct import Struct
243
 
    _compiled_pack = Struct('>LLLLLL').pack
244
 
    def pack_stat(st, _encode=binascii.b2a_base64, _pack=_compiled_pack):
245
 
        """Convert stat values into a packed representation."""
246
 
        # jam 20060614 it isn't really worth removing more entries if we
247
 
        # are going to leave it in packed form.
248
 
        # With only st_mtime and st_mode filesize is 5.5M and read time is 275ms
249
 
        # With all entries, filesize is 5.9M and read time is maybe 280ms
250
 
        # well within the noise margin
251
 
 
252
 
        # base64 encoding always adds a final newline, so strip it off
253
 
        # The current version
254
 
        return _encode(_pack(st.st_size, int(st.st_mtime), int(st.st_ctime),
255
 
            st.st_dev, st.st_ino & 0xFFFFFFFF, st.st_mode))[:-1]
256
 
        # This is 0.060s / 1.520s faster by not encoding as much information
257
 
        # return _encode(_pack('>LL', int(st.st_mtime), st.st_mode))[:-1]
258
 
        # This is not strictly faster than _encode(_pack())[:-1]
259
 
        # return '%X.%X.%X.%X.%X.%X' % (
260
 
        #      st.st_size, int(st.st_mtime), int(st.st_ctime),
261
 
        #      st.st_dev, st.st_ino, st.st_mode)
262
 
        # Similar to the _encode(_pack('>LL'))
263
 
        # return '%X.%X' % (int(st.st_mtime), st.st_mode)
264
 
 
265
 
 
266
254
class SHA1Provider(object):
267
255
    """An interface for getting sha1s of a file."""
268
256
 
353
341
    NOT_IN_MEMORY = 0
354
342
    IN_MEMORY_UNMODIFIED = 1
355
343
    IN_MEMORY_MODIFIED = 2
 
344
    IN_MEMORY_HASH_MODIFIED = 3 # Only hash-cache updates
356
345
 
357
346
    # A pack_stat (the x's) that is just noise and will never match the output
358
347
    # of base64 encode.
359
348
    NULLSTAT = 'x' * 32
360
 
    NULL_PARENT_DETAILS = ('a', '', 0, False, '')
 
349
    NULL_PARENT_DETAILS = static_tuple.StaticTuple('a', '', 0, False, '')
361
350
 
362
351
    HEADER_FORMAT_2 = '#bazaar dirstate flat format 2\n'
363
352
    HEADER_FORMAT_3 = '#bazaar dirstate flat format 3\n'
364
353
 
365
 
    def __init__(self, path, sha1_provider):
 
354
    def __init__(self, path, sha1_provider, worth_saving_limit=0):
366
355
        """Create a  DirState object.
367
356
 
368
357
        :param path: The path at which the dirstate file on disk should live.
369
358
        :param sha1_provider: an object meeting the SHA1Provider interface.
 
359
        :param worth_saving_limit: when the exact number of hash changed
 
360
            entries is known, only bother saving the dirstate if more than
 
361
            this count of entries have changed.
 
362
            -1 means never save hash changes, 0 means always save hash changes.
370
363
        """
371
364
        # _header_state and _dirblock_state represent the current state
372
365
        # of the dirstate metadata and the per-row data respectiely.
409
402
        # during commit.
410
403
        self._last_block_index = None
411
404
        self._last_entry_index = None
 
405
        # The set of known hash changes
 
406
        self._known_hash_changes = set()
 
407
        # How many hash changed entries can we have without saving
 
408
        self._worth_saving_limit = worth_saving_limit
 
409
        self._config_stack = config.LocationStack(urlutils.local_path_to_url(
 
410
            path))
412
411
 
413
412
    def __repr__(self):
414
413
        return "%s(%r)" % \
415
414
            (self.__class__.__name__, self._filename)
416
415
 
 
416
    def _mark_modified(self, hash_changed_entries=None, header_modified=False):
 
417
        """Mark this dirstate as modified.
 
418
 
 
419
        :param hash_changed_entries: if non-None, mark just these entries as
 
420
            having their hash modified.
 
421
        :param header_modified: mark the header modified as well, not just the
 
422
            dirblocks.
 
423
        """
 
424
        #trace.mutter_callsite(3, "modified hash entries: %s", hash_changed_entries)
 
425
        if hash_changed_entries:
 
426
            self._known_hash_changes.update([e[0] for e in hash_changed_entries])
 
427
            if self._dirblock_state in (DirState.NOT_IN_MEMORY,
 
428
                                        DirState.IN_MEMORY_UNMODIFIED):
 
429
                # If the dirstate is already marked a IN_MEMORY_MODIFIED, then
 
430
                # that takes precedence.
 
431
                self._dirblock_state = DirState.IN_MEMORY_HASH_MODIFIED
 
432
        else:
 
433
            # TODO: Since we now have a IN_MEMORY_HASH_MODIFIED state, we
 
434
            #       should fail noisily if someone tries to set
 
435
            #       IN_MEMORY_MODIFIED but we don't have a write-lock!
 
436
            # We don't know exactly what changed so disable smart saving
 
437
            self._dirblock_state = DirState.IN_MEMORY_MODIFIED
 
438
        if header_modified:
 
439
            self._header_state = DirState.IN_MEMORY_MODIFIED
 
440
 
 
441
    def _mark_unmodified(self):
 
442
        """Mark this dirstate as unmodified."""
 
443
        self._header_state = DirState.IN_MEMORY_UNMODIFIED
 
444
        self._dirblock_state = DirState.IN_MEMORY_UNMODIFIED
 
445
        self._known_hash_changes = set()
 
446
 
417
447
    def add(self, path, file_id, kind, stat, fingerprint):
418
448
        """Add a path to be tracked.
419
449
 
545
575
        if kind == 'directory':
546
576
           # insert a new dirblock
547
577
           self._ensure_block(block_index, entry_index, utf8path)
548
 
        self._dirblock_state = DirState.IN_MEMORY_MODIFIED
 
578
        self._mark_modified()
549
579
        if self._id_index:
550
 
            self._id_index.setdefault(entry_key[2], set()).add(entry_key)
 
580
            self._add_to_id_index(self._id_index, entry_key)
551
581
 
552
582
    def _bisect(self, paths):
553
583
        """Bisect through the disk structure for specific rows.
1017
1047
 
1018
1048
        self._ghosts = []
1019
1049
        self._parents = [parents[0]]
1020
 
        self._dirblock_state = DirState.IN_MEMORY_MODIFIED
1021
 
        self._header_state = DirState.IN_MEMORY_MODIFIED
 
1050
        self._mark_modified(header_modified=True)
1022
1051
 
1023
1052
    def _empty_parent_info(self):
1024
1053
        return [DirState.NULL_PARENT_DETAILS] * (len(self._parents) -
1153
1182
    def _fields_per_entry(self):
1154
1183
        """How many null separated fields should be in each entry row.
1155
1184
 
1156
 
        Each line now has an extra '\n' field which is not used
 
1185
        Each line now has an extra '\\n' field which is not used
1157
1186
        so we just skip over it
1158
 
        entry size:
 
1187
 
 
1188
        entry size::
1159
1189
            3 fields for the key
1160
1190
            + number of fields per tree_data (5) * tree count
1161
1191
            + newline
1262
1292
                    parent_trees.append((parent_id, parent_tree))
1263
1293
                    parent_tree.lock_read()
1264
1294
                result.set_parent_trees(parent_trees, [])
1265
 
                result.set_state_from_inventory(tree.inventory)
 
1295
                result.set_state_from_inventory(tree.root_inventory)
1266
1296
            finally:
1267
1297
                for revid, parent_tree in parent_trees:
1268
1298
                    parent_tree.unlock()
1274
1304
            raise
1275
1305
        return result
1276
1306
 
 
1307
    def _check_delta_is_valid(self, delta):
 
1308
        return list(inventory._check_delta_unique_ids(
 
1309
                    inventory._check_delta_unique_old_paths(
 
1310
                    inventory._check_delta_unique_new_paths(
 
1311
                    inventory._check_delta_ids_match_entry(
 
1312
                    inventory._check_delta_ids_are_valid(
 
1313
                    inventory._check_delta_new_path_entry_both_or_None(delta)))))))
 
1314
 
1277
1315
    def update_by_delta(self, delta):
1278
1316
        """Apply an inventory delta to the dirstate for tree 0
1279
1317
 
 
1318
        This is the workhorse for apply_inventory_delta in dirstate based
 
1319
        trees.
 
1320
 
1280
1321
        :param delta: An inventory delta.  See Inventory.apply_delta for
1281
1322
            details.
1282
1323
        """
1283
1324
        self._read_dirblocks_if_needed()
 
1325
        encode = cache_utf8.encode
1284
1326
        insertions = {}
1285
1327
        removals = {}
1286
 
        for old_path, new_path, file_id, inv_entry in sorted(delta, reverse=True):
 
1328
        # Accumulate parent references (path_utf8, id), to check for parentless
 
1329
        # items or items placed under files/links/tree-references. We get
 
1330
        # references from every item in the delta that is not a deletion and
 
1331
        # is not itself the root.
 
1332
        parents = set()
 
1333
        # Added ids must not be in the dirstate already. This set holds those
 
1334
        # ids.
 
1335
        new_ids = set()
 
1336
        # This loop transforms the delta to single atomic operations that can
 
1337
        # be executed and validated.
 
1338
        delta = sorted(self._check_delta_is_valid(delta), reverse=True)
 
1339
        for old_path, new_path, file_id, inv_entry in delta:
1287
1340
            if (file_id in insertions) or (file_id in removals):
1288
 
                raise AssertionError("repeated file id in delta %r" % (file_id,))
 
1341
                self._raise_invalid(old_path or new_path, file_id,
 
1342
                    "repeated file_id")
1289
1343
            if old_path is not None:
1290
1344
                old_path = old_path.encode('utf-8')
1291
1345
                removals[file_id] = old_path
 
1346
            else:
 
1347
                new_ids.add(file_id)
1292
1348
            if new_path is not None:
 
1349
                if inv_entry is None:
 
1350
                    self._raise_invalid(new_path, file_id,
 
1351
                        "new_path with no entry")
1293
1352
                new_path = new_path.encode('utf-8')
1294
 
                dirname, basename = osutils.split(new_path)
1295
 
                key = (dirname, basename, file_id)
 
1353
                dirname_utf8, basename = osutils.split(new_path)
 
1354
                if basename:
 
1355
                    parents.add((dirname_utf8, inv_entry.parent_id))
 
1356
                key = (dirname_utf8, basename, file_id)
1296
1357
                minikind = DirState._kind_to_minikind[inv_entry.kind]
1297
1358
                if minikind == 't':
1298
 
                    fingerprint = inv_entry.reference_revision
 
1359
                    fingerprint = inv_entry.reference_revision or ''
1299
1360
                else:
1300
1361
                    fingerprint = ''
1301
1362
                insertions[file_id] = (key, minikind, inv_entry.executable,
1310
1371
                    minikind = child[1][0][0]
1311
1372
                    fingerprint = child[1][0][4]
1312
1373
                    executable = child[1][0][3]
1313
 
                    old_child_path = osutils.pathjoin(child[0][0],
1314
 
                                                      child[0][1])
 
1374
                    old_child_path = osutils.pathjoin(child_dirname,
 
1375
                                                      child_basename)
1315
1376
                    removals[child[0][2]] = old_child_path
1316
1377
                    child_suffix = child_dirname[len(old_path):]
1317
1378
                    new_child_dirname = (new_path + child_suffix)
1318
1379
                    key = (new_child_dirname, child_basename, child[0][2])
1319
 
                    new_child_path = os.path.join(new_child_dirname,
1320
 
                                                  child_basename)
 
1380
                    new_child_path = osutils.pathjoin(new_child_dirname,
 
1381
                                                      child_basename)
1321
1382
                    insertions[child[0][2]] = (key, minikind, executable,
1322
1383
                                               fingerprint, new_child_path)
1323
 
        self._apply_removals(removals.values())
1324
 
        self._apply_insertions(insertions.values())
 
1384
        self._check_delta_ids_absent(new_ids, delta, 0)
 
1385
        try:
 
1386
            self._apply_removals(removals.iteritems())
 
1387
            self._apply_insertions(insertions.values())
 
1388
            # Validate parents
 
1389
            self._after_delta_check_parents(parents, 0)
 
1390
        except errors.BzrError, e:
 
1391
            self._changes_aborted = True
 
1392
            if 'integrity error' not in str(e):
 
1393
                raise
 
1394
            # _get_entry raises BzrError when a request is inconsistent; we
 
1395
            # want such errors to be shown as InconsistentDelta - and that 
 
1396
            # fits the behaviour we trigger.
 
1397
            raise errors.InconsistentDeltaDelta(delta,
 
1398
                "error from _get_entry. %s" % (e,))
1325
1399
 
1326
1400
    def _apply_removals(self, removals):
1327
 
        for path in sorted(removals, reverse=True):
 
1401
        for file_id, path in sorted(removals, reverse=True,
 
1402
            key=operator.itemgetter(1)):
1328
1403
            dirname, basename = osutils.split(path)
1329
1404
            block_i, entry_i, d_present, f_present = \
1330
1405
                self._get_block_entry_index(dirname, basename, 0)
1331
 
            entry = self._dirblocks[block_i][1][entry_i]
 
1406
            try:
 
1407
                entry = self._dirblocks[block_i][1][entry_i]
 
1408
            except IndexError:
 
1409
                self._raise_invalid(path, file_id,
 
1410
                    "Wrong path for old path.")
 
1411
            if not f_present or entry[1][0][0] in 'ar':
 
1412
                self._raise_invalid(path, file_id,
 
1413
                    "Wrong path for old path.")
 
1414
            if file_id != entry[0][2]:
 
1415
                self._raise_invalid(path, file_id,
 
1416
                    "Attempt to remove path has wrong id - found %r."
 
1417
                    % entry[0][2])
1332
1418
            self._make_absent(entry)
1333
1419
            # See if we have a malformed delta: deleting a directory must not
1334
1420
            # leave crud behind. This increases the number of bisects needed
1342
1428
                # be due to it being in a parent tree, or a corrupt delta.
1343
1429
                for child_entry in self._dirblocks[block_i][1]:
1344
1430
                    if child_entry[1][0][0] not in ('r', 'a'):
1345
 
                        raise errors.InconsistentDelta(path, entry[0][2],
 
1431
                        self._raise_invalid(path, entry[0][2],
1346
1432
                            "The file id was deleted but its children were "
1347
1433
                            "not deleted.")
1348
1434
 
1349
1435
    def _apply_insertions(self, adds):
1350
 
        for key, minikind, executable, fingerprint, path_utf8 in sorted(adds):
1351
 
            self.update_minimal(key, minikind, executable, fingerprint,
1352
 
                                path_utf8=path_utf8)
 
1436
        try:
 
1437
            for key, minikind, executable, fingerprint, path_utf8 in sorted(adds):
 
1438
                self.update_minimal(key, minikind, executable, fingerprint,
 
1439
                                    path_utf8=path_utf8)
 
1440
        except errors.NotVersionedError:
 
1441
            self._raise_invalid(path_utf8.decode('utf8'), key[2],
 
1442
                "Missing parent")
1353
1443
 
1354
1444
    def update_basis_by_delta(self, delta, new_revid):
1355
1445
        """Update the parents of this tree after a commit.
1362
1452
        Note that an exception during the operation of this method will leave
1363
1453
        the dirstate in a corrupt state where it should not be saved.
1364
1454
 
1365
 
        Finally, we expect all changes to be synchronising the basis tree with
1366
 
        the working tree.
1367
 
 
1368
1455
        :param new_revid: The new revision id for the trees parent.
1369
1456
        :param delta: An inventory delta (see apply_inventory_delta) describing
1370
1457
            the changes from the current left most parent revision to new_revid.
1382
1469
 
1383
1470
        self._parents[0] = new_revid
1384
1471
 
1385
 
        delta = sorted(delta, reverse=True)
 
1472
        delta = sorted(self._check_delta_is_valid(delta), reverse=True)
1386
1473
        adds = []
1387
1474
        changes = []
1388
1475
        deletes = []
1399
1486
        # At the same time, to reduce interface friction we convert the input
1400
1487
        # inventory entries to dirstate.
1401
1488
        root_only = ('', '')
 
1489
        # Accumulate parent references (path_utf8, id), to check for parentless
 
1490
        # items or items placed under files/links/tree-references. We get
 
1491
        # references from every item in the delta that is not a deletion and
 
1492
        # is not itself the root.
 
1493
        parents = set()
 
1494
        # Added ids must not be in the dirstate already. This set holds those
 
1495
        # ids.
 
1496
        new_ids = set()
1402
1497
        for old_path, new_path, file_id, inv_entry in delta:
1403
 
            if old_path is None:
1404
 
                adds.append((None, encode(new_path), file_id,
 
1498
            if inv_entry is not None and file_id != inv_entry.file_id:
 
1499
                self._raise_invalid(new_path, file_id,
 
1500
                    "mismatched entry file_id %r" % inv_entry)
 
1501
            if new_path is None:
 
1502
                new_path_utf8 = None
 
1503
            else:
 
1504
                if inv_entry is None:
 
1505
                    self._raise_invalid(new_path, file_id,
 
1506
                        "new_path with no entry")
 
1507
                new_path_utf8 = encode(new_path)
 
1508
                # note the parent for validation
 
1509
                dirname_utf8, basename_utf8 = osutils.split(new_path_utf8)
 
1510
                if basename_utf8:
 
1511
                    parents.add((dirname_utf8, inv_entry.parent_id))
 
1512
            if old_path is None:
 
1513
                old_path_utf8 = None
 
1514
            else:
 
1515
                old_path_utf8 = encode(old_path)
 
1516
            if old_path is None:
 
1517
                adds.append((None, new_path_utf8, file_id,
1405
1518
                    inv_to_entry(inv_entry), True))
 
1519
                new_ids.add(file_id)
1406
1520
            elif new_path is None:
1407
 
                deletes.append((encode(old_path), None, file_id, None, True))
1408
 
            elif (old_path, new_path) != root_only:
 
1521
                deletes.append((old_path_utf8, None, file_id, None, True))
 
1522
            elif (old_path, new_path) == root_only:
 
1523
                # change things in-place
 
1524
                # Note: the case of a parent directory changing its file_id
 
1525
                #       tends to break optimizations here, because officially
 
1526
                #       the file has actually been moved, it just happens to
 
1527
                #       end up at the same path. If we can figure out how to
 
1528
                #       handle that case, we can avoid a lot of add+delete
 
1529
                #       pairs for objects that stay put.
 
1530
                # elif old_path == new_path:
 
1531
                changes.append((old_path_utf8, new_path_utf8, file_id,
 
1532
                                inv_to_entry(inv_entry)))
 
1533
            else:
1409
1534
                # Renames:
1410
1535
                # Because renames must preserve their children we must have
1411
1536
                # processed all relocations and removes before hand. The sort
1420
1545
                # for 'r' items on every pass.
1421
1546
                self._update_basis_apply_deletes(deletes)
1422
1547
                deletes = []
1423
 
                new_path_utf8 = encode(new_path)
1424
1548
                # Split into an add/delete pair recursively.
1425
 
                adds.append((None, new_path_utf8, file_id,
1426
 
                    inv_to_entry(inv_entry), False))
 
1549
                adds.append((old_path_utf8, new_path_utf8, file_id,
 
1550
                             inv_to_entry(inv_entry), False))
1427
1551
                # Expunge deletes that we've seen so that deleted/renamed
1428
1552
                # children of a rename directory are handled correctly.
1429
 
                new_deletes = reversed(list(self._iter_child_entries(1,
1430
 
                    encode(old_path))))
 
1553
                new_deletes = reversed(list(
 
1554
                    self._iter_child_entries(1, old_path_utf8)))
1431
1555
                # Remove the current contents of the tree at orig_path, and
1432
1556
                # reinsert at the correct new path.
1433
1557
                for entry in new_deletes:
1434
 
                    if entry[0][0]:
1435
 
                        source_path = entry[0][0] + '/' + entry[0][1]
 
1558
                    child_dirname, child_basename, child_file_id = entry[0]
 
1559
                    if child_dirname:
 
1560
                        source_path = child_dirname + '/' + child_basename
1436
1561
                    else:
1437
 
                        source_path = entry[0][1]
 
1562
                        source_path = child_basename
1438
1563
                    if new_path_utf8:
1439
 
                        target_path = new_path_utf8 + source_path[len(old_path):]
 
1564
                        target_path = \
 
1565
                            new_path_utf8 + source_path[len(old_path_utf8):]
1440
1566
                    else:
1441
 
                        if old_path == '':
 
1567
                        if old_path_utf8 == '':
1442
1568
                            raise AssertionError("cannot rename directory to"
1443
 
                                " itself")
1444
 
                        target_path = source_path[len(old_path) + 1:]
 
1569
                                                 " itself")
 
1570
                        target_path = source_path[len(old_path_utf8) + 1:]
1445
1571
                    adds.append((None, target_path, entry[0][2], entry[1][1], False))
1446
1572
                    deletes.append(
1447
1573
                        (source_path, target_path, entry[0][2], None, False))
1448
1574
                deletes.append(
1449
 
                    (encode(old_path), new_path, file_id, None, False))
1450
 
            else:
1451
 
                # changes to just the root should not require remove/insertion
1452
 
                # of everything.
1453
 
                changes.append((encode(old_path), encode(new_path), file_id,
1454
 
                    inv_to_entry(inv_entry)))
1455
 
 
1456
 
        # Finish expunging deletes/first half of renames.
1457
 
        self._update_basis_apply_deletes(deletes)
1458
 
        # Reinstate second half of renames and new paths.
1459
 
        self._update_basis_apply_adds(adds)
1460
 
        # Apply in-situ changes.
1461
 
        self._update_basis_apply_changes(changes)
1462
 
 
1463
 
        self._dirblock_state = DirState.IN_MEMORY_MODIFIED
1464
 
        self._header_state = DirState.IN_MEMORY_MODIFIED
 
1575
                    (old_path_utf8, new_path_utf8, file_id, None, False))
 
1576
 
 
1577
        self._check_delta_ids_absent(new_ids, delta, 1)
 
1578
        try:
 
1579
            # Finish expunging deletes/first half of renames.
 
1580
            self._update_basis_apply_deletes(deletes)
 
1581
            # Reinstate second half of renames and new paths.
 
1582
            self._update_basis_apply_adds(adds)
 
1583
            # Apply in-situ changes.
 
1584
            self._update_basis_apply_changes(changes)
 
1585
            # Validate parents
 
1586
            self._after_delta_check_parents(parents, 1)
 
1587
        except errors.BzrError, e:
 
1588
            self._changes_aborted = True
 
1589
            if 'integrity error' not in str(e):
 
1590
                raise
 
1591
            # _get_entry raises BzrError when a request is inconsistent; we
 
1592
            # want such errors to be shown as InconsistentDelta - and that
 
1593
            # fits the behaviour we trigger.
 
1594
            raise errors.InconsistentDeltaDelta(delta,
 
1595
                "error from _get_entry. %s" % (e,))
 
1596
 
 
1597
        self._mark_modified(header_modified=True)
1465
1598
        self._id_index = None
1466
1599
        return
1467
1600
 
 
1601
    def _check_delta_ids_absent(self, new_ids, delta, tree_index):
 
1602
        """Check that none of the file_ids in new_ids are present in a tree."""
 
1603
        if not new_ids:
 
1604
            return
 
1605
        id_index = self._get_id_index()
 
1606
        for file_id in new_ids:
 
1607
            for key in id_index.get(file_id, ()):
 
1608
                block_i, entry_i, d_present, f_present = \
 
1609
                    self._get_block_entry_index(key[0], key[1], tree_index)
 
1610
                if not f_present:
 
1611
                    # In a different tree
 
1612
                    continue
 
1613
                entry = self._dirblocks[block_i][1][entry_i]
 
1614
                if entry[0][2] != file_id:
 
1615
                    # Different file_id, so not what we want.
 
1616
                    continue
 
1617
                self._raise_invalid(("%s/%s" % key[0:2]).decode('utf8'), file_id,
 
1618
                    "This file_id is new in the delta but already present in "
 
1619
                    "the target")
 
1620
 
 
1621
    def _raise_invalid(self, path, file_id, reason):
 
1622
        self._changes_aborted = True
 
1623
        raise errors.InconsistentDelta(path, file_id, reason)
 
1624
 
1468
1625
    def _update_basis_apply_adds(self, adds):
1469
1626
        """Apply a sequence of adds to tree 1 during update_basis_by_delta.
1470
1627
 
1478
1635
        """
1479
1636
        # Adds are accumulated partly from renames, so can be in any input
1480
1637
        # order - sort it.
1481
 
        adds.sort()
 
1638
        # TODO: we may want to sort in dirblocks order. That way each entry
 
1639
        #       will end up in the same directory, allowing the _get_entry
 
1640
        #       fast-path for looking up 2 items in the same dir work.
 
1641
        adds.sort(key=lambda x: x[1])
1482
1642
        # adds is now in lexographic order, which places all parents before
1483
1643
        # their children, so we can process it linearly.
1484
1644
        absent = 'ar'
 
1645
        st = static_tuple.StaticTuple
1485
1646
        for old_path, new_path, file_id, new_details, real_add in adds:
1486
 
            # the entry for this file_id must be in tree 0.
1487
 
            entry = self._get_entry(0, file_id, new_path)
1488
 
            if entry[0] is None or entry[0][2] != file_id:
1489
 
                self._changes_aborted = True
1490
 
                raise errors.InconsistentDelta(new_path, file_id,
1491
 
                    'working tree does not contain new entry')
1492
 
            if real_add and entry[1][1][0] not in absent:
1493
 
                self._changes_aborted = True
1494
 
                raise errors.InconsistentDelta(new_path, file_id,
1495
 
                    'The entry was considered to be a genuinely new record,'
1496
 
                    ' but there was already an old record for it.')
1497
 
            # We don't need to update the target of an 'r' because the handling
1498
 
            # of renames turns all 'r' situations into a delete at the original
1499
 
            # location.
1500
 
            entry[1][1] = new_details
 
1647
            dirname, basename = osutils.split(new_path)
 
1648
            entry_key = st(dirname, basename, file_id)
 
1649
            block_index, present = self._find_block_index_from_key(entry_key)
 
1650
            if not present:
 
1651
                self._raise_invalid(new_path, file_id,
 
1652
                    "Unable to find block for this record."
 
1653
                    " Was the parent added?")
 
1654
            block = self._dirblocks[block_index][1]
 
1655
            entry_index, present = self._find_entry_index(entry_key, block)
 
1656
            if real_add:
 
1657
                if old_path is not None:
 
1658
                    self._raise_invalid(new_path, file_id,
 
1659
                        'considered a real add but still had old_path at %s'
 
1660
                        % (old_path,))
 
1661
            if present:
 
1662
                entry = block[entry_index]
 
1663
                basis_kind = entry[1][1][0]
 
1664
                if basis_kind == 'a':
 
1665
                    entry[1][1] = new_details
 
1666
                elif basis_kind == 'r':
 
1667
                    raise NotImplementedError()
 
1668
                else:
 
1669
                    self._raise_invalid(new_path, file_id,
 
1670
                        "An entry was marked as a new add"
 
1671
                        " but the basis target already existed")
 
1672
            else:
 
1673
                # The exact key was not found in the block. However, we need to
 
1674
                # check if there is a key next to us that would have matched.
 
1675
                # We only need to check 2 locations, because there are only 2
 
1676
                # trees present.
 
1677
                for maybe_index in range(entry_index-1, entry_index+1):
 
1678
                    if maybe_index < 0 or maybe_index >= len(block):
 
1679
                        continue
 
1680
                    maybe_entry = block[maybe_index]
 
1681
                    if maybe_entry[0][:2] != (dirname, basename):
 
1682
                        # Just a random neighbor
 
1683
                        continue
 
1684
                    if maybe_entry[0][2] == file_id:
 
1685
                        raise AssertionError(
 
1686
                            '_find_entry_index didnt find a key match'
 
1687
                            ' but walking the data did, for %s'
 
1688
                            % (entry_key,))
 
1689
                    basis_kind = maybe_entry[1][1][0]
 
1690
                    if basis_kind not in 'ar':
 
1691
                        self._raise_invalid(new_path, file_id,
 
1692
                            "we have an add record for path, but the path"
 
1693
                            " is already present with another file_id %s"
 
1694
                            % (maybe_entry[0][2],))
 
1695
 
 
1696
                entry = (entry_key, [DirState.NULL_PARENT_DETAILS,
 
1697
                                     new_details])
 
1698
                block.insert(entry_index, entry)
 
1699
 
 
1700
            active_kind = entry[1][0][0]
 
1701
            if active_kind == 'a':
 
1702
                # The active record shows up as absent, this could be genuine,
 
1703
                # or it could be present at some other location. We need to
 
1704
                # verify.
 
1705
                id_index = self._get_id_index()
 
1706
                # The id_index may not be perfectly accurate for tree1, because
 
1707
                # we haven't been keeping it updated. However, it should be
 
1708
                # fine for tree0, and that gives us enough info for what we
 
1709
                # need
 
1710
                keys = id_index.get(file_id, ())
 
1711
                for key in keys:
 
1712
                    block_i, entry_i, d_present, f_present = \
 
1713
                        self._get_block_entry_index(key[0], key[1], 0)
 
1714
                    if not f_present:
 
1715
                        continue
 
1716
                    active_entry = self._dirblocks[block_i][1][entry_i]
 
1717
                    if (active_entry[0][2] != file_id):
 
1718
                        # Some other file is at this path, we don't need to
 
1719
                        # link it.
 
1720
                        continue
 
1721
                    real_active_kind = active_entry[1][0][0]
 
1722
                    if real_active_kind in 'ar':
 
1723
                        # We found a record, which was not *this* record,
 
1724
                        # which matches the file_id, but is not actually
 
1725
                        # present. Something seems *really* wrong.
 
1726
                        self._raise_invalid(new_path, file_id,
 
1727
                            "We found a tree0 entry that doesnt make sense")
 
1728
                    # Now, we've found a tree0 entry which matches the file_id
 
1729
                    # but is at a different location. So update them to be
 
1730
                    # rename records.
 
1731
                    active_dir, active_name = active_entry[0][:2]
 
1732
                    if active_dir:
 
1733
                        active_path = active_dir + '/' + active_name
 
1734
                    else:
 
1735
                        active_path = active_name
 
1736
                    active_entry[1][1] = st('r', new_path, 0, False, '')
 
1737
                    entry[1][0] = st('r', active_path, 0, False, '')
 
1738
            elif active_kind == 'r':
 
1739
                raise NotImplementedError()
 
1740
 
 
1741
            new_kind = new_details[0]
 
1742
            if new_kind == 'd':
 
1743
                self._ensure_block(block_index, entry_index, new_path)
1501
1744
 
1502
1745
    def _update_basis_apply_changes(self, changes):
1503
1746
        """Apply a sequence of changes to tree 1 during update_basis_by_delta.
1508
1751
        absent = 'ar'
1509
1752
        for old_path, new_path, file_id, new_details in changes:
1510
1753
            # the entry for this file_id must be in tree 0.
1511
 
            entry = self._get_entry(0, file_id, new_path)
1512
 
            if entry[0] is None or entry[0][2] != file_id:
1513
 
                self._changes_aborted = True
1514
 
                raise errors.InconsistentDelta(new_path, file_id,
1515
 
                    'working tree does not contain new entry')
1516
 
            if (entry[1][0][0] in absent or
1517
 
                entry[1][1][0] in absent):
1518
 
                self._changes_aborted = True
1519
 
                raise errors.InconsistentDelta(new_path, file_id,
1520
 
                    'changed considered absent')
 
1754
            entry = self._get_entry(1, file_id, new_path)
 
1755
            if entry[0] is None or entry[1][1][0] in 'ar':
 
1756
                self._raise_invalid(new_path, file_id,
 
1757
                    'changed entry considered not present')
1521
1758
            entry[1][1] = new_details
1522
1759
 
1523
1760
    def _update_basis_apply_deletes(self, deletes):
1535
1772
        null = DirState.NULL_PARENT_DETAILS
1536
1773
        for old_path, new_path, file_id, _, real_delete in deletes:
1537
1774
            if real_delete != (new_path is None):
1538
 
                raise AssertionError("bad delete delta")
 
1775
                self._raise_invalid(old_path, file_id, "bad delete delta")
1539
1776
            # the entry for this file_id must be in tree 1.
1540
1777
            dirname, basename = osutils.split(old_path)
1541
1778
            block_index, entry_index, dir_present, file_present = \
1542
1779
                self._get_block_entry_index(dirname, basename, 1)
1543
1780
            if not file_present:
1544
 
                self._changes_aborted = True
1545
 
                raise errors.InconsistentDelta(old_path, file_id,
 
1781
                self._raise_invalid(old_path, file_id,
1546
1782
                    'basis tree does not contain removed entry')
1547
1783
            entry = self._dirblocks[block_index][1][entry_index]
 
1784
            # The state of the entry in the 'active' WT
 
1785
            active_kind = entry[1][0][0]
1548
1786
            if entry[0][2] != file_id:
1549
 
                self._changes_aborted = True
1550
 
                raise errors.InconsistentDelta(old_path, file_id,
 
1787
                self._raise_invalid(old_path, file_id,
1551
1788
                    'mismatched file_id in tree 1')
1552
 
            if real_delete:
1553
 
                if entry[1][0][0] != 'a':
1554
 
                    self._changes_aborted = True
1555
 
                    raise errors.InconsistentDelta(old_path, file_id,
1556
 
                            'This was marked as a real delete, but the WT state'
1557
 
                            ' claims that it still exists and is versioned.')
 
1789
            dir_block = ()
 
1790
            old_kind = entry[1][1][0]
 
1791
            if active_kind in 'ar':
 
1792
                # The active tree doesn't have this file_id.
 
1793
                # The basis tree is changing this record. If this is a
 
1794
                # rename, then we don't want the record here at all
 
1795
                # anymore. If it is just an in-place change, we want the
 
1796
                # record here, but we'll add it if we need to. So we just
 
1797
                # delete it
 
1798
                if active_kind == 'r':
 
1799
                    active_path = entry[1][0][1]
 
1800
                    active_entry = self._get_entry(0, file_id, active_path)
 
1801
                    if active_entry[1][1][0] != 'r':
 
1802
                        self._raise_invalid(old_path, file_id,
 
1803
                            "Dirstate did not have matching rename entries")
 
1804
                    elif active_entry[1][0][0] in 'ar':
 
1805
                        self._raise_invalid(old_path, file_id,
 
1806
                            "Dirstate had a rename pointing at an inactive"
 
1807
                            " tree0")
 
1808
                    active_entry[1][1] = null
1558
1809
                del self._dirblocks[block_index][1][entry_index]
 
1810
                if old_kind == 'd':
 
1811
                    # This was a directory, and the active tree says it
 
1812
                    # doesn't exist, and now the basis tree says it doesn't
 
1813
                    # exist. Remove its dirblock if present
 
1814
                    (dir_block_index,
 
1815
                     present) = self._find_block_index_from_key(
 
1816
                        (old_path, '', ''))
 
1817
                    if present:
 
1818
                        dir_block = self._dirblocks[dir_block_index][1]
 
1819
                        if not dir_block:
 
1820
                            # This entry is empty, go ahead and just remove it
 
1821
                            del self._dirblocks[dir_block_index]
1559
1822
            else:
1560
 
                if entry[1][0][0] == 'a':
1561
 
                    self._changes_aborted = True
1562
 
                    raise errors.InconsistentDelta(old_path, file_id,
1563
 
                        'The entry was considered a rename, but the source path'
1564
 
                        ' is marked as absent.')
1565
 
                    # For whatever reason, we were asked to rename an entry
1566
 
                    # that was originally marked as deleted. This could be
1567
 
                    # because we are renaming the parent directory, and the WT
1568
 
                    # current state has the file marked as deleted.
1569
 
                elif entry[1][0][0] == 'r':
1570
 
                    # implement the rename
1571
 
                    del self._dirblocks[block_index][1][entry_index]
1572
 
                else:
1573
 
                    # it is being resurrected here, so blank it out temporarily.
1574
 
                    self._dirblocks[block_index][1][entry_index][1][1] = null
 
1823
                # There is still an active record, so just mark this
 
1824
                # removed.
 
1825
                entry[1][1] = null
 
1826
                block_i, entry_i, d_present, f_present = \
 
1827
                    self._get_block_entry_index(old_path, '', 1)
 
1828
                if d_present:
 
1829
                    dir_block = self._dirblocks[block_i][1]
 
1830
            for child_entry in dir_block:
 
1831
                child_basis_kind = child_entry[1][1][0]
 
1832
                if child_basis_kind not in 'ar':
 
1833
                    self._raise_invalid(old_path, file_id,
 
1834
                        "The file id was deleted but its children were "
 
1835
                        "not deleted.")
 
1836
 
 
1837
    def _after_delta_check_parents(self, parents, index):
 
1838
        """Check that parents required by the delta are all intact.
 
1839
        
 
1840
        :param parents: An iterable of (path_utf8, file_id) tuples which are
 
1841
            required to be present in tree 'index' at path_utf8 with id file_id
 
1842
            and be a directory.
 
1843
        :param index: The column in the dirstate to check for parents in.
 
1844
        """
 
1845
        for dirname_utf8, file_id in parents:
 
1846
            # Get the entry - the ensures that file_id, dirname_utf8 exists and
 
1847
            # has the right file id.
 
1848
            entry = self._get_entry(index, file_id, dirname_utf8)
 
1849
            if entry[1] is None:
 
1850
                self._raise_invalid(dirname_utf8.decode('utf8'),
 
1851
                    file_id, "This parent is not present.")
 
1852
            # Parents of things must be directories
 
1853
            if entry[1][index][0] != 'd':
 
1854
                self._raise_invalid(dirname_utf8.decode('utf8'),
 
1855
                    file_id, "This parent is not a directory.")
1575
1856
 
1576
1857
    def _observed_sha1(self, entry, sha1, stat_value,
1577
 
        _stat_to_minikind=_stat_to_minikind, _pack_stat=pack_stat):
 
1858
        _stat_to_minikind=_stat_to_minikind):
1578
1859
        """Note the sha1 of a file.
1579
1860
 
1580
1861
        :param entry: The entry the sha1 is for.
1586
1867
        except KeyError:
1587
1868
            # Unhandled kind
1588
1869
            return None
1589
 
        packed_stat = _pack_stat(stat_value)
1590
1870
        if minikind == 'f':
1591
1871
            if self._cutoff_time is None:
1592
1872
                self._sha_cutoff_time()
1593
1873
            if (stat_value.st_mtime < self._cutoff_time
1594
1874
                and stat_value.st_ctime < self._cutoff_time):
1595
 
                entry[1][0] = ('f', sha1, entry[1][0][2], entry[1][0][3],
1596
 
                    packed_stat)
1597
 
                self._dirblock_state = DirState.IN_MEMORY_MODIFIED
 
1875
                entry[1][0] = ('f', sha1, stat_value.st_size, entry[1][0][3],
 
1876
                               pack_stat(stat_value))
 
1877
                self._mark_modified([entry])
1598
1878
 
1599
1879
    def _sha_cutoff_time(self):
1600
1880
        """Return cutoff time.
1644
1924
            # paths are produced by UnicodeDirReader on purpose.
1645
1925
            abspath = abspath.encode(fs_encoding)
1646
1926
        target = os.readlink(abspath)
1647
 
        if fs_encoding not in ('UTF-8', 'US-ASCII', 'ANSI_X3.4-1968'):
 
1927
        if fs_encoding not in ('utf-8', 'ascii'):
1648
1928
            # Change encoding if needed
1649
1929
            target = target.decode(fs_encoding).encode('UTF-8')
1650
1930
        return target
1658
1938
        """Serialise the entire dirstate to a sequence of lines."""
1659
1939
        if (self._header_state == DirState.IN_MEMORY_UNMODIFIED and
1660
1940
            self._dirblock_state == DirState.IN_MEMORY_UNMODIFIED):
1661
 
            # read whats on disk.
 
1941
            # read what's on disk.
1662
1942
            self._state_file.seek(0)
1663
1943
            return self._state_file.readlines()
1664
1944
        lines = []
1665
1945
        lines.append(self._get_parents_line(self.get_parent_ids()))
1666
1946
        lines.append(self._get_ghosts_line(self._ghosts))
1667
 
        # append the root line which is special cased
1668
 
        lines.extend(map(self._entry_to_line, self._iter_entries()))
 
1947
        lines.extend(self._get_entry_lines())
1669
1948
        return self._get_output_lines(lines)
1670
1949
 
1671
1950
    def _get_ghosts_line(self, ghost_ids):
1676
1955
        """Create a line for the state file for parents information."""
1677
1956
        return '\0'.join([str(len(parent_ids))] + parent_ids)
1678
1957
 
 
1958
    def _get_entry_lines(self):
 
1959
        """Create lines for entries."""
 
1960
        return map(self._entry_to_line, self._iter_entries())
 
1961
 
1679
1962
    def _get_fields_to_entry(self):
1680
1963
        """Get a function which converts entry fields into a entry record.
1681
1964
 
1799
2082
            entry_index += 1
1800
2083
        return block_index, entry_index, True, False
1801
2084
 
1802
 
    def _get_entry(self, tree_index, fileid_utf8=None, path_utf8=None, include_deleted=False):
 
2085
    def _get_entry(self, tree_index, fileid_utf8=None, path_utf8=None,
 
2086
                   include_deleted=False):
1803
2087
        """Get the dirstate entry for path in tree tree_index.
1804
2088
 
1805
2089
        If either file_id or path is supplied, it is used as the key to lookup.
1821
2105
        self._read_dirblocks_if_needed()
1822
2106
        if path_utf8 is not None:
1823
2107
            if type(path_utf8) is not str:
1824
 
                raise AssertionError('path_utf8 is not a str: %s %s'
 
2108
                raise errors.BzrError('path_utf8 is not a str: %s %r'
1825
2109
                    % (type(path_utf8), path_utf8))
1826
2110
            # path lookups are faster
1827
2111
            dirname, basename = osutils.split(path_utf8)
1839
2123
                                          ' tree_index, file_id and path')
1840
2124
            return entry
1841
2125
        else:
1842
 
            possible_keys = self._get_id_index().get(fileid_utf8, None)
 
2126
            possible_keys = self._get_id_index().get(fileid_utf8, ())
1843
2127
            if not possible_keys:
1844
2128
                return None, None
1845
2129
            for key in possible_keys:
1856
2140
                entry_index, present = self._find_entry_index(key, block)
1857
2141
                if present:
1858
2142
                    entry = self._dirblocks[block_index][1][entry_index]
 
2143
                    # TODO: We might want to assert that entry[0][2] ==
 
2144
                    #       fileid_utf8.
1859
2145
                    if entry[1][tree_index][0] in 'fdlt':
1860
2146
                        # this is the result we are looking for: the
1861
2147
                        # real home of this file_id in this tree.
1945
2231
            executable = False
1946
2232
        else:
1947
2233
            raise Exception("can't pack %s" % inv_entry)
1948
 
        return (minikind, fingerprint, size, executable, tree_data)
 
2234
        return static_tuple.StaticTuple(minikind, fingerprint, size,
 
2235
                                        executable, tree_data)
1949
2236
 
1950
2237
    def _iter_child_entries(self, tree_index, path_utf8):
1951
2238
        """Iterate over all the entries that are children of path_utf.
2000
2287
                yield entry
2001
2288
 
2002
2289
    def _get_id_index(self):
2003
 
        """Get an id index of self._dirblocks."""
 
2290
        """Get an id index of self._dirblocks.
 
2291
 
 
2292
        This maps from file_id => [(directory, name, file_id)] entries where
 
2293
        that file_id appears in one of the trees.
 
2294
        """
2004
2295
        if self._id_index is None:
2005
2296
            id_index = {}
2006
2297
            for key, tree_details in self._iter_entries():
2007
 
                id_index.setdefault(key[2], set()).add(key)
 
2298
                self._add_to_id_index(id_index, key)
2008
2299
            self._id_index = id_index
2009
2300
        return self._id_index
2010
2301
 
 
2302
    def _add_to_id_index(self, id_index, entry_key):
 
2303
        """Add this entry to the _id_index mapping."""
 
2304
        # This code used to use a set for every entry in the id_index. However,
 
2305
        # it is *rare* to have more than one entry. So a set is a large
 
2306
        # overkill. And even when we do, we won't ever have more than the
 
2307
        # number of parent trees. Which is still a small number (rarely >2). As
 
2308
        # such, we use a simple tuple, and do our own uniqueness checks. While
 
2309
        # the 'in' check is O(N) since N is nicely bounded it shouldn't ever
 
2310
        # cause quadratic failure.
 
2311
        file_id = entry_key[2]
 
2312
        entry_key = static_tuple.StaticTuple.from_sequence(entry_key)
 
2313
        if file_id not in id_index:
 
2314
            id_index[file_id] = static_tuple.StaticTuple(entry_key,)
 
2315
        else:
 
2316
            entry_keys = id_index[file_id]
 
2317
            if entry_key not in entry_keys:
 
2318
                id_index[file_id] = entry_keys + (entry_key,)
 
2319
 
 
2320
    def _remove_from_id_index(self, id_index, entry_key):
 
2321
        """Remove this entry from the _id_index mapping.
 
2322
 
 
2323
        It is an programming error to call this when the entry_key is not
 
2324
        already present.
 
2325
        """
 
2326
        file_id = entry_key[2]
 
2327
        entry_keys = list(id_index[file_id])
 
2328
        entry_keys.remove(entry_key)
 
2329
        id_index[file_id] = static_tuple.StaticTuple.from_sequence(entry_keys)
 
2330
 
2011
2331
    def _get_output_lines(self, lines):
2012
2332
        """Format lines for final output.
2013
2333
 
2033
2353
        """The number of parent entries in each record row."""
2034
2354
        return len(self._parents) - len(self._ghosts)
2035
2355
 
2036
 
    @staticmethod
2037
 
    def on_file(path, sha1_provider=None):
 
2356
    @classmethod
 
2357
    def on_file(cls, path, sha1_provider=None, worth_saving_limit=0):
2038
2358
        """Construct a DirState on the file at path "path".
2039
2359
 
2040
2360
        :param path: The path at which the dirstate file on disk should live.
2041
2361
        :param sha1_provider: an object meeting the SHA1Provider interface.
2042
2362
            If None, a DefaultSHA1Provider is used.
 
2363
        :param worth_saving_limit: when the exact number of hash changed
 
2364
            entries is known, only bother saving the dirstate if more than
 
2365
            this count of entries have changed. -1 means never save.
2043
2366
        :return: An unlocked DirState object, associated with the given path.
2044
2367
        """
2045
2368
        if sha1_provider is None:
2046
2369
            sha1_provider = DefaultSHA1Provider()
2047
 
        result = DirState(path, sha1_provider)
 
2370
        result = cls(path, sha1_provider,
 
2371
                     worth_saving_limit=worth_saving_limit)
2048
2372
        return result
2049
2373
 
2050
2374
    def _read_dirblocks_if_needed(self):
2108
2432
            raise errors.BzrError('missing num_entries line')
2109
2433
        self._num_entries = int(num_entries_line[len('num_entries: '):-1])
2110
2434
 
2111
 
    def sha1_from_stat(self, path, stat_result, _pack_stat=pack_stat):
 
2435
    def sha1_from_stat(self, path, stat_result):
2112
2436
        """Find a sha1 given a stat lookup."""
2113
 
        return self._get_packed_stat_index().get(_pack_stat(stat_result), None)
 
2437
        return self._get_packed_stat_index().get(pack_stat(stat_result), None)
2114
2438
 
2115
2439
    def _get_packed_stat_index(self):
2116
2440
        """Get a packed_stat index of self._dirblocks."""
2142
2466
            trace.mutter('Not saving DirState because '
2143
2467
                    '_changes_aborted is set.')
2144
2468
            return
2145
 
        if (self._header_state == DirState.IN_MEMORY_MODIFIED or
2146
 
            self._dirblock_state == DirState.IN_MEMORY_MODIFIED):
 
2469
        # TODO: Since we now distinguish IN_MEMORY_MODIFIED from
 
2470
        #       IN_MEMORY_HASH_MODIFIED, we should only fail quietly if we fail
 
2471
        #       to save an IN_MEMORY_HASH_MODIFIED, and fail *noisily* if we
 
2472
        #       fail to save IN_MEMORY_MODIFIED
 
2473
        if not self._worth_saving():
 
2474
            return
2147
2475
 
2148
 
            grabbed_write_lock = False
2149
 
            if self._lock_state != 'w':
2150
 
                grabbed_write_lock, new_lock = self._lock_token.temporary_write_lock()
2151
 
                # Switch over to the new lock, as the old one may be closed.
 
2476
        grabbed_write_lock = False
 
2477
        if self._lock_state != 'w':
 
2478
            grabbed_write_lock, new_lock = self._lock_token.temporary_write_lock()
 
2479
            # Switch over to the new lock, as the old one may be closed.
 
2480
            # TODO: jam 20070315 We should validate the disk file has
 
2481
            #       not changed contents, since temporary_write_lock may
 
2482
            #       not be an atomic operation.
 
2483
            self._lock_token = new_lock
 
2484
            self._state_file = new_lock.f
 
2485
            if not grabbed_write_lock:
 
2486
                # We couldn't grab a write lock, so we switch back to a read one
 
2487
                return
 
2488
        try:
 
2489
            lines = self.get_lines()
 
2490
            self._state_file.seek(0)
 
2491
            self._state_file.writelines(lines)
 
2492
            self._state_file.truncate()
 
2493
            self._state_file.flush()
 
2494
            self._maybe_fdatasync()
 
2495
            self._mark_unmodified()
 
2496
        finally:
 
2497
            if grabbed_write_lock:
 
2498
                self._lock_token = self._lock_token.restore_read_lock()
 
2499
                self._state_file = self._lock_token.f
2152
2500
                # TODO: jam 20070315 We should validate the disk file has
2153
 
                #       not changed contents. Since temporary_write_lock may
2154
 
                #       not be an atomic operation.
2155
 
                self._lock_token = new_lock
2156
 
                self._state_file = new_lock.f
2157
 
                if not grabbed_write_lock:
2158
 
                    # We couldn't grab a write lock, so we switch back to a read one
2159
 
                    return
2160
 
            try:
2161
 
                self._state_file.seek(0)
2162
 
                self._state_file.writelines(self.get_lines())
2163
 
                self._state_file.truncate()
2164
 
                self._state_file.flush()
2165
 
                self._header_state = DirState.IN_MEMORY_UNMODIFIED
2166
 
                self._dirblock_state = DirState.IN_MEMORY_UNMODIFIED
2167
 
            finally:
2168
 
                if grabbed_write_lock:
2169
 
                    self._lock_token = self._lock_token.restore_read_lock()
2170
 
                    self._state_file = self._lock_token.f
2171
 
                    # TODO: jam 20070315 We should validate the disk file has
2172
 
                    #       not changed contents. Since restore_read_lock may
2173
 
                    #       not be an atomic operation.
 
2501
                #       not changed contents. Since restore_read_lock may
 
2502
                #       not be an atomic operation.                
 
2503
 
 
2504
    def _maybe_fdatasync(self):
 
2505
        """Flush to disk if possible and if not configured off."""
 
2506
        if self._config_stack.get('dirstate.fdatasync'):
 
2507
            osutils.fdatasync(self._state_file.fileno())
 
2508
 
 
2509
    def _worth_saving(self):
 
2510
        """Is it worth saving the dirstate or not?"""
 
2511
        if (self._header_state == DirState.IN_MEMORY_MODIFIED
 
2512
            or self._dirblock_state == DirState.IN_MEMORY_MODIFIED):
 
2513
            return True
 
2514
        if self._dirblock_state == DirState.IN_MEMORY_HASH_MODIFIED:
 
2515
            if self._worth_saving_limit == -1:
 
2516
                # We never save hash changes when the limit is -1
 
2517
                return False
 
2518
            # If we're using smart saving and only a small number of
 
2519
            # entries have changed their hash, don't bother saving. John has
 
2520
            # suggested using a heuristic here based on the size of the
 
2521
            # changed files and/or tree. For now, we go with a configurable
 
2522
            # number of changes, keeping the calculation time
 
2523
            # as low overhead as possible. (This also keeps all existing
 
2524
            # tests passing as the default is 0, i.e. always save.)
 
2525
            if len(self._known_hash_changes) >= self._worth_saving_limit:
 
2526
                return True
 
2527
        return False
2174
2528
 
2175
2529
    def _set_data(self, parent_ids, dirblocks):
2176
2530
        """Set the full dirstate data in memory.
2185
2539
        """
2186
2540
        # our memory copy is now authoritative.
2187
2541
        self._dirblocks = dirblocks
2188
 
        self._header_state = DirState.IN_MEMORY_MODIFIED
2189
 
        self._dirblock_state = DirState.IN_MEMORY_MODIFIED
 
2542
        self._mark_modified(header_modified=True)
2190
2543
        self._parents = list(parent_ids)
2191
2544
        self._id_index = None
2192
2545
        self._packed_stat_index = None
2212
2565
        self._make_absent(entry)
2213
2566
        self.update_minimal(('', '', new_id), 'd',
2214
2567
            path_utf8='', packed_stat=entry[1][0][4])
2215
 
        self._dirblock_state = DirState.IN_MEMORY_MODIFIED
 
2568
        self._mark_modified()
 
2569
        # XXX: This was added by Ian, we need to make sure there
 
2570
        #      are tests for it, because it isn't in bzr.dev TRUNK
 
2571
        #      It looks like the only place it is called is in setting the root
 
2572
        #      id of the tree. So probably we never had an _id_index when we
 
2573
        #      don't even have a root yet.
2216
2574
        if self._id_index is not None:
2217
 
            self._id_index.setdefault(new_id, set()).add(entry[0])
 
2575
            self._add_to_id_index(self._id_index, entry[0])
2218
2576
 
2219
2577
    def set_parent_trees(self, trees, ghosts):
2220
2578
        """Set the parent trees for the dirstate.
2265
2623
        parent_trees = [tree for rev_id, tree in trees if rev_id not in ghosts]
2266
2624
        # how many trees do we end up with
2267
2625
        parent_count = len(parent_trees)
 
2626
        st = static_tuple.StaticTuple
2268
2627
 
2269
2628
        # one: the current tree
2270
2629
        for entry in self._iter_entries():
2273
2632
                continue
2274
2633
            by_path[entry[0]] = [entry[1][0]] + \
2275
2634
                [DirState.NULL_PARENT_DETAILS] * parent_count
2276
 
            id_index[entry[0][2]] = set([entry[0]])
 
2635
            # TODO: Possibly inline this, since we know it isn't present yet
 
2636
            #       id_index[entry[0][2]] = (entry[0],)
 
2637
            self._add_to_id_index(id_index, entry[0])
2277
2638
 
2278
2639
        # now the parent trees:
2279
2640
        for tree_index, tree in enumerate(parent_trees):
2285
2646
            # the suffix is from tree_index+1:parent_count+1.
2286
2647
            new_location_suffix = [DirState.NULL_PARENT_DETAILS] * (parent_count - tree_index)
2287
2648
            # now stitch in all the entries from this tree
2288
 
            for path, entry in tree.inventory.iter_entries_by_dir():
 
2649
            last_dirname = None
 
2650
            for path, entry in tree.iter_entries_by_dir():
2289
2651
                # here we process each trees details for each item in the tree.
2290
2652
                # we first update any existing entries for the id at other paths,
2291
2653
                # then we either create or update the entry for the id at the
2298
2660
                file_id = entry.file_id
2299
2661
                path_utf8 = path.encode('utf8')
2300
2662
                dirname, basename = osutils.split(path_utf8)
2301
 
                new_entry_key = (dirname, basename, file_id)
 
2663
                if dirname == last_dirname:
 
2664
                    # Try to re-use objects as much as possible
 
2665
                    dirname = last_dirname
 
2666
                else:
 
2667
                    last_dirname = dirname
 
2668
                new_entry_key = st(dirname, basename, file_id)
2302
2669
                # tree index consistency: All other paths for this id in this tree
2303
2670
                # index must point to the correct path.
2304
 
                for entry_key in id_index.setdefault(file_id, set()):
 
2671
                entry_keys = id_index.get(file_id, ())
 
2672
                for entry_key in entry_keys:
2305
2673
                    # TODO:PROFILING: It might be faster to just update
2306
2674
                    # rather than checking if we need to, and then overwrite
2307
2675
                    # the one we are located at.
2310
2678
                        # other trees, so put absent pointers there
2311
2679
                        # This is the vertical axis in the matrix, all pointing
2312
2680
                        # to the real path.
2313
 
                        by_path[entry_key][tree_index] = ('r', path_utf8, 0, False, '')
2314
 
                # by path consistency: Insert into an existing path record (trivial), or
2315
 
                # add a new one with relocation pointers for the other tree indexes.
2316
 
                if new_entry_key in id_index[file_id]:
2317
 
                    # there is already an entry where this data belongs, just insert it.
 
2681
                        by_path[entry_key][tree_index] = st('r', path_utf8, 0,
 
2682
                                                            False, '')
 
2683
                # by path consistency: Insert into an existing path record
 
2684
                # (trivial), or add a new one with relocation pointers for the
 
2685
                # other tree indexes.
 
2686
                if new_entry_key in entry_keys:
 
2687
                    # there is already an entry where this data belongs, just
 
2688
                    # insert it.
2318
2689
                    by_path[new_entry_key][tree_index] = \
2319
2690
                        self._inv_entry_to_details(entry)
2320
2691
                else:
2324
2695
                    new_details = []
2325
2696
                    for lookup_index in xrange(tree_index):
2326
2697
                        # boundary case: this is the first occurence of file_id
2327
 
                        # so there are no id_indexs, possibly take this out of
 
2698
                        # so there are no id_indexes, possibly take this out of
2328
2699
                        # the loop?
2329
 
                        if not len(id_index[file_id]):
 
2700
                        if not len(entry_keys):
2330
2701
                            new_details.append(DirState.NULL_PARENT_DETAILS)
2331
2702
                        else:
2332
2703
                            # grab any one entry, use it to find the right path.
2333
 
                            # TODO: optimise this to reduce memory use in highly
2334
 
                            # fragmented situations by reusing the relocation
2335
 
                            # records.
2336
 
                            a_key = iter(id_index[file_id]).next()
 
2704
                            a_key = iter(entry_keys).next()
2337
2705
                            if by_path[a_key][lookup_index][0] in ('r', 'a'):
2338
 
                                # its a pointer or missing statement, use it as is.
 
2706
                                # its a pointer or missing statement, use it as
 
2707
                                # is.
2339
2708
                                new_details.append(by_path[a_key][lookup_index])
2340
2709
                            else:
2341
2710
                                # we have the right key, make a pointer to it.
2342
2711
                                real_path = ('/'.join(a_key[0:2])).strip('/')
2343
 
                                new_details.append(('r', real_path, 0, False, ''))
 
2712
                                new_details.append(st('r', real_path, 0, False,
 
2713
                                                      ''))
2344
2714
                    new_details.append(self._inv_entry_to_details(entry))
2345
2715
                    new_details.extend(new_location_suffix)
2346
2716
                    by_path[new_entry_key] = new_details
2347
 
                    id_index[file_id].add(new_entry_key)
 
2717
                    self._add_to_id_index(id_index, new_entry_key)
2348
2718
        # --- end generation of full tree mappings
2349
2719
 
2350
2720
        # sort and output all the entries
2352
2722
        self._entries_to_current_state(new_entries)
2353
2723
        self._parents = [rev_id for rev_id, tree in trees]
2354
2724
        self._ghosts = list(ghosts)
2355
 
        self._header_state = DirState.IN_MEMORY_MODIFIED
2356
 
        self._dirblock_state = DirState.IN_MEMORY_MODIFIED
 
2725
        self._mark_modified(header_modified=True)
2357
2726
        self._id_index = id_index
2358
2727
 
2359
2728
    def _sort_entries(self, entry_list):
2363
2732
        try to keep everything in sorted blocks all the time, but sometimes
2364
2733
        it's easier to sort after the fact.
2365
2734
        """
2366
 
        def _key(entry):
 
2735
        # When sorting, we usually have 10x more entries than directories. (69k
 
2736
        # total entries, 4k directories). So cache the results of splitting.
 
2737
        # Saving time and objects. Also, use StaticTuple to avoid putting all
 
2738
        # of these object into python's garbage collector.
 
2739
        split_dirs = {}
 
2740
        def _key(entry, _split_dirs=split_dirs, _st=static_tuple.StaticTuple):
2367
2741
            # sort by: directory parts, file name, file id
2368
 
            return entry[0][0].split('/'), entry[0][1], entry[0][2]
 
2742
            dirpath, fname, file_id = entry[0]
 
2743
            try:
 
2744
                split = _split_dirs[dirpath]
 
2745
            except KeyError:
 
2746
                split = _st.from_sequence(dirpath.split('/'))
 
2747
                _split_dirs[dirpath] = split
 
2748
            return _st(split, fname, file_id)
2369
2749
        return sorted(entry_list, key=_key)
2370
2750
 
2371
2751
    def set_state_from_inventory(self, new_inv):
2379
2759
        if 'evil' in debug.debug_flags:
2380
2760
            trace.mutter_callsite(1,
2381
2761
                "set_state_from_inventory called; please mutate the tree instead")
 
2762
        tracing = 'dirstate' in debug.debug_flags
 
2763
        if tracing:
 
2764
            trace.mutter("set_state_from_inventory trace:")
2382
2765
        self._read_dirblocks_if_needed()
2383
2766
        # sketch:
2384
2767
        # Two iterators: current data and new data, both in dirblock order.
2393
2776
        new_iterator = new_inv.iter_entries_by_dir()
2394
2777
        # we will be modifying the dirstate, so we need a stable iterator. In
2395
2778
        # future we might write one, for now we just clone the state into a
2396
 
        # list - which is a shallow copy.
 
2779
        # list using a copy so that we see every original item and don't have
 
2780
        # to adjust the position when items are inserted or deleted in the
 
2781
        # underlying dirstate.
2397
2782
        old_iterator = iter(list(self._iter_entries()))
2398
2783
        # both must have roots so this is safe:
2399
2784
        current_new = new_iterator.next()
2433
2818
            # we make both end conditions explicit
2434
2819
            if not current_old:
2435
2820
                # old is finished: insert current_new into the state.
 
2821
                if tracing:
 
2822
                    trace.mutter("Appending from new '%s'.",
 
2823
                        new_path_utf8.decode('utf8'))
2436
2824
                self.update_minimal(new_entry_key, current_new_minikind,
2437
2825
                    executable=current_new[1].executable,
2438
 
                    path_utf8=new_path_utf8, fingerprint=fingerprint)
 
2826
                    path_utf8=new_path_utf8, fingerprint=fingerprint,
 
2827
                    fullscan=True)
2439
2828
                current_new = advance(new_iterator)
2440
2829
            elif not current_new:
2441
2830
                # new is finished
 
2831
                if tracing:
 
2832
                    trace.mutter("Truncating from old '%s/%s'.",
 
2833
                        current_old[0][0].decode('utf8'),
 
2834
                        current_old[0][1].decode('utf8'))
2442
2835
                self._make_absent(current_old)
2443
2836
                current_old = advance(old_iterator)
2444
2837
            elif new_entry_key == current_old[0]:
2451
2844
                # kind has changed.
2452
2845
                if (current_old[1][0][3] != current_new[1].executable or
2453
2846
                    current_old[1][0][0] != current_new_minikind):
 
2847
                    if tracing:
 
2848
                        trace.mutter("Updating in-place change '%s'.",
 
2849
                            new_path_utf8.decode('utf8'))
2454
2850
                    self.update_minimal(current_old[0], current_new_minikind,
2455
2851
                        executable=current_new[1].executable,
2456
 
                        path_utf8=new_path_utf8, fingerprint=fingerprint)
 
2852
                        path_utf8=new_path_utf8, fingerprint=fingerprint,
 
2853
                        fullscan=True)
2457
2854
                # both sides are dealt with, move on
2458
2855
                current_old = advance(old_iterator)
2459
2856
                current_new = advance(new_iterator)
2462
2859
                      and new_entry_key[1:] < current_old[0][1:])):
2463
2860
                # new comes before:
2464
2861
                # add a entry for this and advance new
 
2862
                if tracing:
 
2863
                    trace.mutter("Inserting from new '%s'.",
 
2864
                        new_path_utf8.decode('utf8'))
2465
2865
                self.update_minimal(new_entry_key, current_new_minikind,
2466
2866
                    executable=current_new[1].executable,
2467
 
                    path_utf8=new_path_utf8, fingerprint=fingerprint)
 
2867
                    path_utf8=new_path_utf8, fingerprint=fingerprint,
 
2868
                    fullscan=True)
2468
2869
                current_new = advance(new_iterator)
2469
2870
            else:
2470
2871
                # we've advanced past the place where the old key would be,
2471
2872
                # without seeing it in the new list.  so it must be gone.
 
2873
                if tracing:
 
2874
                    trace.mutter("Deleting from old '%s/%s'.",
 
2875
                        current_old[0][0].decode('utf8'),
 
2876
                        current_old[0][1].decode('utf8'))
2472
2877
                self._make_absent(current_old)
2473
2878
                current_old = advance(old_iterator)
2474
 
        self._dirblock_state = DirState.IN_MEMORY_MODIFIED
 
2879
        self._mark_modified()
2475
2880
        self._id_index = None
2476
2881
        self._packed_stat_index = None
 
2882
        if tracing:
 
2883
            trace.mutter("set_state_from_inventory complete.")
 
2884
 
 
2885
    def set_state_from_scratch(self, working_inv, parent_trees, parent_ghosts):
 
2886
        """Wipe the currently stored state and set it to something new.
 
2887
 
 
2888
        This is a hard-reset for the data we are working with.
 
2889
        """
 
2890
        # Technically, we really want a write lock, but until we write, we
 
2891
        # don't really need it.
 
2892
        self._requires_lock()
 
2893
        # root dir and root dir contents with no children. We have to have a
 
2894
        # root for set_state_from_inventory to work correctly.
 
2895
        empty_root = (('', '', inventory.ROOT_ID),
 
2896
                      [('d', '', 0, False, DirState.NULLSTAT)])
 
2897
        empty_tree_dirblocks = [('', [empty_root]), ('', [])]
 
2898
        self._set_data([], empty_tree_dirblocks)
 
2899
        self.set_state_from_inventory(working_inv)
 
2900
        self.set_parent_trees(parent_trees, parent_ghosts)
2477
2901
 
2478
2902
    def _make_absent(self, current_old):
2479
2903
        """Mark current_old - an entry - as absent for tree 0.
2505
2929
            block[1].pop(entry_index)
2506
2930
            # if we have an id_index in use, remove this key from it for this id.
2507
2931
            if self._id_index is not None:
2508
 
                self._id_index[current_old[0][2]].remove(current_old[0])
 
2932
                self._remove_from_id_index(self._id_index, current_old[0])
2509
2933
        # update all remaining keys for this id to record it as absent. The
2510
2934
        # existing details may either be the record we are marking as deleted
2511
2935
        # (if there were other trees with the id present at this path), or may
2524
2948
            if update_tree_details[0][0] == 'a': # absent
2525
2949
                raise AssertionError('bad row %r' % (update_tree_details,))
2526
2950
            update_tree_details[0] = DirState.NULL_PARENT_DETAILS
2527
 
        self._dirblock_state = DirState.IN_MEMORY_MODIFIED
 
2951
        self._mark_modified()
2528
2952
        return last_reference
2529
2953
 
2530
2954
    def update_minimal(self, key, minikind, executable=False, fingerprint='',
2531
 
                       packed_stat=None, size=0, path_utf8=None):
 
2955
        packed_stat=None, size=0, path_utf8=None, fullscan=False):
2532
2956
        """Update an entry to the state in tree 0.
2533
2957
 
2534
2958
        This will either create a new entry at 'key' or update an existing one.
2545
2969
        :param size: Size information for new entry
2546
2970
        :param path_utf8: key[0] + '/' + key[1], just passed in to avoid doing
2547
2971
                extra computation.
 
2972
        :param fullscan: If True then a complete scan of the dirstate is being
 
2973
            done and checking for duplicate rows should not be done. This
 
2974
            should only be set by set_state_from_inventory and similar methods.
2548
2975
 
2549
2976
        If packed_stat and fingerprint are not given, they're invalidated in
2550
2977
        the entry.
2559
2986
        new_details = (minikind, fingerprint, size, executable, packed_stat)
2560
2987
        id_index = self._get_id_index()
2561
2988
        if not present:
 
2989
            # New record. Check there isn't a entry at this path already.
 
2990
            if not fullscan:
 
2991
                low_index, _ = self._find_entry_index(key[0:2] + ('',), block)
 
2992
                while low_index < len(block):
 
2993
                    entry = block[low_index]
 
2994
                    if entry[0][0:2] == key[0:2]:
 
2995
                        if entry[1][0][0] not in 'ar':
 
2996
                            # This entry has the same path (but a different id) as
 
2997
                            # the new entry we're adding, and is present in ths
 
2998
                            # tree.
 
2999
                            self._raise_invalid(
 
3000
                                ("%s/%s" % key[0:2]).decode('utf8'), key[2],
 
3001
                                "Attempt to add item at path already occupied by "
 
3002
                                "id %r" % entry[0][2])
 
3003
                        low_index += 1
 
3004
                    else:
 
3005
                        break
2562
3006
            # new entry, synthesis cross reference here,
2563
 
            existing_keys = id_index.setdefault(key[2], set())
 
3007
            existing_keys = id_index.get(key[2], ())
2564
3008
            if not existing_keys:
2565
3009
                # not currently in the state, simplest case
2566
3010
                new_entry = key, [new_details] + self._empty_parent_info()
2569
3013
                # grab one of them and use it to generate parent
2570
3014
                # relocation/absent entries.
2571
3015
                new_entry = key, [new_details]
2572
 
                for other_key in existing_keys:
 
3016
                # existing_keys can be changed as we iterate.
 
3017
                for other_key in tuple(existing_keys):
2573
3018
                    # change the record at other to be a pointer to this new
2574
3019
                    # record. The loop looks similar to the change to
2575
3020
                    # relocations when updating an existing record but its not:
2576
3021
                    # the test for existing kinds is different: this can be
2577
3022
                    # factored out to a helper though.
2578
 
                    other_block_index, present = self._find_block_index_from_key(other_key)
2579
 
                    if not present:
2580
 
                        raise AssertionError('could not find block for %s' % (other_key,))
2581
 
                    other_entry_index, present = self._find_entry_index(other_key,
2582
 
                                            self._dirblocks[other_block_index][1])
2583
 
                    if not present:
2584
 
                        raise AssertionError('could not find entry for %s' % (other_key,))
 
3023
                    other_block_index, present = self._find_block_index_from_key(
 
3024
                        other_key)
 
3025
                    if not present:
 
3026
                        raise AssertionError('could not find block for %s' % (
 
3027
                            other_key,))
 
3028
                    other_block = self._dirblocks[other_block_index][1]
 
3029
                    other_entry_index, present = self._find_entry_index(
 
3030
                        other_key, other_block)
 
3031
                    if not present:
 
3032
                        raise AssertionError(
 
3033
                            'update_minimal: could not find other entry for %s'
 
3034
                            % (other_key,))
2585
3035
                    if path_utf8 is None:
2586
3036
                        raise AssertionError('no path')
2587
 
                    self._dirblocks[other_block_index][1][other_entry_index][1][0] = \
2588
 
                        ('r', path_utf8, 0, False, '')
 
3037
                    # Turn this other location into a reference to the new
 
3038
                    # location. This also updates the aliased iterator
 
3039
                    # (current_old in set_state_from_inventory) so that the old
 
3040
                    # entry, if not already examined, is skipped over by that
 
3041
                    # loop.
 
3042
                    other_entry = other_block[other_entry_index]
 
3043
                    other_entry[1][0] = ('r', path_utf8, 0, False, '')
 
3044
                    if self._maybe_remove_row(other_block, other_entry_index,
 
3045
                                              id_index):
 
3046
                        # If the row holding this was removed, we need to
 
3047
                        # recompute where this entry goes
 
3048
                        entry_index, _ = self._find_entry_index(key, block)
2589
3049
 
 
3050
                # This loop:
 
3051
                # adds a tuple to the new details for each column
 
3052
                #  - either by copying an existing relocation pointer inside that column
 
3053
                #  - or by creating a new pointer to the right row inside that column
2590
3054
                num_present_parents = self._num_present_parents()
 
3055
                if num_present_parents:
 
3056
                    # TODO: This re-evaluates the existing_keys set, do we need
 
3057
                    #       to do that ourselves?
 
3058
                    other_key = list(existing_keys)[0]
2591
3059
                for lookup_index in xrange(1, num_present_parents + 1):
2592
3060
                    # grab any one entry, use it to find the right path.
2593
3061
                    # TODO: optimise this to reduce memory use in highly
2600
3068
                    update_entry_index, present = \
2601
3069
                        self._find_entry_index(other_key, self._dirblocks[update_block_index][1])
2602
3070
                    if not present:
2603
 
                        raise AssertionError('could not find entry for %s' % (other_key,))
 
3071
                        raise AssertionError('update_minimal: could not find entry for %s' % (other_key,))
2604
3072
                    update_details = self._dirblocks[update_block_index][1][update_entry_index][1][lookup_index]
2605
3073
                    if update_details[0] in 'ar': # relocated, absent
2606
3074
                        # its a pointer or absent in lookup_index's tree, use
2611
3079
                        pointer_path = osutils.pathjoin(*other_key[0:2])
2612
3080
                        new_entry[1].append(('r', pointer_path, 0, False, ''))
2613
3081
            block.insert(entry_index, new_entry)
2614
 
            existing_keys.add(key)
 
3082
            self._add_to_id_index(id_index, key)
2615
3083
        else:
2616
3084
            # Does the new state matter?
2617
3085
            block[entry_index][1][0] = new_details
2626
3094
            # converted to relocated.
2627
3095
            if path_utf8 is None:
2628
3096
                raise AssertionError('no path')
2629
 
            for entry_key in id_index.setdefault(key[2], set()):
 
3097
            existing_keys = id_index.get(key[2], ())
 
3098
            if key not in existing_keys:
 
3099
                raise AssertionError('We found the entry in the blocks, but'
 
3100
                    ' the key is not in the id_index.'
 
3101
                    ' key: %s, existing_keys: %s' % (key, existing_keys))
 
3102
            for entry_key in existing_keys:
2630
3103
                # TODO:PROFILING: It might be faster to just update
2631
3104
                # rather than checking if we need to, and then overwrite
2632
3105
                # the one we are located at.
2650
3123
            if not present:
2651
3124
                self._dirblocks.insert(block_index, (subdir_key[0], []))
2652
3125
 
2653
 
        self._dirblock_state = DirState.IN_MEMORY_MODIFIED
 
3126
        self._mark_modified()
 
3127
 
 
3128
    def _maybe_remove_row(self, block, index, id_index):
 
3129
        """Remove index if it is absent or relocated across the row.
 
3130
        
 
3131
        id_index is updated accordingly.
 
3132
        :return: True if we removed the row, False otherwise
 
3133
        """
 
3134
        present_in_row = False
 
3135
        entry = block[index]
 
3136
        for column in entry[1]:
 
3137
            if column[0] not in 'ar':
 
3138
                present_in_row = True
 
3139
                break
 
3140
        if not present_in_row:
 
3141
            block.pop(index)
 
3142
            self._remove_from_id_index(id_index, entry[0])
 
3143
            return True
 
3144
        return False
2654
3145
 
2655
3146
    def _validate(self):
2656
3147
        """Check that invariants on the dirblock are correct.
2791
3282
            if absent_positions == tree_count:
2792
3283
                raise AssertionError(
2793
3284
                    "entry %r has no data for any tree." % (entry,))
 
3285
        if self._id_index is not None:
 
3286
            for file_id, entry_keys in self._id_index.iteritems():
 
3287
                for entry_key in entry_keys:
 
3288
                    if entry_key[2] != file_id:
 
3289
                        raise AssertionError(
 
3290
                            'file_id %r did not match entry key %s'
 
3291
                            % (file_id, entry_key))
 
3292
                if len(entry_keys) != len(set(entry_keys)):
 
3293
                    raise AssertionError(
 
3294
                        'id_index contained non-unique data for %s'
 
3295
                        % (entry_keys,))
2794
3296
 
2795
3297
    def _wipe_state(self):
2796
3298
        """Forget all state information about the dirstate."""
2853
3355
 
2854
3356
 
2855
3357
def py_update_entry(state, entry, abspath, stat_value,
2856
 
                 _stat_to_minikind=DirState._stat_to_minikind,
2857
 
                 _pack_stat=pack_stat):
 
3358
                 _stat_to_minikind=DirState._stat_to_minikind):
2858
3359
    """Update the entry based on what is actually on disk.
2859
3360
 
2860
3361
    This function only calculates the sha if it needs to - if the entry is
2873
3374
    except KeyError:
2874
3375
        # Unhandled kind
2875
3376
        return None
2876
 
    packed_stat = _pack_stat(stat_value)
 
3377
    packed_stat = pack_stat(stat_value)
2877
3378
    (saved_minikind, saved_link_or_sha1, saved_file_size,
2878
3379
     saved_executable, saved_packed_stat) = entry[1][0]
2879
3380
 
2893
3394
    # If we have gotten this far, that means that we need to actually
2894
3395
    # process this entry.
2895
3396
    link_or_sha1 = None
 
3397
    worth_saving = True
2896
3398
    if minikind == 'f':
2897
3399
        executable = state._is_executable(stat_value.st_mode,
2898
3400
                                         saved_executable)
2914
3416
        else:
2915
3417
            entry[1][0] = ('f', '', stat_value.st_size,
2916
3418
                           executable, DirState.NULLSTAT)
 
3419
            worth_saving = False
2917
3420
    elif minikind == 'd':
2918
3421
        link_or_sha1 = None
2919
3422
        entry[1][0] = ('d', '', 0, False, packed_stat)
2925
3428
                state._get_block_entry_index(entry[0][0], entry[0][1], 0)
2926
3429
            state._ensure_block(block_index, entry_index,
2927
3430
                               osutils.pathjoin(entry[0][0], entry[0][1]))
 
3431
        else:
 
3432
            worth_saving = False
2928
3433
    elif minikind == 'l':
 
3434
        if saved_minikind == 'l':
 
3435
            worth_saving = False
2929
3436
        link_or_sha1 = state._read_link(abspath, saved_link_or_sha1)
2930
3437
        if state._cutoff_time is None:
2931
3438
            state._sha_cutoff_time()
2936
3443
        else:
2937
3444
            entry[1][0] = ('l', '', stat_value.st_size,
2938
3445
                           False, DirState.NULLSTAT)
2939
 
    state._dirblock_state = DirState.IN_MEMORY_MODIFIED
 
3446
    if worth_saving:
 
3447
        state._mark_modified([entry])
2940
3448
    return link_or_sha1
2941
 
update_entry = py_update_entry
2942
3449
 
2943
3450
 
2944
3451
class ProcessEntryPython(object):
2945
3452
 
2946
 
    __slots__ = ["old_dirname_to_file_id", "new_dirname_to_file_id", "uninteresting",
 
3453
    __slots__ = ["old_dirname_to_file_id", "new_dirname_to_file_id",
2947
3454
        "last_source_parent", "last_target_parent", "include_unchanged",
2948
 
        "use_filesystem_for_exec", "utf8_decode", "searched_specific_files",
2949
 
        "search_specific_files", "state", "source_index", "target_index",
2950
 
        "want_unversioned", "tree"]
 
3455
        "partial", "use_filesystem_for_exec", "utf8_decode",
 
3456
        "searched_specific_files", "search_specific_files",
 
3457
        "searched_exact_paths", "search_specific_file_parents", "seen_ids",
 
3458
        "state", "source_index", "target_index", "want_unversioned", "tree"]
2951
3459
 
2952
3460
    def __init__(self, include_unchanged, use_filesystem_for_exec,
2953
3461
        search_specific_files, state, source_index, target_index,
2954
3462
        want_unversioned, tree):
2955
3463
        self.old_dirname_to_file_id = {}
2956
3464
        self.new_dirname_to_file_id = {}
2957
 
        # Just a sentry, so that _process_entry can say that this
2958
 
        # record is handled, but isn't interesting to process (unchanged)
2959
 
        self.uninteresting = object()
 
3465
        # Are we doing a partial iter_changes?
 
3466
        self.partial = search_specific_files != set([''])
2960
3467
        # Using a list so that we can access the values and change them in
2961
3468
        # nested scope. Each one is [path, file_id, entry]
2962
3469
        self.last_source_parent = [None, None]
2965
3472
        self.use_filesystem_for_exec = use_filesystem_for_exec
2966
3473
        self.utf8_decode = cache_utf8._utf8_decode
2967
3474
        # for all search_indexs in each path at or under each element of
2968
 
        # search_specific_files, if the detail is relocated: add the id, and add the
2969
 
        # relocated path as one to search if its not searched already. If the
2970
 
        # detail is not relocated, add the id.
 
3475
        # search_specific_files, if the detail is relocated: add the id, and
 
3476
        # add the relocated path as one to search if its not searched already.
 
3477
        # If the detail is not relocated, add the id.
2971
3478
        self.searched_specific_files = set()
 
3479
        # When we search exact paths without expanding downwards, we record
 
3480
        # that here.
 
3481
        self.searched_exact_paths = set()
2972
3482
        self.search_specific_files = search_specific_files
 
3483
        # The parents up to the root of the paths we are searching.
 
3484
        # After all normal paths are returned, these specific items are returned.
 
3485
        self.search_specific_file_parents = set()
 
3486
        # The ids we've sent out in the delta.
 
3487
        self.seen_ids = set()
2973
3488
        self.state = state
2974
3489
        self.source_index = source_index
2975
3490
        self.target_index = target_index
 
3491
        if target_index != 0:
 
3492
            # A lot of code in here depends on target_index == 0
 
3493
            raise errors.BzrError('unsupported target index')
2976
3494
        self.want_unversioned = want_unversioned
2977
3495
        self.tree = tree
2978
3496
 
2980
3498
        """Compare an entry and real disk to generate delta information.
2981
3499
 
2982
3500
        :param path_info: top_relpath, basename, kind, lstat, abspath for
2983
 
            the path of entry. If None, then the path is considered absent.
2984
 
            (Perhaps we should pass in a concrete entry for this ?)
 
3501
            the path of entry. If None, then the path is considered absent in 
 
3502
            the target (Perhaps we should pass in a concrete entry for this ?)
2985
3503
            Basename is returned as a utf8 string because we expect this
2986
3504
            tuple will be ignored, and don't want to take the time to
2987
3505
            decode.
2988
 
        :return: None if these don't match
2989
 
                 A tuple of information about the change, or
2990
 
                 the object 'uninteresting' if these match, but are
2991
 
                 basically identical.
 
3506
        :return: (iter_changes_result, changed). If the entry has not been
 
3507
            handled then changed is None. Otherwise it is False if no content
 
3508
            or metadata changes have occurred, and True if any content or
 
3509
            metadata change has occurred. If self.include_unchanged is True then
 
3510
            if changed is not None, iter_changes_result will always be a result
 
3511
            tuple. Otherwise, iter_changes_result is None unless changed is
 
3512
            True.
2992
3513
        """
2993
3514
        if self.source_index is None:
2994
3515
            source_details = DirState.NULL_PARENT_DETAILS
3093
3614
                        content_change = False
3094
3615
                    target_exec = False
3095
3616
                else:
3096
 
                    raise Exception, "unknown kind %s" % path_info[2]
 
3617
                    if path is None:
 
3618
                        path = pathjoin(old_dirname, old_basename)
 
3619
                    raise errors.BadFileKindError(path, path_info[2])
3097
3620
            if source_minikind == 'd':
3098
3621
                if path is None:
3099
3622
                    old_path = path = pathjoin(old_dirname, old_basename)
3100
3623
                self.old_dirname_to_file_id[old_path] = file_id
3101
3624
            # parent id is the entry for the path in the target tree
3102
 
            if old_dirname == self.last_source_parent[0]:
 
3625
            if old_basename and old_dirname == self.last_source_parent[0]:
3103
3626
                source_parent_id = self.last_source_parent[1]
3104
3627
            else:
3105
3628
                try:
3115
3638
                    self.last_source_parent[0] = old_dirname
3116
3639
                    self.last_source_parent[1] = source_parent_id
3117
3640
            new_dirname = entry[0][0]
3118
 
            if new_dirname == self.last_target_parent[0]:
 
3641
            if entry[0][1] and new_dirname == self.last_target_parent[0]:
3119
3642
                target_parent_id = self.last_target_parent[1]
3120
3643
            else:
3121
3644
                try:
3138
3661
                    self.last_target_parent[1] = target_parent_id
3139
3662
 
3140
3663
            source_exec = source_details[3]
3141
 
            if (self.include_unchanged
3142
 
                or content_change
 
3664
            changed = (content_change
3143
3665
                or source_parent_id != target_parent_id
3144
3666
                or old_basename != entry[0][1]
3145
3667
                or source_exec != target_exec
3146
 
                ):
 
3668
                )
 
3669
            if not changed and not self.include_unchanged:
 
3670
                return None, False
 
3671
            else:
3147
3672
                if old_path is None:
3148
3673
                    old_path = path = pathjoin(old_dirname, old_basename)
3149
3674
                    old_path_u = self.utf8_decode(old_path)[0]
3162
3687
                       (source_parent_id, target_parent_id),
3163
3688
                       (self.utf8_decode(old_basename)[0], self.utf8_decode(entry[0][1])[0]),
3164
3689
                       (source_kind, target_kind),
3165
 
                       (source_exec, target_exec))
3166
 
            else:
3167
 
                return self.uninteresting
 
3690
                       (source_exec, target_exec)), changed
3168
3691
        elif source_minikind in 'a' and target_minikind in 'fdlt':
3169
3692
            # looks like a new file
3170
3693
            path = pathjoin(entry[0][0], entry[0][1])
3191
3714
                       (None, parent_id),
3192
3715
                       (None, self.utf8_decode(entry[0][1])[0]),
3193
3716
                       (None, path_info[2]),
3194
 
                       (None, target_exec))
 
3717
                       (None, target_exec)), True
3195
3718
            else:
3196
3719
                # Its a missing file, report it as such.
3197
3720
                return (entry[0][2],
3201
3724
                       (None, parent_id),
3202
3725
                       (None, self.utf8_decode(entry[0][1])[0]),
3203
3726
                       (None, None),
3204
 
                       (None, False))
 
3727
                       (None, False)), True
3205
3728
        elif source_minikind in 'fdlt' and target_minikind in 'a':
3206
3729
            # unversioned, possibly, or possibly not deleted: we dont care.
3207
3730
            # if its still on disk, *and* theres no other entry at this
3219
3742
                   (parent_id, None),
3220
3743
                   (self.utf8_decode(entry[0][1])[0], None),
3221
3744
                   (DirState._minikind_to_kind[source_minikind], None),
3222
 
                   (source_details[3], None))
 
3745
                   (source_details[3], None)), True
3223
3746
        elif source_minikind in 'fdlt' and target_minikind in 'r':
3224
3747
            # a rename; could be a true rename, or a rename inherited from
3225
3748
            # a renamed parent. TODO: handle this efficiently. Its not
3236
3759
            raise AssertionError("don't know how to compare "
3237
3760
                "source_minikind=%r, target_minikind=%r"
3238
3761
                % (source_minikind, target_minikind))
3239
 
            ## import pdb;pdb.set_trace()
3240
 
        return None
 
3762
        return None, None
3241
3763
 
3242
3764
    def __iter__(self):
3243
3765
        return self
3244
3766
 
 
3767
    def _gather_result_for_consistency(self, result):
 
3768
        """Check a result we will yield to make sure we are consistent later.
 
3769
        
 
3770
        This gathers result's parents into a set to output later.
 
3771
 
 
3772
        :param result: A result tuple.
 
3773
        """
 
3774
        if not self.partial or not result[0]:
 
3775
            return
 
3776
        self.seen_ids.add(result[0])
 
3777
        new_path = result[1][1]
 
3778
        if new_path:
 
3779
            # Not the root and not a delete: queue up the parents of the path.
 
3780
            self.search_specific_file_parents.update(
 
3781
                osutils.parent_directories(new_path.encode('utf8')))
 
3782
            # Add the root directory which parent_directories does not
 
3783
            # provide.
 
3784
            self.search_specific_file_parents.add('')
 
3785
 
3245
3786
    def iter_changes(self):
3246
3787
        """Iterate over the changes."""
3247
3788
        utf8_decode = cache_utf8._utf8_decode
3248
3789
        _cmp_by_dirs = cmp_by_dirs
3249
3790
        _process_entry = self._process_entry
3250
 
        uninteresting = self.uninteresting
3251
3791
        search_specific_files = self.search_specific_files
3252
3792
        searched_specific_files = self.searched_specific_files
3253
3793
        splitpath = osutils.splitpath
3323
3863
                continue
3324
3864
            path_handled = False
3325
3865
            for entry in root_entries:
3326
 
                result = _process_entry(entry, root_dir_info)
3327
 
                if result is not None:
 
3866
                result, changed = _process_entry(entry, root_dir_info)
 
3867
                if changed is not None:
3328
3868
                    path_handled = True
3329
 
                    if result is not uninteresting:
 
3869
                    if changed:
 
3870
                        self._gather_result_for_consistency(result)
 
3871
                    if changed or self.include_unchanged:
3330
3872
                        yield result
3331
3873
            if self.want_unversioned and not path_handled and root_dir_info:
3332
3874
                new_executable = bool(
3442
3984
                        for current_entry in current_block[1]:
3443
3985
                            # entry referring to file not present on disk.
3444
3986
                            # advance the entry only, after processing.
3445
 
                            result = _process_entry(current_entry, None)
3446
 
                            if result is not None:
3447
 
                                if result is not uninteresting:
 
3987
                            result, changed = _process_entry(current_entry, None)
 
3988
                            if changed is not None:
 
3989
                                if changed:
 
3990
                                    self._gather_result_for_consistency(result)
 
3991
                                if changed or self.include_unchanged:
3448
3992
                                    yield result
3449
3993
                        block_index +=1
3450
3994
                        if (block_index < len(self.state._dirblocks) and
3480
4024
                        pass
3481
4025
                    elif current_path_info is None:
3482
4026
                        # no path is fine: the per entry code will handle it.
3483
 
                        result = _process_entry(current_entry, current_path_info)
3484
 
                        if result is not None:
3485
 
                            if result is not uninteresting:
 
4027
                        result, changed = _process_entry(current_entry, current_path_info)
 
4028
                        if changed is not None:
 
4029
                            if changed:
 
4030
                                self._gather_result_for_consistency(result)
 
4031
                            if changed or self.include_unchanged:
3486
4032
                                yield result
3487
4033
                    elif (current_entry[0][1] != current_path_info[1]
3488
4034
                          or current_entry[1][self.target_index][0] in 'ar'):
3501
4047
                        else:
3502
4048
                            # entry referring to file not present on disk.
3503
4049
                            # advance the entry only, after processing.
3504
 
                            result = _process_entry(current_entry, None)
3505
 
                            if result is not None:
3506
 
                                if result is not uninteresting:
 
4050
                            result, changed = _process_entry(current_entry, None)
 
4051
                            if changed is not None:
 
4052
                                if changed:
 
4053
                                    self._gather_result_for_consistency(result)
 
4054
                                if changed or self.include_unchanged:
3507
4055
                                    yield result
3508
4056
                            advance_path = False
3509
4057
                    else:
3510
 
                        result = _process_entry(current_entry, current_path_info)
3511
 
                        if result is not None:
 
4058
                        result, changed = _process_entry(current_entry, current_path_info)
 
4059
                        if changed is not None:
3512
4060
                            path_handled = True
3513
 
                            if result is not uninteresting:
 
4061
                            if changed:
 
4062
                                self._gather_result_for_consistency(result)
 
4063
                            if changed or self.include_unchanged:
3514
4064
                                yield result
3515
4065
                    if advance_entry and current_entry is not None:
3516
4066
                        entry_index += 1
3575
4125
                        current_dir_info = dir_iterator.next()
3576
4126
                    except StopIteration:
3577
4127
                        current_dir_info = None
3578
 
_process_entry = ProcessEntryPython
 
4128
        for result in self._iter_specific_file_parents():
 
4129
            yield result
 
4130
 
 
4131
    def _iter_specific_file_parents(self):
 
4132
        """Iter over the specific file parents."""
 
4133
        while self.search_specific_file_parents:
 
4134
            # Process the parent directories for the paths we were iterating.
 
4135
            # Even in extremely large trees this should be modest, so currently
 
4136
            # no attempt is made to optimise.
 
4137
            path_utf8 = self.search_specific_file_parents.pop()
 
4138
            if osutils.is_inside_any(self.searched_specific_files, path_utf8):
 
4139
                # We've examined this path.
 
4140
                continue
 
4141
            if path_utf8 in self.searched_exact_paths:
 
4142
                # We've examined this path.
 
4143
                continue
 
4144
            path_entries = self.state._entries_for_path(path_utf8)
 
4145
            # We need either one or two entries. If the path in
 
4146
            # self.target_index has moved (so the entry in source_index is in
 
4147
            # 'ar') then we need to also look for the entry for this path in
 
4148
            # self.source_index, to output the appropriate delete-or-rename.
 
4149
            selected_entries = []
 
4150
            found_item = False
 
4151
            for candidate_entry in path_entries:
 
4152
                # Find entries present in target at this path:
 
4153
                if candidate_entry[1][self.target_index][0] not in 'ar':
 
4154
                    found_item = True
 
4155
                    selected_entries.append(candidate_entry)
 
4156
                # Find entries present in source at this path:
 
4157
                elif (self.source_index is not None and
 
4158
                    candidate_entry[1][self.source_index][0] not in 'ar'):
 
4159
                    found_item = True
 
4160
                    if candidate_entry[1][self.target_index][0] == 'a':
 
4161
                        # Deleted, emit it here.
 
4162
                        selected_entries.append(candidate_entry)
 
4163
                    else:
 
4164
                        # renamed, emit it when we process the directory it
 
4165
                        # ended up at.
 
4166
                        self.search_specific_file_parents.add(
 
4167
                            candidate_entry[1][self.target_index][1])
 
4168
            if not found_item:
 
4169
                raise AssertionError(
 
4170
                    "Missing entry for specific path parent %r, %r" % (
 
4171
                    path_utf8, path_entries))
 
4172
            path_info = self._path_info(path_utf8, path_utf8.decode('utf8'))
 
4173
            for entry in selected_entries:
 
4174
                if entry[0][2] in self.seen_ids:
 
4175
                    continue
 
4176
                result, changed = self._process_entry(entry, path_info)
 
4177
                if changed is None:
 
4178
                    raise AssertionError(
 
4179
                        "Got entry<->path mismatch for specific path "
 
4180
                        "%r entry %r path_info %r " % (
 
4181
                        path_utf8, entry, path_info))
 
4182
                # Only include changes - we're outside the users requested
 
4183
                # expansion.
 
4184
                if changed:
 
4185
                    self._gather_result_for_consistency(result)
 
4186
                    if (result[6][0] == 'directory' and
 
4187
                        result[6][1] != 'directory'):
 
4188
                        # This stopped being a directory, the old children have
 
4189
                        # to be included.
 
4190
                        if entry[1][self.source_index][0] == 'r':
 
4191
                            # renamed, take the source path
 
4192
                            entry_path_utf8 = entry[1][self.source_index][1]
 
4193
                        else:
 
4194
                            entry_path_utf8 = path_utf8
 
4195
                        initial_key = (entry_path_utf8, '', '')
 
4196
                        block_index, _ = self.state._find_block_index_from_key(
 
4197
                            initial_key)
 
4198
                        if block_index == 0:
 
4199
                            # The children of the root are in block index 1.
 
4200
                            block_index +=1
 
4201
                        current_block = None
 
4202
                        if block_index < len(self.state._dirblocks):
 
4203
                            current_block = self.state._dirblocks[block_index]
 
4204
                            if not osutils.is_inside(
 
4205
                                entry_path_utf8, current_block[0]):
 
4206
                                # No entries for this directory at all.
 
4207
                                current_block = None
 
4208
                        if current_block is not None:
 
4209
                            for entry in current_block[1]:
 
4210
                                if entry[1][self.source_index][0] in 'ar':
 
4211
                                    # Not in the source tree, so doesn't have to be
 
4212
                                    # included.
 
4213
                                    continue
 
4214
                                # Path of the entry itself.
 
4215
 
 
4216
                                self.search_specific_file_parents.add(
 
4217
                                    osutils.pathjoin(*entry[0][:2]))
 
4218
                if changed or self.include_unchanged:
 
4219
                    yield result
 
4220
            self.searched_exact_paths.add(path_utf8)
 
4221
 
 
4222
    def _path_info(self, utf8_path, unicode_path):
 
4223
        """Generate path_info for unicode_path.
 
4224
 
 
4225
        :return: None if unicode_path does not exist, or a path_info tuple.
 
4226
        """
 
4227
        abspath = self.tree.abspath(unicode_path)
 
4228
        try:
 
4229
            stat = os.lstat(abspath)
 
4230
        except OSError, e:
 
4231
            if e.errno == errno.ENOENT:
 
4232
                # the path does not exist.
 
4233
                return None
 
4234
            else:
 
4235
                raise
 
4236
        utf8_basename = utf8_path.rsplit('/', 1)[-1]
 
4237
        dir_info = (utf8_path, utf8_basename,
 
4238
            osutils.file_kind_from_stat_mode(stat.st_mode), stat,
 
4239
            abspath)
 
4240
        if dir_info[2] == 'directory':
 
4241
            if self.tree._directory_is_tree_reference(
 
4242
                unicode_path):
 
4243
                self.root_dir_info = self.root_dir_info[:2] + \
 
4244
                    ('tree-reference',) + self.root_dir_info[3:]
 
4245
        return dir_info
3579
4246
 
3580
4247
 
3581
4248
# Try to load the compiled form if possible
3582
4249
try:
3583
 
    from bzrlib._dirstate_helpers_c import (
3584
 
        _read_dirblocks_c as _read_dirblocks,
3585
 
        bisect_dirblock_c as bisect_dirblock,
3586
 
        _bisect_path_left_c as _bisect_path_left,
3587
 
        _bisect_path_right_c as _bisect_path_right,
3588
 
        cmp_by_dirs_c as cmp_by_dirs,
 
4250
    from bzrlib._dirstate_helpers_pyx import (
 
4251
        _read_dirblocks,
 
4252
        bisect_dirblock,
 
4253
        _bisect_path_left,
 
4254
        _bisect_path_right,
 
4255
        cmp_by_dirs,
 
4256
        pack_stat,
3589
4257
        ProcessEntryC as _process_entry,
3590
4258
        update_entry as update_entry,
3591
4259
        )
3592
 
except ImportError:
 
4260
except ImportError, e:
 
4261
    osutils.failed_to_load_extension(e)
3593
4262
    from bzrlib._dirstate_helpers_py import (
3594
 
        _read_dirblocks_py as _read_dirblocks,
3595
 
        bisect_dirblock_py as bisect_dirblock,
3596
 
        _bisect_path_left_py as _bisect_path_left,
3597
 
        _bisect_path_right_py as _bisect_path_right,
3598
 
        cmp_by_dirs_py as cmp_by_dirs,
 
4263
        _read_dirblocks,
 
4264
        bisect_dirblock,
 
4265
        _bisect_path_left,
 
4266
        _bisect_path_right,
 
4267
        cmp_by_dirs,
 
4268
        pack_stat,
3599
4269
        )
 
4270
    # FIXME: It would be nice to be able to track moved lines so that the
 
4271
    # corresponding python code can be moved to the _dirstate_helpers_py
 
4272
    # module. I don't want to break the history for this important piece of
 
4273
    # code so I left the code here -- vila 20090622
 
4274
    update_entry = py_update_entry
 
4275
    _process_entry = ProcessEntryPython