← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/_chk_map_pyx.pyx

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2010-02-17 13:49:11 UTC
  • mfrom: (4988.11.1 imports)
  • Revision ID: pqm@pqm.ubuntu.com-20100217134911-s77se00ni7xc1hz8
(Jelmer) Remove some unused imports.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/_chk_map_pyx.pyx
1
 
# Copyright (C) 2009, 2010 Canonical Ltd
 
1
# Copyright (C) 2009 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
35
35
    Py_ssize_t PyTuple_GET_SIZE(object t)
36
36
    int PyString_CheckExact(object)
37
37
    char *PyString_AS_STRING(object s)
38
 
    PyObject *PyString_FromStringAndSize_ptr "PyString_FromStringAndSize" (char *, Py_ssize_t)
39
38
    Py_ssize_t PyString_GET_SIZE(object)
40
 
    void PyString_InternInPlace(PyObject **)
41
 
    long PyInt_AS_LONG(object)
42
39
 
43
40
    int PyDict_SetItem(object d, object k, object v) except -1
44
41
 
 
42
    object PyTuple_New(Py_ssize_t count)
 
43
    void PyTuple_SET_ITEM(object t, Py_ssize_t offset, object)
 
44
 
45
45
    void Py_INCREF(object)
46
 
    void Py_DECREF_ptr "Py_DECREF" (PyObject *)
47
46
 
 
47
    PyObject * PyTuple_GET_ITEM_ptr "PyTuple_GET_ITEM" (object t,
 
48
                                                        Py_ssize_t offset)
 
49
    int PyString_CheckExact_ptr "PyString_CheckExact" (PyObject *p)
 
50
    Py_ssize_t PyString_GET_SIZE_ptr "PyString_GET_SIZE" (PyObject *s)
 
51
    char *PyString_AS_STRING_ptr "PyString_AS_STRING" (PyObject *s)
48
52
    object PyString_FromStringAndSize(char*, Py_ssize_t)
49
53
 
50
54
# cimport all of the definitions we will need to access
51
55
from _static_tuple_c cimport StaticTuple,\
52
56
    import_static_tuple_c, StaticTuple_New, \
53
 
    StaticTuple_Intern, StaticTuple_SET_ITEM, StaticTuple_CheckExact, \
54
 
    StaticTuple_GET_SIZE
55
 
 
56
 
cdef object crc32
57
 
from zlib import crc32
 
57
    StaticTuple_Intern, StaticTuple_SET_ITEM, StaticTuple_CheckExact
 
58
 
 
59
cdef extern from "_static_tuple_c.h":
 
60
    # Defined explicitly rather than cimport-ing. Trying to use cimport, the
 
61
    # type for PyObject is a different class that happens to have the same
 
62
    # name...
 
63
    PyObject * StaticTuple_GET_ITEM_ptr "StaticTuple_GET_ITEM" (StaticTuple,
 
64
                                                                Py_ssize_t)
 
65
 
 
66
cdef extern from "zlib.h":
 
67
    ctypedef unsigned long uLong
 
68
    ctypedef unsigned int uInt
 
69
    ctypedef unsigned char Bytef
 
70
 
 
71
    uLong crc32(uLong crc, Bytef *buf, uInt len)
58
72
 
59
73
 
60
74
# Set up the StaticTuple C_API functionality
82
96
    return NULL
83
97
 
84
98
 
85
 
cdef object safe_interned_string_from_size(char *s, Py_ssize_t size):
86
 
    cdef PyObject *py_str
87
 
    if size < 0:
88
 
        raise AssertionError(
89
 
            'tried to create a string with an invalid size: %d @0x%x'
90
 
            % (size, <int>s))
91
 
    py_str = PyString_FromStringAndSize_ptr(s, size)
92
 
    PyString_InternInPlace(&py_str)
93
 
    result = <object>py_str
94
 
    # Casting a PyObject* to an <object> triggers an INCREF from Pyrex, so we
95
 
    # DECREF it to avoid geting immortal strings
96
 
    Py_DECREF_ptr(py_str)
97
 
    return result
98
 
 
99
 
 
100
99
def _search_key_16(key):
101
100
    """See chk_map._search_key_16."""
102
101
    cdef Py_ssize_t num_bits
103
102
    cdef Py_ssize_t i, j
104
103
    cdef Py_ssize_t num_out_bytes
105
 
    cdef unsigned long crc_val
 
104
    cdef Bytef *c_bit
 
105
    cdef uLong c_len
 
106
    cdef uInt crc_val
106
107
    cdef Py_ssize_t out_off
107
108
    cdef char *c_out
 
109
    cdef PyObject *bit
108
110
 
 
111
    if not StaticTuple_CheckExact(key):
 
112
        raise TypeError('key %r is not a StaticTuple' % (key,))
109
113
    num_bits = len(key)
110
114
    # 4 bytes per crc32, and another 1 byte between bits
111
115
    num_out_bytes = (9 * num_bits) - 1
115
119
        if i > 0:
116
120
            c_out[0] = c'\x00'
117
121
            c_out = c_out + 1
118
 
        crc_val = PyInt_AS_LONG(crc32(key[i]))
 
122
        # We use the _ptr variant, because GET_ITEM returns a borrowed
 
123
        # reference, and Pyrex assumes that returned 'object' are a new
 
124
        # reference
 
125
        bit = StaticTuple_GET_ITEM_ptr(key, i)
 
126
        if not PyString_CheckExact_ptr(bit):
 
127
            raise TypeError('Bit %d of %r is not a string' % (i, key))
 
128
        c_bit = <Bytef *>PyString_AS_STRING_ptr(bit)
 
129
        c_len = PyString_GET_SIZE_ptr(bit)
 
130
        crc_val = crc32(0, c_bit, c_len)
119
131
        # Hex(val) order
120
132
        sprintf(c_out, '%08X', crc_val)
121
133
        c_out = c_out + 8
127
139
    cdef Py_ssize_t num_bits
128
140
    cdef Py_ssize_t i, j
129
141
    cdef Py_ssize_t num_out_bytes
130
 
    cdef unsigned long crc_val
 
142
    cdef Bytef *c_bit
 
143
    cdef uLong c_len
 
144
    cdef uInt crc_val
131
145
    cdef Py_ssize_t out_off
132
146
    cdef char *c_out
 
147
    cdef PyObject *bit
133
148
 
 
149
    if not StaticTuple_CheckExact(key):
 
150
        raise TypeError('key %r is not a StaticTuple' % (key,))
134
151
    num_bits = len(key)
135
152
    # 4 bytes per crc32, and another 1 byte between bits
136
153
    num_out_bytes = (5 * num_bits) - 1
140
157
        if i > 0:
141
158
            c_out[0] = c'\x00'
142
159
            c_out = c_out + 1
143
 
        crc_val = PyInt_AS_LONG(crc32(key[i]))
 
160
        bit = StaticTuple_GET_ITEM_ptr(key, i)
 
161
        if not PyString_CheckExact_ptr(bit):
 
162
            raise TypeError('Bit %d of %r is not a string: %r'
 
163
                            % (i, key, <object>bit))
 
164
        c_bit = <Bytef *>PyString_AS_STRING_ptr(bit)
 
165
        c_len = PyString_GET_SIZE_ptr(bit)
 
166
        crc_val = crc32(0, c_bit, c_len)
144
167
        # MSB order
145
168
        c_out[0] = (crc_val >> 24) & 0xFF
146
169
        c_out[1] = (crc_val >> 16) & 0xFF
175
198
    return value
176
199
 
177
200
 
178
 
cdef _import_globals():
179
 
    """Set the global attributes. Done lazy to avoid recursive import loops."""
180
 
    global _LeafNode, _InternalNode, _unknown
181
 
 
182
 
    from bzrlib import chk_map
183
 
    _LeafNode = chk_map.LeafNode
184
 
    _InternalNode = chk_map.InternalNode
185
 
    _unknown = chk_map._unknown
186
 
 
187
 
 
188
201
def _deserialise_leaf_node(bytes, key, search_key_func=None):
189
202
    """Deserialise bytes, with key key, into a LeafNode.
190
203
 
202
215
    cdef StaticTuple entry_bits
203
216
 
204
217
    if _LeafNode is None:
205
 
        _import_globals()
 
218
        from bzrlib import chk_map
 
219
        _LeafNode = chk_map.LeafNode
 
220
        _InternalNode = chk_map.InternalNode
 
221
        _unknown = chk_map._unknown
206
222
 
207
223
    result = _LeafNode(search_key_func=search_key_func)
208
224
    # Splitlines can split on '\r' so don't use it, split('\n') adds an
306
322
                                               next_null - entry_start)
307
323
            Py_INCREF(entry)
308
324
            StaticTuple_SET_ITEM(entry_bits, i, entry)
309
 
        if StaticTuple_GET_SIZE(entry_bits) != width:
 
325
        if len(entry_bits) != width:
310
326
            raise AssertionError(
311
327
                'Incorrect number of elements (%d vs %d)'
312
328
                % (len(entry_bits)+1, width + 1))
342
358
    cdef char *prefix, *line_prefix, *next_null, *c_item_prefix
343
359
 
344
360
    if _InternalNode is None:
345
 
        _import_globals()
 
361
        from bzrlib import chk_map
 
362
        _LeafNode = chk_map.LeafNode
 
363
        _InternalNode = chk_map.InternalNode
 
364
        _unknown = chk_map._unknown
346
365
    result = _InternalNode(search_key_func=search_key_func)
347
366
 
348
367
    if not StaticTuple_CheckExact(key):
403
422
    result._node_width = len(item_prefix)
404
423
    result._search_prefix = PyString_FromStringAndSize(prefix, prefix_length)
405
424
    return result
406
 
 
407
 
 
408
 
def _bytes_to_text_key(bytes):
409
 
    """Take a CHKInventory value string and return a (file_id, rev_id) tuple"""
410
 
    cdef StaticTuple key
411
 
    cdef char *byte_str, *cur_end, *file_id_str, *byte_end
412
 
    cdef char *revision_str
413
 
    cdef Py_ssize_t byte_size, pos, file_id_len
414
 
 
415
 
    if not PyString_CheckExact(bytes):
416
 
        raise TypeError('bytes must be a string, got %r' % (type(bytes),))
417
 
    byte_str = PyString_AS_STRING(bytes)
418
 
    byte_size = PyString_GET_SIZE(bytes)
419
 
    byte_end = byte_str + byte_size
420
 
    cur_end = <char*>memchr(byte_str, c':', byte_size)
421
 
    if cur_end == NULL:
422
 
        raise ValueError('No kind section found.')
423
 
    if cur_end[1] != c' ':
424
 
        raise ValueError(
425
 
            'Kind section should end with ": ", got %r' % str(cur_end[:2],))
426
 
    file_id_str = cur_end + 2
427
 
    # file_id is now the data up until the next newline
428
 
    cur_end = <char*>memchr(file_id_str, c'\n', byte_end - file_id_str)
429
 
    if cur_end == NULL:
430
 
        raise ValueError('no newline after file-id')
431
 
    file_id = safe_interned_string_from_size(file_id_str,
432
 
                                             cur_end - file_id_str)
433
 
    # this is the end of the parent_str
434
 
    cur_end = <char*>memchr(cur_end + 1, c'\n', byte_end - cur_end - 1)
435
 
    if cur_end == NULL:
436
 
        raise ValueError('no newline after parent_str')
437
 
    # end of the name str
438
 
    cur_end = <char*>memchr(cur_end + 1, c'\n', byte_end - cur_end - 1)
439
 
    if cur_end == NULL:
440
 
        raise ValueError('no newline after name str')
441
 
    # the next section is the revision info
442
 
    revision_str = cur_end + 1
443
 
    cur_end = <char*>memchr(cur_end + 1, c'\n', byte_end - cur_end - 1)
444
 
    if cur_end == NULL:
445
 
        # This is probably a dir: entry, which has revision as the last item
446
 
        cur_end = byte_end
447
 
    revision = safe_interned_string_from_size(revision_str,
448
 
        cur_end - revision_str)
449
 
    key = StaticTuple_New(2)
450
 
    Py_INCREF(file_id)
451
 
    StaticTuple_SET_ITEM(key, 0, file_id) 
452
 
    Py_INCREF(revision)
453
 
    StaticTuple_SET_ITEM(key, 1, revision) 
454
 
    return StaticTuple_Intern(key)