← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/_groupcompress_pyx.pyx

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2009-04-30 15:00:23 UTC
  • mfrom: (4273.1.21 branch-subtree-locations)
  • Revision ID: pqm@pqm.ubuntu.com-20090430150023-1cw4lwqf312vpuu8
(abentley) Implement references command.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/_groupcompress_pyx.pyx
1
 
# Copyright (C) 2008, 2009, 2010 Canonical Ltd
 
1
# Copyright (C) 2009 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
22
22
 
23
23
 
24
24
cdef extern from "Python.h":
25
 
    ctypedef struct PyObject:
26
 
        pass
27
25
    ctypedef int Py_ssize_t # Required for older pyrex versions
28
26
    int PyString_CheckExact(object)
29
27
    char * PyString_AS_STRING(object)
33
31
 
34
32
cdef extern from *:
35
33
    ctypedef unsigned long size_t
36
 
    void * malloc(size_t) nogil
37
 
    void * realloc(void *, size_t) nogil
38
 
    void free(void *) nogil
39
 
    void memcpy(void *, void *, size_t) nogil
 
34
    void * malloc(size_t)
 
35
    void * realloc(void *, size_t)
 
36
    void free(void *)
 
37
    void memcpy(void *, void *, size_t)
40
38
 
41
39
 
42
40
cdef extern from "delta.h":
46
44
        unsigned long agg_offset
47
45
    struct delta_index:
48
46
        pass
49
 
    delta_index * create_delta_index(source_info *src, delta_index *old) nogil
 
47
    delta_index * create_delta_index(source_info *src, delta_index *old)
50
48
    delta_index * create_delta_index_from_delta(source_info *delta,
51
 
                                                delta_index *old) nogil
52
 
    void free_delta_index(delta_index *index) nogil
 
49
                                                delta_index *old)
 
50
    void free_delta_index(delta_index *index)
53
51
    void *create_delta(delta_index *indexes,
54
52
             void *buf, unsigned long bufsize,
55
 
             unsigned long *delta_size, unsigned long max_delta_size) nogil
 
53
             unsigned long *delta_size, unsigned long max_delta_size)
56
54
    unsigned long get_delta_hdr_size(unsigned char **datap,
57
 
                                     unsigned char *top) nogil
58
 
    unsigned long sizeof_delta_index(delta_index *index)
 
55
                                     unsigned char *top)
59
56
    Py_ssize_t DELTA_SIZE_MIN
 
57
    void *patch_delta(void *src_buf, unsigned long src_size,
 
58
                      void *delta_buf, unsigned long delta_size,
 
59
                      unsigned long *dst_size)
60
60
 
61
61
 
62
62
cdef void *safe_malloc(size_t count) except NULL:
94
94
    cdef readonly object _sources
95
95
    cdef source_info *_source_infos
96
96
    cdef delta_index *_index
 
97
    cdef readonly unsigned int _max_num_sources
97
98
    cdef public unsigned long _source_offset
98
 
    cdef readonly unsigned int _max_num_sources
99
99
 
100
100
    def __init__(self, source=None):
101
101
        self._sources = []
108
108
        if source is not None:
109
109
            self.add_source(source, 0)
110
110
 
111
 
    def __sizeof__(self):
112
 
        # We want to track the _source_infos allocations, but the referenced
113
 
        # void* are actually tracked in _sources itself.
114
 
        # XXX: Cython is capable of doing sizeof(class) and returning the size
115
 
        #      of the underlying struct. Pyrex (<= 0.9.9) refuses, so we need
116
 
        #      to do it manually. *sigh* Note that we might get it wrong
117
 
        #      because of alignment issues.
118
 
        cdef Py_ssize_t size
119
 
        # PyObject start, vtable *, 3 object pointers, 2 C ints
120
 
        size = ((sizeof(PyObject) + sizeof(void*) + 3*sizeof(PyObject*)
121
 
                 + sizeof(unsigned long)
122
 
                 + sizeof(unsigned int))
123
 
                + (sizeof(source_info) * self._max_num_sources)
124
 
                + sizeof_delta_index(self._index))
125
 
        return size
126
 
 
127
111
    def __repr__(self):
128
112
        return '%s(%d, %d)' % (self.__class__.__name__,
129
113
            len(self._sources), self._source_offset)
134
118
            self._index = NULL
135
119
        safe_free(<void **>&self._source_infos)
136
120
 
137
 
    def _has_index(self):
138
 
        return (self._index != NULL)
139
 
 
140
121
    def add_delta_source(self, delta, unadded_bytes):
141
122
        """Add a new delta to the source texts.
142
123
 
164
145
        src.buf = c_delta
165
146
        src.size = c_delta_size
166
147
        src.agg_offset = self._source_offset + unadded_bytes
167
 
        with nogil:
168
 
            index = create_delta_index_from_delta(src, self._index)
 
148
        index = create_delta_index_from_delta(src, self._index)
169
149
        self._source_offset = src.agg_offset + src.size
170
150
        if index != NULL:
171
151
            free_delta_index(self._index)
191
171
        source_location = len(self._sources)
192
172
        if source_location >= self._max_num_sources:
193
173
            self._expand_sources()
194
 
        if source_location != 0 and self._index == NULL:
195
 
            # We were lazy about populating the index, create it now
196
 
            self._populate_first_index()
197
174
        self._sources.append(source)
198
175
        c_source = PyString_AS_STRING(source)
199
176
        c_source_size = PyString_GET_SIZE(source)
202
179
        src.size = c_source_size
203
180
 
204
181
        src.agg_offset = self._source_offset + unadded_bytes
 
182
        index = create_delta_index(src, self._index)
205
183
        self._source_offset = src.agg_offset + src.size
206
 
        # We delay creating the index on the first insert
207
 
        if source_location != 0:
208
 
            with nogil:
209
 
                index = create_delta_index(src, self._index)
210
 
            if index != NULL:
211
 
                free_delta_index(self._index)
212
 
                self._index = index
213
 
 
214
 
    cdef _populate_first_index(self):
215
 
        cdef delta_index *index
216
 
        if len(self._sources) != 1 or self._index != NULL:
217
 
            raise AssertionError('_populate_first_index should only be'
218
 
                ' called when we have a single source and no index yet')
219
 
 
220
 
        # We know that self._index is already NULL, so whatever
221
 
        # create_delta_index returns is fine
222
 
        with nogil:
223
 
            self._index = create_delta_index(&self._source_infos[0], NULL)
224
 
        assert self._index != NULL
 
184
        if index != NULL:
 
185
            free_delta_index(self._index)
 
186
            self._index = index
225
187
 
226
188
    cdef _expand_sources(self):
227
189
        raise RuntimeError('if we move self._source_infos, then we need to'
237
199
        cdef Py_ssize_t target_size
238
200
        cdef void * delta
239
201
        cdef unsigned long delta_size
240
 
        cdef unsigned long c_max_delta_size
241
202
 
242
203
        if self._index == NULL:
243
 
            if len(self._sources) == 0:
244
 
                return None
245
 
            # We were just lazy about generating the index
246
 
            self._populate_first_index()
 
204
            return None
247
205
 
248
206
        if not PyString_CheckExact(target_bytes):
249
207
            raise TypeError('target is not a str')
254
212
        # TODO: inline some of create_delta so we at least don't have to double
255
213
        #       malloc, and can instead use PyString_FromStringAndSize, to
256
214
        #       allocate the bytes into the final string
257
 
        c_max_delta_size = max_delta_size
258
 
        with nogil:
259
 
            delta = create_delta(self._index,
260
 
                                 target, target_size,
261
 
                                 &delta_size, c_max_delta_size)
 
215
        delta = create_delta(self._index,
 
216
                             target, target_size,
 
217
                             &delta_size, max_delta_size)
262
218
        result = None
263
219
        if delta:
264
220
            result = PyString_FromStringAndSize(<char *>delta, delta_size)
298
254
 
299
255
 
300
256
cdef unsigned char *_decode_copy_instruction(unsigned char *bytes,
301
 
    unsigned char cmd, unsigned int *offset,
302
 
    unsigned int *length) nogil: # cannot_raise
 
257
    unsigned char cmd, unsigned int *offset, unsigned int *length):
303
258
    """Decode a copy instruction from the next few bytes.
304
259
 
305
260
    A copy instruction is a variable number of bytes, so we will parse the
349
304
    cdef unsigned char *dst_buf, *out, cmd
350
305
    cdef Py_ssize_t size
351
306
    cdef unsigned int cp_off, cp_size
352
 
    cdef int failed
353
307
 
354
308
    data = <unsigned char *>delta
355
309
    top = data + delta_size
359
313
    result = PyString_FromStringAndSize(NULL, size)
360
314
    dst_buf = <unsigned char*>PyString_AS_STRING(result)
361
315
 
362
 
    failed = 0
363
 
    with nogil:
364
 
        out = dst_buf
365
 
        while (data < top):
366
 
            cmd = data[0]
367
 
            data = data + 1
368
 
            if (cmd & 0x80):
369
 
                # Copy instruction
370
 
                data = _decode_copy_instruction(data, cmd, &cp_off, &cp_size)
371
 
                if (cp_off + cp_size < cp_size or
372
 
                    cp_off + cp_size > source_size or
373
 
                    cp_size > size):
374
 
                    failed = 1
375
 
                    break
376
 
                memcpy(out, source + cp_off, cp_size)
377
 
                out = out + cp_size
378
 
                size = size - cp_size
379
 
            else:
380
 
                # Insert instruction
381
 
                if cmd == 0:
382
 
                    # cmd == 0 is reserved for future encoding
383
 
                    # extensions. In the mean time we must fail when
384
 
                    # encountering them (might be data corruption).
385
 
                    failed = 2
386
 
                    break
387
 
                if cmd > size:
388
 
                    failed = 3
389
 
                    break
390
 
                memcpy(out, data, cmd)
391
 
                out = out + cmd
392
 
                data = data + cmd
393
 
                size = size - cmd
394
 
    if failed:
395
 
        if failed == 1:
396
 
            raise ValueError('Something wrong with:'
397
 
                ' cp_off = %s, cp_size = %s'
398
 
                ' source_size = %s, size = %s'
399
 
                % (cp_off, cp_size, source_size, size))
400
 
        elif failed == 2:
401
 
            raise ValueError('Got delta opcode: 0, not supported')
402
 
        elif failed == 3:
403
 
            raise ValueError('Insert instruction longer than remaining'
404
 
                ' bytes: %d > %d' % (cmd, size))
 
316
    out = dst_buf
 
317
    while (data < top):
 
318
        cmd = data[0]
 
319
        data = data + 1
 
320
        if (cmd & 0x80):
 
321
            # Copy instruction
 
322
            data = _decode_copy_instruction(data, cmd, &cp_off, &cp_size)
 
323
            if (cp_off + cp_size < cp_size or
 
324
                cp_off + cp_size > source_size or
 
325
                cp_size > size):
 
326
                raise RuntimeError('Something wrong with:'
 
327
                    ' cp_off = %s, cp_size = %s'
 
328
                    ' source_size = %s, size = %s'
 
329
                    % (cp_off, cp_size, source_size, size))
 
330
            memcpy(out, source + cp_off, cp_size)
 
331
            out = out + cp_size
 
332
            size = size - cp_size
 
333
        else:
 
334
            # Insert instruction
 
335
            if cmd == 0:
 
336
                # cmd == 0 is reserved for future encoding
 
337
                # extensions. In the mean time we must fail when
 
338
                # encountering them (might be data corruption).
 
339
                raise RuntimeError('Got delta opcode: 0, not supported')
 
340
            if (cmd > size):
 
341
                raise RuntimeError('Insert instruction longer than remaining'
 
342
                    ' bytes: %d > %d' % (cmd, size))
 
343
            memcpy(out, data, cmd)
 
344
            out = out + cmd
 
345
            data = data + cmd
 
346
            size = size - cmd
405
347
 
406
348
    # sanity check
407
349
    if (data != top or size != 0):