← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/_groupcompress_pyx.pyx

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2009-04-09 23:12:55 UTC
  • mfrom: (3920.2.37 dpush)
  • Revision ID: pqm@pqm.ubuntu.com-20090409231255-o8w1g2q3igiyf8b2
(Jelmer) Add the dpush command.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/_groupcompress_pyx.pyx
1
 
# Copyright (C) 2008, 2009, 2010 Canonical Ltd
 
1
# Copyright (C) 2009 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
31
31
 
32
32
cdef extern from *:
33
33
    ctypedef unsigned long size_t
34
 
    void * malloc(size_t) nogil
35
 
    void * realloc(void *, size_t) nogil
36
 
    void free(void *) nogil
37
 
    void memcpy(void *, void *, size_t) nogil
 
34
    void * malloc(size_t)
 
35
    void * realloc(void *, size_t)
 
36
    void free(void *)
 
37
    void memcpy(void *, void *, size_t)
38
38
 
39
39
 
40
40
cdef extern from "delta.h":
44
44
        unsigned long agg_offset
45
45
    struct delta_index:
46
46
        pass
47
 
    delta_index * create_delta_index(source_info *src, delta_index *old) nogil
 
47
    delta_index * create_delta_index(source_info *src, delta_index *old)
48
48
    delta_index * create_delta_index_from_delta(source_info *delta,
49
 
                                                delta_index *old) nogil
50
 
    void free_delta_index(delta_index *index) nogil
 
49
                                                delta_index *old)
 
50
    void free_delta_index(delta_index *index)
51
51
    void *create_delta(delta_index *indexes,
52
52
             void *buf, unsigned long bufsize,
53
 
             unsigned long *delta_size, unsigned long max_delta_size) nogil
 
53
             unsigned long *delta_size, unsigned long max_delta_size)
54
54
    unsigned long get_delta_hdr_size(unsigned char **datap,
55
 
                                     unsigned char *top) nogil
 
55
                                     unsigned char *top)
56
56
    Py_ssize_t DELTA_SIZE_MIN
 
57
    void *patch_delta(void *src_buf, unsigned long src_size,
 
58
                      void *delta_buf, unsigned long delta_size,
 
59
                      unsigned long *dst_size)
57
60
 
58
61
 
59
62
cdef void *safe_malloc(size_t count) except NULL:
115
118
            self._index = NULL
116
119
        safe_free(<void **>&self._source_infos)
117
120
 
118
 
    def _has_index(self):
119
 
        return (self._index != NULL)
120
 
 
121
121
    def add_delta_source(self, delta, unadded_bytes):
122
122
        """Add a new delta to the source texts.
123
123
 
145
145
        src.buf = c_delta
146
146
        src.size = c_delta_size
147
147
        src.agg_offset = self._source_offset + unadded_bytes
148
 
        with nogil:
149
 
            index = create_delta_index_from_delta(src, self._index)
 
148
        index = create_delta_index_from_delta(src, self._index)
150
149
        self._source_offset = src.agg_offset + src.size
151
150
        if index != NULL:
152
151
            free_delta_index(self._index)
172
171
        source_location = len(self._sources)
173
172
        if source_location >= self._max_num_sources:
174
173
            self._expand_sources()
175
 
        if source_location != 0 and self._index == NULL:
176
 
            # We were lazy about populating the index, create it now
177
 
            self._populate_first_index()
178
174
        self._sources.append(source)
179
175
        c_source = PyString_AS_STRING(source)
180
176
        c_source_size = PyString_GET_SIZE(source)
183
179
        src.size = c_source_size
184
180
 
185
181
        src.agg_offset = self._source_offset + unadded_bytes
 
182
        index = create_delta_index(src, self._index)
186
183
        self._source_offset = src.agg_offset + src.size
187
 
        # We delay creating the index on the first insert
188
 
        if source_location != 0:
189
 
            with nogil:
190
 
                index = create_delta_index(src, self._index)
191
 
            if index != NULL:
192
 
                free_delta_index(self._index)
193
 
                self._index = index
194
 
 
195
 
    cdef _populate_first_index(self):
196
 
        cdef delta_index *index
197
 
        if len(self._sources) != 1 or self._index != NULL:
198
 
            raise AssertionError('_populate_first_index should only be'
199
 
                ' called when we have a single source and no index yet')
200
 
 
201
 
        # We know that self._index is already NULL, so whatever
202
 
        # create_delta_index returns is fine
203
 
        with nogil:
204
 
            self._index = create_delta_index(&self._source_infos[0], NULL)
205
 
        assert self._index != NULL
 
184
        if index != NULL:
 
185
            free_delta_index(self._index)
 
186
            self._index = index
206
187
 
207
188
    cdef _expand_sources(self):
208
189
        raise RuntimeError('if we move self._source_infos, then we need to'
218
199
        cdef Py_ssize_t target_size
219
200
        cdef void * delta
220
201
        cdef unsigned long delta_size
221
 
        cdef unsigned long c_max_delta_size
222
202
 
223
203
        if self._index == NULL:
224
 
            if len(self._sources) == 0:
225
 
                return None
226
 
            # We were just lazy about generating the index
227
 
            self._populate_first_index()
 
204
            return None
228
205
 
229
206
        if not PyString_CheckExact(target_bytes):
230
207
            raise TypeError('target is not a str')
235
212
        # TODO: inline some of create_delta so we at least don't have to double
236
213
        #       malloc, and can instead use PyString_FromStringAndSize, to
237
214
        #       allocate the bytes into the final string
238
 
        c_max_delta_size = max_delta_size
239
 
        with nogil:
240
 
            delta = create_delta(self._index,
241
 
                                 target, target_size,
242
 
                                 &delta_size, c_max_delta_size)
 
215
        delta = create_delta(self._index,
 
216
                             target, target_size,
 
217
                             &delta_size, max_delta_size)
243
218
        result = None
244
219
        if delta:
245
220
            result = PyString_FromStringAndSize(<char *>delta, delta_size)
279
254
 
280
255
 
281
256
cdef unsigned char *_decode_copy_instruction(unsigned char *bytes,
282
 
    unsigned char cmd, unsigned int *offset,
283
 
    unsigned int *length) nogil: # cannot_raise
 
257
    unsigned char cmd, unsigned int *offset, unsigned int *length):
284
258
    """Decode a copy instruction from the next few bytes.
285
259
 
286
260
    A copy instruction is a variable number of bytes, so we will parse the
330
304
    cdef unsigned char *dst_buf, *out, cmd
331
305
    cdef Py_ssize_t size
332
306
    cdef unsigned int cp_off, cp_size
333
 
    cdef int failed
334
307
 
335
308
    data = <unsigned char *>delta
336
309
    top = data + delta_size
340
313
    result = PyString_FromStringAndSize(NULL, size)
341
314
    dst_buf = <unsigned char*>PyString_AS_STRING(result)
342
315
 
343
 
    failed = 0
344
 
    with nogil:
345
 
        out = dst_buf
346
 
        while (data < top):
347
 
            cmd = data[0]
348
 
            data = data + 1
349
 
            if (cmd & 0x80):
350
 
                # Copy instruction
351
 
                data = _decode_copy_instruction(data, cmd, &cp_off, &cp_size)
352
 
                if (cp_off + cp_size < cp_size or
353
 
                    cp_off + cp_size > source_size or
354
 
                    cp_size > size):
355
 
                    failed = 1
356
 
                    break
357
 
                memcpy(out, source + cp_off, cp_size)
358
 
                out = out + cp_size
359
 
                size = size - cp_size
360
 
            else:
361
 
                # Insert instruction
362
 
                if cmd == 0:
363
 
                    # cmd == 0 is reserved for future encoding
364
 
                    # extensions. In the mean time we must fail when
365
 
                    # encountering them (might be data corruption).
366
 
                    failed = 2
367
 
                    break
368
 
                if cmd > size:
369
 
                    failed = 3
370
 
                    break
371
 
                memcpy(out, data, cmd)
372
 
                out = out + cmd
373
 
                data = data + cmd
374
 
                size = size - cmd
375
 
    if failed:
376
 
        if failed == 1:
377
 
            raise ValueError('Something wrong with:'
378
 
                ' cp_off = %s, cp_size = %s'
379
 
                ' source_size = %s, size = %s'
380
 
                % (cp_off, cp_size, source_size, size))
381
 
        elif failed == 2:
382
 
            raise ValueError('Got delta opcode: 0, not supported')
383
 
        elif failed == 3:
384
 
            raise ValueError('Insert instruction longer than remaining'
385
 
                ' bytes: %d > %d' % (cmd, size))
 
316
    out = dst_buf
 
317
    while (data < top):
 
318
        cmd = data[0]
 
319
        data = data + 1
 
320
        if (cmd & 0x80):
 
321
            # Copy instruction
 
322
            data = _decode_copy_instruction(data, cmd, &cp_off, &cp_size)
 
323
            if (cp_off + cp_size < cp_size or
 
324
                cp_off + cp_size > source_size or
 
325
                cp_size > size):
 
326
                raise RuntimeError('Something wrong with:'
 
327
                    ' cp_off = %s, cp_size = %s'
 
328
                    ' source_size = %s, size = %s'
 
329
                    % (cp_off, cp_size, source_size, size))
 
330
            memcpy(out, source + cp_off, cp_size)
 
331
            out = out + cp_size
 
332
            size = size - cp_size
 
333
        else:
 
334
            # Insert instruction
 
335
            if cmd == 0:
 
336
                # cmd == 0 is reserved for future encoding
 
337
                # extensions. In the mean time we must fail when
 
338
                # encountering them (might be data corruption).
 
339
                raise RuntimeError('Got delta opcode: 0, not supported')
 
340
            if (cmd > size):
 
341
                raise RuntimeError('Insert instruction longer than remaining'
 
342
                    ' bytes: %d > %d' % (cmd, size))
 
343
            memcpy(out, data, cmd)
 
344
            out = out + cmd
 
345
            data = data + cmd
 
346
            size = size - cmd
386
347
 
387
348
    # sanity check
388
349
    if (data != top or size != 0):