← Back to branch summary

~ubuntu-branches/ubuntu/raring/libav/raring-security

« back to all changes in this revision

Viewing changes to .pc/post-0.7.1/0059-Check-for-invalid-VLC-value-in-smacker-decoder.patch/libavcodec/smacker.c

  • Committer: Package Import Robot
  • Author(s): Reinhard Tartler
  • Date: 2011-09-28 09:18:34 UTC
  • mfrom: (1.3.7 sid)
  • Revision ID: package-import@ubuntu.com-20110928091834-w415mnuh06h4zpvc
Tags: 4:0.7.1-7ubuntu2
Revert "Convert package to include multiarch support."

Show diffs side-by-side

added added

removed removed

Lines of Context:
.pc/post-0.7.1/0059-Check-for-invalid-VLC-value-in-smacker-decoder.patch/libavcodec/smacker.c
 
1
/*
 
2
 * Smacker decoder
 
3
 * Copyright (c) 2006 Konstantin Shishkov
 
4
 *
 
5
 * This file is part of Libav.
 
6
 *
 
7
 * Libav is free software; you can redistribute it and/or
 
8
 * modify it under the terms of the GNU Lesser General Public
 
9
 * License as published by the Free Software Foundation; either
 
10
 * version 2.1 of the License, or (at your option) any later version.
 
11
 *
 
12
 * Libav is distributed in the hope that it will be useful,
 
13
 * but WITHOUT ANY WARRANTY; without even the implied warranty of
 
14
 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
 
15
 * Lesser General Public License for more details.
 
16
 *
 
17
 * You should have received a copy of the GNU Lesser General Public
 
18
 * License along with Libav; if not, write to the Free Software
 
19
 * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
20
 */
 
21
 
 
22
/**
 
23
 * @file
 
24
 * Smacker decoder
 
25
 */
 
26
 
 
27
/*
 
28
 * Based on http://wiki.multimedia.cx/index.php?title=Smacker
 
29
 */
 
30
 
 
31
#include <stdio.h>
 
32
#include <stdlib.h>
 
33
 
 
34
#include "avcodec.h"
 
35
#include "libavutil/audioconvert.h"
 
36
 
 
37
#define ALT_BITSTREAM_READER_LE
 
38
#include "get_bits.h"
 
39
#include "bytestream.h"
 
40
 
 
41
#define SMKTREE_BITS 9
 
42
#define SMK_NODE 0x80000000
 
43
 
 
44
/*
 
45
 * Decoder context
 
46
 */
 
47
typedef struct SmackVContext {
 
48
    AVCodecContext *avctx;
 
49
    AVFrame pic;
 
50
 
 
51
    int *mmap_tbl, *mclr_tbl, *full_tbl, *type_tbl;
 
52
    int mmap_last[3], mclr_last[3], full_last[3], type_last[3];
 
53
} SmackVContext;
 
54
 
 
55
/**
 
56
 * Context used for code reconstructing
 
57
 */
 
58
typedef struct HuffContext {
 
59
    int length;
 
60
    int maxlength;
 
61
    int current;
 
62
    uint32_t *bits;
 
63
    int *lengths;
 
64
    int *values;
 
65
} HuffContext;
 
66
 
 
67
/* common parameters used for decode_bigtree */
 
68
typedef struct DBCtx {
 
69
    VLC *v1, *v2;
 
70
    int *recode1, *recode2;
 
71
    int escapes[3];
 
72
    int *last;
 
73
    int lcur;
 
74
} DBCtx;
 
75
 
 
76
/* possible runs of blocks */
 
77
static const int block_runs[64] = {
 
78
      1,    2,    3,    4,    5,    6,    7,    8,
 
79
      9,   10,   11,   12,   13,   14,   15,   16,
 
80
     17,   18,   19,   20,   21,   22,   23,   24,
 
81
     25,   26,   27,   28,   29,   30,   31,   32,
 
82
     33,   34,   35,   36,   37,   38,   39,   40,
 
83
     41,   42,   43,   44,   45,   46,   47,   48,
 
84
     49,   50,   51,   52,   53,   54,   55,   56,
 
85
     57,   58,   59,  128,  256,  512, 1024, 2048 };
 
86
 
 
87
enum SmkBlockTypes {
 
88
    SMK_BLK_MONO = 0,
 
89
    SMK_BLK_FULL = 1,
 
90
    SMK_BLK_SKIP = 2,
 
91
    SMK_BLK_FILL = 3 };
 
92
 
 
93
/**
 
94
 * Decode local frame tree
 
95
 */
 
96
static int smacker_decode_tree(GetBitContext *gb, HuffContext *hc, uint32_t prefix, int length)
 
97
{
 
98
    if(!get_bits1(gb)){ //Leaf
 
99
        if(hc->current >= 256){
 
100
            av_log(NULL, AV_LOG_ERROR, "Tree size exceeded!\n");
 
101
            return -1;
 
102
        }
 
103
        if(length){
 
104
            hc->bits[hc->current] = prefix;
 
105
            hc->lengths[hc->current] = length;
 
106
        } else {
 
107
            hc->bits[hc->current] = 0;
 
108
            hc->lengths[hc->current] = 0;
 
109
        }
 
110
        hc->values[hc->current] = get_bits(gb, 8);
 
111
        hc->current++;
 
112
        if(hc->maxlength < length)
 
113
            hc->maxlength = length;
 
114
        return 0;
 
115
    } else { //Node
 
116
        int r;
 
117
        length++;
 
118
        r = smacker_decode_tree(gb, hc, prefix, length);
 
119
        if(r)
 
120
            return r;
 
121
        return smacker_decode_tree(gb, hc, prefix | (1 << (length - 1)), length);
 
122
    }
 
123
}
 
124
 
 
125
/**
 
126
 * Decode header tree
 
127
 */
 
128
static int smacker_decode_bigtree(GetBitContext *gb, HuffContext *hc, DBCtx *ctx)
 
129
{
 
130
    if(!get_bits1(gb)){ //Leaf
 
131
        int val, i1, i2, b1, b2;
 
132
        if(hc->current >= hc->length){
 
133
            av_log(NULL, AV_LOG_ERROR, "Tree size exceeded!\n");
 
134
            return -1;
 
135
        }
 
136
        b1 = get_bits_count(gb);
 
137
        i1 = ctx->v1->table ? get_vlc2(gb, ctx->v1->table, SMKTREE_BITS, 3) : 0;
 
138
        b1 = get_bits_count(gb) - b1;
 
139
        b2 = get_bits_count(gb);
 
140
        i2 = ctx->v2->table ? get_vlc2(gb, ctx->v2->table, SMKTREE_BITS, 3) : 0;
 
141
        b2 = get_bits_count(gb) - b2;
 
142
        val = ctx->recode1[i1] | (ctx->recode2[i2] << 8);
 
143
        if(val == ctx->escapes[0]) {
 
144
            ctx->last[0] = hc->current;
 
145
            val = 0;
 
146
        } else if(val == ctx->escapes[1]) {
 
147
            ctx->last[1] = hc->current;
 
148
            val = 0;
 
149
        } else if(val == ctx->escapes[2]) {
 
150
            ctx->last[2] = hc->current;
 
151
            val = 0;
 
152
        }
 
153
 
 
154
        hc->values[hc->current++] = val;
 
155
        return 1;
 
156
    } else { //Node
 
157
        int r = 0, t;
 
158
 
 
159
        t = hc->current++;
 
160
        r = smacker_decode_bigtree(gb, hc, ctx);
 
161
        if(r < 0)
 
162
            return r;
 
163
        hc->values[t] = SMK_NODE | r;
 
164
        r++;
 
165
        r += smacker_decode_bigtree(gb, hc, ctx);
 
166
        return r;
 
167
    }
 
168
}
 
169
 
 
170
/**
 
171
 * Store large tree as Libav's vlc codes
 
172
 */
 
173
static int smacker_decode_header_tree(SmackVContext *smk, GetBitContext *gb, int **recodes, int *last, int size)
 
174
{
 
175
    int res;
 
176
    HuffContext huff;
 
177
    HuffContext tmp1, tmp2;
 
178
    VLC vlc[2];
 
179
    int escapes[3];
 
180
    DBCtx ctx;
 
181
 
 
182
    if(size >= UINT_MAX>>4){ // (((size + 3) >> 2) + 3) << 2 must not overflow
 
183
        av_log(smk->avctx, AV_LOG_ERROR, "size too large\n");
 
184
        return -1;
 
185
    }
 
186
 
 
187
    tmp1.length = 256;
 
188
    tmp1.maxlength = 0;
 
189
    tmp1.current = 0;
 
190
    tmp1.bits = av_mallocz(256 * 4);
 
191
    tmp1.lengths = av_mallocz(256 * sizeof(int));
 
192
    tmp1.values = av_mallocz(256 * sizeof(int));
 
193
 
 
194
    tmp2.length = 256;
 
195
    tmp2.maxlength = 0;
 
196
    tmp2.current = 0;
 
197
    tmp2.bits = av_mallocz(256 * 4);
 
198
    tmp2.lengths = av_mallocz(256 * sizeof(int));
 
199
    tmp2.values = av_mallocz(256 * sizeof(int));
 
200
 
 
201
    memset(&vlc[0], 0, sizeof(VLC));
 
202
    memset(&vlc[1], 0, sizeof(VLC));
 
203
 
 
204
    if(get_bits1(gb)) {
 
205
        smacker_decode_tree(gb, &tmp1, 0, 0);
 
206
        skip_bits1(gb);
 
207
        res = init_vlc(&vlc[0], SMKTREE_BITS, tmp1.length,
 
208
                    tmp1.lengths, sizeof(int), sizeof(int),
 
209
                    tmp1.bits, sizeof(uint32_t), sizeof(uint32_t), INIT_VLC_LE);
 
210
        if(res < 0) {
 
211
            av_log(smk->avctx, AV_LOG_ERROR, "Cannot build VLC table\n");
 
212
            return -1;
 
213
        }
 
214
    } else {
 
215
        av_log(smk->avctx, AV_LOG_ERROR, "Skipping low bytes tree\n");
 
216
    }
 
217
    if(get_bits1(gb)){
 
218
        smacker_decode_tree(gb, &tmp2, 0, 0);
 
219
        skip_bits1(gb);
 
220
        res = init_vlc(&vlc[1], SMKTREE_BITS, tmp2.length,
 
221
                    tmp2.lengths, sizeof(int), sizeof(int),
 
222
                    tmp2.bits, sizeof(uint32_t), sizeof(uint32_t), INIT_VLC_LE);
 
223
        if(res < 0) {
 
224
            av_log(smk->avctx, AV_LOG_ERROR, "Cannot build VLC table\n");
 
225
            return -1;
 
226
        }
 
227
    } else {
 
228
        av_log(smk->avctx, AV_LOG_ERROR, "Skipping high bytes tree\n");
 
229
    }
 
230
 
 
231
    escapes[0]  = get_bits(gb, 8);
 
232
    escapes[0] |= get_bits(gb, 8) << 8;
 
233
    escapes[1]  = get_bits(gb, 8);
 
234
    escapes[1] |= get_bits(gb, 8) << 8;
 
235
    escapes[2]  = get_bits(gb, 8);
 
236
    escapes[2] |= get_bits(gb, 8) << 8;
 
237
 
 
238
    last[0] = last[1] = last[2] = -1;
 
239
 
 
240
    ctx.escapes[0] = escapes[0];
 
241
    ctx.escapes[1] = escapes[1];
 
242
    ctx.escapes[2] = escapes[2];
 
243
    ctx.v1 = &vlc[0];
 
244
    ctx.v2 = &vlc[1];
 
245
    ctx.recode1 = tmp1.values;
 
246
    ctx.recode2 = tmp2.values;
 
247
    ctx.last = last;
 
248
 
 
249
    huff.length = ((size + 3) >> 2) + 3;
 
250
    huff.maxlength = 0;
 
251
    huff.current = 0;
 
252
    huff.values = av_mallocz(huff.length * sizeof(int));
 
253
 
 
254
    smacker_decode_bigtree(gb, &huff, &ctx);
 
255
    skip_bits1(gb);
 
256
    if(ctx.last[0] == -1) ctx.last[0] = huff.current++;
 
257
    if(ctx.last[1] == -1) ctx.last[1] = huff.current++;
 
258
    if(ctx.last[2] == -1) ctx.last[2] = huff.current++;
 
259
 
 
260
    *recodes = huff.values;
 
261
 
 
262
    if(vlc[0].table)
 
263
        free_vlc(&vlc[0]);
 
264
    if(vlc[1].table)
 
265
        free_vlc(&vlc[1]);
 
266
    av_free(tmp1.bits);
 
267
    av_free(tmp1.lengths);
 
268
    av_free(tmp1.values);
 
269
    av_free(tmp2.bits);
 
270
    av_free(tmp2.lengths);
 
271
    av_free(tmp2.values);
 
272
 
 
273
    return 0;
 
274
}
 
275
 
 
276
static int decode_header_trees(SmackVContext *smk) {
 
277
    GetBitContext gb;
 
278
    int mmap_size, mclr_size, full_size, type_size;
 
279
 
 
280
    mmap_size = AV_RL32(smk->avctx->extradata);
 
281
    mclr_size = AV_RL32(smk->avctx->extradata + 4);
 
282
    full_size = AV_RL32(smk->avctx->extradata + 8);
 
283
    type_size = AV_RL32(smk->avctx->extradata + 12);
 
284
 
 
285
    init_get_bits(&gb, smk->avctx->extradata + 16, (smk->avctx->extradata_size - 16) * 8);
 
286
 
 
287
    if(!get_bits1(&gb)) {
 
288
        av_log(smk->avctx, AV_LOG_INFO, "Skipping MMAP tree\n");
 
289
        smk->mmap_tbl = av_malloc(sizeof(int) * 2);
 
290
        smk->mmap_tbl[0] = 0;
 
291
        smk->mmap_last[0] = smk->mmap_last[1] = smk->mmap_last[2] = 1;
 
292
    } else {
 
293
        if (smacker_decode_header_tree(smk, &gb, &smk->mmap_tbl, smk->mmap_last, mmap_size))
 
294
            return -1;
 
295
    }
 
296
    if(!get_bits1(&gb)) {
 
297
        av_log(smk->avctx, AV_LOG_INFO, "Skipping MCLR tree\n");
 
298
        smk->mclr_tbl = av_malloc(sizeof(int) * 2);
 
299
        smk->mclr_tbl[0] = 0;
 
300
        smk->mclr_last[0] = smk->mclr_last[1] = smk->mclr_last[2] = 1;
 
301
    } else {
 
302
        if (smacker_decode_header_tree(smk, &gb, &smk->mclr_tbl, smk->mclr_last, mclr_size))
 
303
            return -1;
 
304
    }
 
305
    if(!get_bits1(&gb)) {
 
306
        av_log(smk->avctx, AV_LOG_INFO, "Skipping FULL tree\n");
 
307
        smk->full_tbl = av_malloc(sizeof(int) * 2);
 
308
        smk->full_tbl[0] = 0;
 
309
        smk->full_last[0] = smk->full_last[1] = smk->full_last[2] = 1;
 
310
    } else {
 
311
        if (smacker_decode_header_tree(smk, &gb, &smk->full_tbl, smk->full_last, full_size))
 
312
            return -1;
 
313
    }
 
314
    if(!get_bits1(&gb)) {
 
315
        av_log(smk->avctx, AV_LOG_INFO, "Skipping TYPE tree\n");
 
316
        smk->type_tbl = av_malloc(sizeof(int) * 2);
 
317
        smk->type_tbl[0] = 0;
 
318
        smk->type_last[0] = smk->type_last[1] = smk->type_last[2] = 1;
 
319
    } else {
 
320
        if (smacker_decode_header_tree(smk, &gb, &smk->type_tbl, smk->type_last, type_size))
 
321
            return -1;
 
322
    }
 
323
 
 
324
    return 0;
 
325
}
 
326
 
 
327
static av_always_inline void last_reset(int *recode, int *last) {
 
328
    recode[last[0]] = recode[last[1]] = recode[last[2]] = 0;
 
329
}
 
330
 
 
331
/* get code and update history */
 
332
static av_always_inline int smk_get_code(GetBitContext *gb, int *recode, int *last) {
 
333
    register int *table = recode;
 
334
    int v, b;
 
335
 
 
336
    b = get_bits_count(gb);
 
337
    while(*table & SMK_NODE) {
 
338
        if(get_bits1(gb))
 
339
            table += (*table) & (~SMK_NODE);
 
340
        table++;
 
341
    }
 
342
    v = *table;
 
343
    b = get_bits_count(gb) - b;
 
344
 
 
345
    if(v != recode[last[0]]) {
 
346
        recode[last[2]] = recode[last[1]];
 
347
        recode[last[1]] = recode[last[0]];
 
348
        recode[last[0]] = v;
 
349
    }
 
350
    return v;
 
351
}
 
352
 
 
353
static int decode_frame(AVCodecContext *avctx, void *data, int *data_size, AVPacket *avpkt)
 
354
{
 
355
    const uint8_t *buf = avpkt->data;
 
356
    int buf_size = avpkt->size;
 
357
    SmackVContext * const smk = avctx->priv_data;
 
358
    uint8_t *out;
 
359
    uint32_t *pal;
 
360
    GetBitContext gb;
 
361
    int blocks, blk, bw, bh;
 
362
    int i;
 
363
    int stride;
 
364
 
 
365
    if(buf_size <= 769)
 
366
        return 0;
 
367
 
 
368
    smk->pic.reference = 1;
 
369
    smk->pic.buffer_hints = FF_BUFFER_HINTS_VALID | FF_BUFFER_HINTS_PRESERVE | FF_BUFFER_HINTS_REUSABLE;
 
370
    if(avctx->reget_buffer(avctx, &smk->pic) < 0){
 
371
        av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
 
372
        return -1;
 
373
    }
 
374
 
 
375
    /* make the palette available on the way out */
 
376
    pal = (uint32_t*)smk->pic.data[1];
 
377
    smk->pic.palette_has_changed = buf[0] & 1;
 
378
    smk->pic.key_frame = !!(buf[0] & 2);
 
379
    if(smk->pic.key_frame)
 
380
        smk->pic.pict_type = AV_PICTURE_TYPE_I;
 
381
    else
 
382
        smk->pic.pict_type = AV_PICTURE_TYPE_P;
 
383
 
 
384
    buf++;
 
385
    for(i = 0; i < 256; i++)
 
386
        *pal++ = bytestream_get_be24(&buf);
 
387
    buf_size -= 769;
 
388
 
 
389
    last_reset(smk->mmap_tbl, smk->mmap_last);
 
390
    last_reset(smk->mclr_tbl, smk->mclr_last);
 
391
    last_reset(smk->full_tbl, smk->full_last);
 
392
    last_reset(smk->type_tbl, smk->type_last);
 
393
    init_get_bits(&gb, buf, buf_size * 8);
 
394
 
 
395
    blk = 0;
 
396
    bw = avctx->width >> 2;
 
397
    bh = avctx->height >> 2;
 
398
    blocks = bw * bh;
 
399
    out = smk->pic.data[0];
 
400
    stride = smk->pic.linesize[0];
 
401
    while(blk < blocks) {
 
402
        int type, run, mode;
 
403
        uint16_t pix;
 
404
 
 
405
        type = smk_get_code(&gb, smk->type_tbl, smk->type_last);
 
406
        run = block_runs[(type >> 2) & 0x3F];
 
407
        switch(type & 3){
 
408
        case SMK_BLK_MONO:
 
409
            while(run-- && blk < blocks){
 
410
                int clr, map;
 
411
                int hi, lo;
 
412
                clr = smk_get_code(&gb, smk->mclr_tbl, smk->mclr_last);
 
413
                map = smk_get_code(&gb, smk->mmap_tbl, smk->mmap_last);
 
414
                out = smk->pic.data[0] + (blk / bw) * (stride * 4) + (blk % bw) * 4;
 
415
                hi = clr >> 8;
 
416
                lo = clr & 0xFF;
 
417
                for(i = 0; i < 4; i++) {
 
418
                    if(map & 1) out[0] = hi; else out[0] = lo;
 
419
                    if(map & 2) out[1] = hi; else out[1] = lo;
 
420
                    if(map & 4) out[2] = hi; else out[2] = lo;
 
421
                    if(map & 8) out[3] = hi; else out[3] = lo;
 
422
                    map >>= 4;
 
423
                    out += stride;
 
424
                }
 
425
                blk++;
 
426
            }
 
427
            break;
 
428
        case SMK_BLK_FULL:
 
429
            mode = 0;
 
430
            if(avctx->codec_tag == MKTAG('S', 'M', 'K', '4')) { // In case of Smacker v4 we have three modes
 
431
                if(get_bits1(&gb)) mode = 1;
 
432
                else if(get_bits1(&gb)) mode = 2;
 
433
            }
 
434
            while(run-- && blk < blocks){
 
435
                out = smk->pic.data[0] + (blk / bw) * (stride * 4) + (blk % bw) * 4;
 
436
                switch(mode){
 
437
                case 0:
 
438
                    for(i = 0; i < 4; i++) {
 
439
                        pix = smk_get_code(&gb, smk->full_tbl, smk->full_last);
 
440
                        AV_WL16(out+2,pix);
 
441
                        pix = smk_get_code(&gb, smk->full_tbl, smk->full_last);
 
442
                        AV_WL16(out,pix);
 
443
                        out += stride;
 
444
                    }
 
445
                    break;
 
446
                case 1:
 
447
                    pix = smk_get_code(&gb, smk->full_tbl, smk->full_last);
 
448
                    out[0] = out[1] = pix & 0xFF;
 
449
                    out[2] = out[3] = pix >> 8;
 
450
                    out += stride;
 
451
                    out[0] = out[1] = pix & 0xFF;
 
452
                    out[2] = out[3] = pix >> 8;
 
453
                    out += stride;
 
454
                    pix = smk_get_code(&gb, smk->full_tbl, smk->full_last);
 
455
                    out[0] = out[1] = pix & 0xFF;
 
456
                    out[2] = out[3] = pix >> 8;
 
457
                    out += stride;
 
458
                    out[0] = out[1] = pix & 0xFF;
 
459
                    out[2] = out[3] = pix >> 8;
 
460
                    out += stride;
 
461
                    break;
 
462
                case 2:
 
463
                    for(i = 0; i < 2; i++) {
 
464
                        uint16_t pix1, pix2;
 
465
                        pix2 = smk_get_code(&gb, smk->full_tbl, smk->full_last);
 
466
                        pix1 = smk_get_code(&gb, smk->full_tbl, smk->full_last);
 
467
                        AV_WL16(out,pix1);
 
468
                        AV_WL16(out+2,pix2);
 
469
                        out += stride;
 
470
                        AV_WL16(out,pix1);
 
471
                        AV_WL16(out+2,pix2);
 
472
                        out += stride;
 
473
                    }
 
474
                    break;
 
475
                }
 
476
                blk++;
 
477
            }
 
478
            break;
 
479
        case SMK_BLK_SKIP:
 
480
            while(run-- && blk < blocks)
 
481
                blk++;
 
482
            break;
 
483
        case SMK_BLK_FILL:
 
484
            mode = type >> 8;
 
485
            while(run-- && blk < blocks){
 
486
                uint32_t col;
 
487
                out = smk->pic.data[0] + (blk / bw) * (stride * 4) + (blk % bw) * 4;
 
488
                col = mode * 0x01010101;
 
489
                for(i = 0; i < 4; i++) {
 
490
                    *((uint32_t*)out) = col;
 
491
                    out += stride;
 
492
                }
 
493
                blk++;
 
494
            }
 
495
            break;
 
496
        }
 
497
 
 
498
    }
 
499
 
 
500
    *data_size = sizeof(AVFrame);
 
501
    *(AVFrame*)data = smk->pic;
 
502
 
 
503
    /* always report that the buffer was completely consumed */
 
504
    return buf_size;
 
505
}
 
506
 
 
507
 
 
508
 
 
509
/*
 
510
 *
 
511
 * Init smacker decoder
 
512
 *
 
513
 */
 
514
static av_cold int decode_init(AVCodecContext *avctx)
 
515
{
 
516
    SmackVContext * const c = avctx->priv_data;
 
517
 
 
518
    c->avctx = avctx;
 
519
 
 
520
    avctx->pix_fmt = PIX_FMT_PAL8;
 
521
 
 
522
 
 
523
    /* decode huffman trees from extradata */
 
524
    if(avctx->extradata_size < 16){
 
525
        av_log(avctx, AV_LOG_ERROR, "Extradata missing!\n");
 
526
        return -1;
 
527
    }
 
528
 
 
529
    if (decode_header_trees(c))
 
530
        return -1;
 
531
 
 
532
    return 0;
 
533
}
 
534
 
 
535
 
 
536
 
 
537
/*
 
538
 *
 
539
 * Uninit smacker decoder
 
540
 *
 
541
 */
 
542
static av_cold int decode_end(AVCodecContext *avctx)
 
543
{
 
544
    SmackVContext * const smk = avctx->priv_data;
 
545
 
 
546
    av_freep(&smk->mmap_tbl);
 
547
    av_freep(&smk->mclr_tbl);
 
548
    av_freep(&smk->full_tbl);
 
549
    av_freep(&smk->type_tbl);
 
550
 
 
551
    if (smk->pic.data[0])
 
552
        avctx->release_buffer(avctx, &smk->pic);
 
553
 
 
554
    return 0;
 
555
}
 
556
 
 
557
 
 
558
static av_cold int smka_decode_init(AVCodecContext *avctx)
 
559
{
 
560
    avctx->channel_layout = (avctx->channels==2) ? AV_CH_LAYOUT_STEREO : AV_CH_LAYOUT_MONO;
 
561
    avctx->sample_fmt = avctx->bits_per_coded_sample == 8 ? AV_SAMPLE_FMT_U8 : AV_SAMPLE_FMT_S16;
 
562
    return 0;
 
563
}
 
564
 
 
565
/**
 
566
 * Decode Smacker audio data
 
567
 */
 
568
static int smka_decode_frame(AVCodecContext *avctx, void *data, int *data_size, AVPacket *avpkt)
 
569
{
 
570
    const uint8_t *buf = avpkt->data;
 
571
    int buf_size = avpkt->size;
 
572
    GetBitContext gb;
 
573
    HuffContext h[4];
 
574
    VLC vlc[4];
 
575
    int16_t *samples = data;
 
576
    int8_t *samples8 = data;
 
577
    int val;
 
578
    int i, res;
 
579
    int unp_size;
 
580
    int bits, stereo;
 
581
    int pred[2] = {0, 0};
 
582
 
 
583
    unp_size = AV_RL32(buf);
 
584
 
 
585
    init_get_bits(&gb, buf + 4, (buf_size - 4) * 8);
 
586
 
 
587
    if(!get_bits1(&gb)){
 
588
        av_log(avctx, AV_LOG_INFO, "Sound: no data\n");
 
589
        *data_size = 0;
 
590
        return 1;
 
591
    }
 
592
    stereo = get_bits1(&gb);
 
593
    bits = get_bits1(&gb);
 
594
    if (unp_size & 0xC0000000 || unp_size > *data_size) {
 
595
        av_log(avctx, AV_LOG_ERROR, "Frame is too large to fit in buffer\n");
 
596
        return -1;
 
597
    }
 
598
 
 
599
    memset(vlc, 0, sizeof(VLC) * 4);
 
600
    memset(h, 0, sizeof(HuffContext) * 4);
 
601
    // Initialize
 
602
    for(i = 0; i < (1 << (bits + stereo)); i++) {
 
603
        h[i].length = 256;
 
604
        h[i].maxlength = 0;
 
605
        h[i].current = 0;
 
606
        h[i].bits = av_mallocz(256 * 4);
 
607
        h[i].lengths = av_mallocz(256 * sizeof(int));
 
608
        h[i].values = av_mallocz(256 * sizeof(int));
 
609
        skip_bits1(&gb);
 
610
        smacker_decode_tree(&gb, &h[i], 0, 0);
 
611
        skip_bits1(&gb);
 
612
        if(h[i].current > 1) {
 
613
            res = init_vlc(&vlc[i], SMKTREE_BITS, h[i].length,
 
614
                    h[i].lengths, sizeof(int), sizeof(int),
 
615
                    h[i].bits, sizeof(uint32_t), sizeof(uint32_t), INIT_VLC_LE);
 
616
            if(res < 0) {
 
617
                av_log(avctx, AV_LOG_ERROR, "Cannot build VLC table\n");
 
618
                return -1;
 
619
            }
 
620
        }
 
621
    }
 
622
    if(bits) { //decode 16-bit data
 
623
        for(i = stereo; i >= 0; i--)
 
624
            pred[i] = av_bswap16(get_bits(&gb, 16));
 
625
        for(i = 0; i < stereo; i++)
 
626
            *samples++ = pred[i];
 
627
        for(i = 0; i < unp_size / 2; i++) {
 
628
            if(i & stereo) {
 
629
                if(vlc[2].table)
 
630
                    res = get_vlc2(&gb, vlc[2].table, SMKTREE_BITS, 3);
 
631
                else
 
632
                    res = 0;
 
633
                val  = h[2].values[res];
 
634
                if(vlc[3].table)
 
635
                    res = get_vlc2(&gb, vlc[3].table, SMKTREE_BITS, 3);
 
636
                else
 
637
                    res = 0;
 
638
                val |= h[3].values[res] << 8;
 
639
                pred[1] += (int16_t)val;
 
640
                *samples++ = pred[1];
 
641
            } else {
 
642
                if(vlc[0].table)
 
643
                    res = get_vlc2(&gb, vlc[0].table, SMKTREE_BITS, 3);
 
644
                else
 
645
                    res = 0;
 
646
                val  = h[0].values[res];
 
647
                if(vlc[1].table)
 
648
                    res = get_vlc2(&gb, vlc[1].table, SMKTREE_BITS, 3);
 
649
                else
 
650
                    res = 0;
 
651
                val |= h[1].values[res] << 8;
 
652
                pred[0] += val;
 
653
                *samples++ = pred[0];
 
654
            }
 
655
        }
 
656
    } else { //8-bit data
 
657
        for(i = stereo; i >= 0; i--)
 
658
            pred[i] = get_bits(&gb, 8);
 
659
        for(i = 0; i < stereo; i++)
 
660
            *samples8++ = pred[i];
 
661
        for(i = 0; i < unp_size; i++) {
 
662
            if(i & stereo){
 
663
                if(vlc[1].table)
 
664
                    res = get_vlc2(&gb, vlc[1].table, SMKTREE_BITS, 3);
 
665
                else
 
666
                    res = 0;
 
667
                pred[1] += (int8_t)h[1].values[res];
 
668
                *samples8++ = pred[1];
 
669
            } else {
 
670
                if(vlc[0].table)
 
671
                    res = get_vlc2(&gb, vlc[0].table, SMKTREE_BITS, 3);
 
672
                else
 
673
                    res = 0;
 
674
                pred[0] += (int8_t)h[0].values[res];
 
675
                *samples8++ = pred[0];
 
676
            }
 
677
        }
 
678
    }
 
679
 
 
680
    for(i = 0; i < 4; i++) {
 
681
        if(vlc[i].table)
 
682
            free_vlc(&vlc[i]);
 
683
        av_free(h[i].bits);
 
684
        av_free(h[i].lengths);
 
685
        av_free(h[i].values);
 
686
    }
 
687
 
 
688
    *data_size = unp_size;
 
689
    return buf_size;
 
690
}
 
691
 
 
692
AVCodec ff_smacker_decoder = {
 
693
    "smackvid",
 
694
    AVMEDIA_TYPE_VIDEO,
 
695
    CODEC_ID_SMACKVIDEO,
 
696
    sizeof(SmackVContext),
 
697
    decode_init,
 
698
    NULL,
 
699
    decode_end,
 
700
    decode_frame,
 
701
    CODEC_CAP_DR1,
 
702
    .long_name = NULL_IF_CONFIG_SMALL("Smacker video"),
 
703
};
 
704
 
 
705
AVCodec ff_smackaud_decoder = {
 
706
    "smackaud",
 
707
    AVMEDIA_TYPE_AUDIO,
 
708
    CODEC_ID_SMACKAUDIO,
 
709
    0,
 
710
    smka_decode_init,
 
711
    NULL,
 
712
    NULL,
 
713
    smka_decode_frame,
 
714
    .long_name = NULL_IF_CONFIG_SMALL("Smacker audio"),
 
715
};
 
716