← Back to branch summary

~ubuntu-branches/ubuntu/oneiric/libav/oneiric-security

« back to all changes in this revision

Viewing changes to .pc/post-0.7.1/0057-Fixed-off-by-one-packet-size-allocation-in-the-smack.patch/libavformat/smacker.c

  • Committer: Package Import Robot
  • Author(s): Reinhard Tartler
  • Date: 2011-09-28 09:18:34 UTC
  • mfrom: (1.3.7 sid)
  • Revision ID: package-import@ubuntu.com-20110928091834-w415mnuh06h4zpvc
Tags: 4:0.7.1-7ubuntu2
Revert "Convert package to include multiarch support."

Show diffs side-by-side

added added

removed removed

Lines of Context:
.pc/post-0.7.1/0057-Fixed-off-by-one-packet-size-allocation-in-the-smack.patch/libavformat/smacker.c
 
1
/*
 
2
 * Smacker demuxer
 
3
 * Copyright (c) 2006 Konstantin Shishkov
 
4
 *
 
5
 * This file is part of Libav.
 
6
 *
 
7
 * Libav is free software; you can redistribute it and/or
 
8
 * modify it under the terms of the GNU Lesser General Public
 
9
 * License as published by the Free Software Foundation; either
 
10
 * version 2.1 of the License, or (at your option) any later version.
 
11
 *
 
12
 * Libav is distributed in the hope that it will be useful,
 
13
 * but WITHOUT ANY WARRANTY; without even the implied warranty of
 
14
 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
 
15
 * Lesser General Public License for more details.
 
16
 *
 
17
 * You should have received a copy of the GNU Lesser General Public
 
18
 * License along with Libav; if not, write to the Free Software
 
19
 * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
20
 */
 
21
 
 
22
/*
 
23
 * Based on http://wiki.multimedia.cx/index.php?title=Smacker
 
24
 */
 
25
 
 
26
#include "libavutil/bswap.h"
 
27
#include "libavutil/intreadwrite.h"
 
28
#include "avformat.h"
 
29
 
 
30
#define SMACKER_PAL 0x01
 
31
#define SMACKER_FLAG_RING_FRAME 0x01
 
32
 
 
33
enum SAudFlags {
 
34
    SMK_AUD_PACKED  = 0x80000000,
 
35
    SMK_AUD_16BITS  = 0x20000000,
 
36
    SMK_AUD_STEREO  = 0x10000000,
 
37
    SMK_AUD_BINKAUD = 0x08000000,
 
38
    SMK_AUD_USEDCT  = 0x04000000
 
39
};
 
40
 
 
41
typedef struct SmackerContext {
 
42
    /* Smacker file header */
 
43
    uint32_t magic;
 
44
    uint32_t width, height;
 
45
    uint32_t frames;
 
46
    int      pts_inc;
 
47
    uint32_t flags;
 
48
    uint32_t audio[7];
 
49
    uint32_t treesize;
 
50
    uint32_t mmap_size, mclr_size, full_size, type_size;
 
51
    uint32_t rates[7];
 
52
    uint32_t pad;
 
53
    /* frame info */
 
54
    uint32_t *frm_size;
 
55
    uint8_t  *frm_flags;
 
56
    /* internal variables */
 
57
    int cur_frame;
 
58
    int is_ver4;
 
59
    int64_t cur_pts;
 
60
    /* current frame for demuxing */
 
61
    uint8_t pal[768];
 
62
    int indexes[7];
 
63
    int videoindex;
 
64
    uint8_t *bufs[7];
 
65
    int buf_sizes[7];
 
66
    int stream_id[7];
 
67
    int curstream;
 
68
    int64_t nextpos;
 
69
    int64_t aud_pts[7];
 
70
} SmackerContext;
 
71
 
 
72
typedef struct SmackerFrame {
 
73
    int64_t pts;
 
74
    int stream;
 
75
} SmackerFrame;
 
76
 
 
77
/* palette used in Smacker */
 
78
static const uint8_t smk_pal[64] = {
 
79
    0x00, 0x04, 0x08, 0x0C, 0x10, 0x14, 0x18, 0x1C,
 
80
    0x20, 0x24, 0x28, 0x2C, 0x30, 0x34, 0x38, 0x3C,
 
81
    0x41, 0x45, 0x49, 0x4D, 0x51, 0x55, 0x59, 0x5D,
 
82
    0x61, 0x65, 0x69, 0x6D, 0x71, 0x75, 0x79, 0x7D,
 
83
    0x82, 0x86, 0x8A, 0x8E, 0x92, 0x96, 0x9A, 0x9E,
 
84
    0xA2, 0xA6, 0xAA, 0xAE, 0xB2, 0xB6, 0xBA, 0xBE,
 
85
    0xC3, 0xC7, 0xCB, 0xCF, 0xD3, 0xD7, 0xDB, 0xDF,
 
86
    0xE3, 0xE7, 0xEB, 0xEF, 0xF3, 0xF7, 0xFB, 0xFF
 
87
};
 
88
 
 
89
 
 
90
static int smacker_probe(AVProbeData *p)
 
91
{
 
92
    if(p->buf[0] == 'S' && p->buf[1] == 'M' && p->buf[2] == 'K'
 
93
        && (p->buf[3] == '2' || p->buf[3] == '4'))
 
94
        return AVPROBE_SCORE_MAX;
 
95
    else
 
96
        return 0;
 
97
}
 
98
 
 
99
static int smacker_read_header(AVFormatContext *s, AVFormatParameters *ap)
 
100
{
 
101
    AVIOContext *pb = s->pb;
 
102
    SmackerContext *smk = s->priv_data;
 
103
    AVStream *st, *ast[7];
 
104
    int i, ret;
 
105
    int tbase;
 
106
 
 
107
    /* read and check header */
 
108
    smk->magic = avio_rl32(pb);
 
109
    if (smk->magic != MKTAG('S', 'M', 'K', '2') && smk->magic != MKTAG('S', 'M', 'K', '4'))
 
110
        return -1;
 
111
    smk->width = avio_rl32(pb);
 
112
    smk->height = avio_rl32(pb);
 
113
    smk->frames = avio_rl32(pb);
 
114
    smk->pts_inc = (int32_t)avio_rl32(pb);
 
115
    smk->flags = avio_rl32(pb);
 
116
    if(smk->flags & SMACKER_FLAG_RING_FRAME)
 
117
        smk->frames++;
 
118
    for(i = 0; i < 7; i++)
 
119
        smk->audio[i] = avio_rl32(pb);
 
120
    smk->treesize = avio_rl32(pb);
 
121
 
 
122
    if(smk->treesize >= UINT_MAX/4){ // smk->treesize + 16 must not overflow (this check is probably redundant)
 
123
        av_log(s, AV_LOG_ERROR, "treesize too large\n");
 
124
        return -1;
 
125
    }
 
126
 
 
127
//FIXME remove extradata "rebuilding"
 
128
    smk->mmap_size = avio_rl32(pb);
 
129
    smk->mclr_size = avio_rl32(pb);
 
130
    smk->full_size = avio_rl32(pb);
 
131
    smk->type_size = avio_rl32(pb);
 
132
    for(i = 0; i < 7; i++)
 
133
        smk->rates[i] = avio_rl32(pb);
 
134
    smk->pad = avio_rl32(pb);
 
135
    /* setup data */
 
136
    if(smk->frames > 0xFFFFFF) {
 
137
        av_log(s, AV_LOG_ERROR, "Too many frames: %i\n", smk->frames);
 
138
        return -1;
 
139
    }
 
140
    smk->frm_size = av_malloc(smk->frames * 4);
 
141
    smk->frm_flags = av_malloc(smk->frames);
 
142
 
 
143
    smk->is_ver4 = (smk->magic != MKTAG('S', 'M', 'K', '2'));
 
144
 
 
145
    /* read frame info */
 
146
    for(i = 0; i < smk->frames; i++) {
 
147
        smk->frm_size[i] = avio_rl32(pb);
 
148
    }
 
149
    for(i = 0; i < smk->frames; i++) {
 
150
        smk->frm_flags[i] = avio_r8(pb);
 
151
    }
 
152
 
 
153
    /* init video codec */
 
154
    st = av_new_stream(s, 0);
 
155
    if (!st)
 
156
        return -1;
 
157
    smk->videoindex = st->index;
 
158
    st->codec->width = smk->width;
 
159
    st->codec->height = smk->height;
 
160
    st->codec->pix_fmt = PIX_FMT_PAL8;
 
161
    st->codec->codec_type = AVMEDIA_TYPE_VIDEO;
 
162
    st->codec->codec_id = CODEC_ID_SMACKVIDEO;
 
163
    st->codec->codec_tag = smk->magic;
 
164
    /* Smacker uses 100000 as internal timebase */
 
165
    if(smk->pts_inc < 0)
 
166
        smk->pts_inc = -smk->pts_inc;
 
167
    else
 
168
        smk->pts_inc *= 100;
 
169
    tbase = 100000;
 
170
    av_reduce(&tbase, &smk->pts_inc, tbase, smk->pts_inc, (1UL<<31)-1);
 
171
    av_set_pts_info(st, 33, smk->pts_inc, tbase);
 
172
    st->duration = smk->frames;
 
173
    /* handle possible audio streams */
 
174
    for(i = 0; i < 7; i++) {
 
175
        smk->indexes[i] = -1;
 
176
        if(smk->rates[i] & 0xFFFFFF){
 
177
            ast[i] = av_new_stream(s, 0);
 
178
            smk->indexes[i] = ast[i]->index;
 
179
            ast[i]->codec->codec_type = AVMEDIA_TYPE_AUDIO;
 
180
            if (smk->rates[i] & SMK_AUD_BINKAUD) {
 
181
                ast[i]->codec->codec_id = CODEC_ID_BINKAUDIO_RDFT;
 
182
            } else if (smk->rates[i] & SMK_AUD_USEDCT) {
 
183
                ast[i]->codec->codec_id = CODEC_ID_BINKAUDIO_DCT;
 
184
            } else if (smk->rates[i] & SMK_AUD_PACKED){
 
185
                ast[i]->codec->codec_id = CODEC_ID_SMACKAUDIO;
 
186
                ast[i]->codec->codec_tag = MKTAG('S', 'M', 'K', 'A');
 
187
            } else {
 
188
                ast[i]->codec->codec_id = CODEC_ID_PCM_U8;
 
189
            }
 
190
            ast[i]->codec->channels = (smk->rates[i] & SMK_AUD_STEREO) ? 2 : 1;
 
191
            ast[i]->codec->sample_rate = smk->rates[i] & 0xFFFFFF;
 
192
            ast[i]->codec->bits_per_coded_sample = (smk->rates[i] & SMK_AUD_16BITS) ? 16 : 8;
 
193
            if(ast[i]->codec->bits_per_coded_sample == 16 && ast[i]->codec->codec_id == CODEC_ID_PCM_U8)
 
194
                ast[i]->codec->codec_id = CODEC_ID_PCM_S16LE;
 
195
            av_set_pts_info(ast[i], 64, 1, ast[i]->codec->sample_rate
 
196
                    * ast[i]->codec->channels * ast[i]->codec->bits_per_coded_sample / 8);
 
197
        }
 
198
    }
 
199
 
 
200
 
 
201
    /* load trees to extradata, they will be unpacked by decoder */
 
202
    st->codec->extradata = av_malloc(smk->treesize + 16);
 
203
    st->codec->extradata_size = smk->treesize + 16;
 
204
    if(!st->codec->extradata){
 
205
        av_log(s, AV_LOG_ERROR, "Cannot allocate %i bytes of extradata\n", smk->treesize + 16);
 
206
        av_free(smk->frm_size);
 
207
        av_free(smk->frm_flags);
 
208
        return -1;
 
209
    }
 
210
    ret = avio_read(pb, st->codec->extradata + 16, st->codec->extradata_size - 16);
 
211
    if(ret != st->codec->extradata_size - 16){
 
212
        av_free(smk->frm_size);
 
213
        av_free(smk->frm_flags);
 
214
        return AVERROR(EIO);
 
215
    }
 
216
    ((int32_t*)st->codec->extradata)[0] = av_le2ne32(smk->mmap_size);
 
217
    ((int32_t*)st->codec->extradata)[1] = av_le2ne32(smk->mclr_size);
 
218
    ((int32_t*)st->codec->extradata)[2] = av_le2ne32(smk->full_size);
 
219
    ((int32_t*)st->codec->extradata)[3] = av_le2ne32(smk->type_size);
 
220
 
 
221
    smk->curstream = -1;
 
222
    smk->nextpos = avio_tell(pb);
 
223
 
 
224
    return 0;
 
225
}
 
226
 
 
227
 
 
228
static int smacker_read_packet(AVFormatContext *s, AVPacket *pkt)
 
229
{
 
230
    SmackerContext *smk = s->priv_data;
 
231
    int flags;
 
232
    int ret;
 
233
    int i;
 
234
    int frame_size = 0;
 
235
    int palchange = 0;
 
236
 
 
237
    if (s->pb->eof_reached || smk->cur_frame >= smk->frames)
 
238
        return AVERROR_EOF;
 
239
 
 
240
    /* if we demuxed all streams, pass another frame */
 
241
    if(smk->curstream < 0) {
 
242
        avio_seek(s->pb, smk->nextpos, 0);
 
243
        frame_size = smk->frm_size[smk->cur_frame] & (~3);
 
244
        flags = smk->frm_flags[smk->cur_frame];
 
245
        /* handle palette change event */
 
246
        if(flags & SMACKER_PAL){
 
247
            int size, sz, t, off, j, pos;
 
248
            uint8_t *pal = smk->pal;
 
249
            uint8_t oldpal[768];
 
250
 
 
251
            memcpy(oldpal, pal, 768);
 
252
            size = avio_r8(s->pb);
 
253
            size = size * 4 - 1;
 
254
            frame_size -= size;
 
255
            frame_size--;
 
256
            sz = 0;
 
257
            pos = avio_tell(s->pb) + size;
 
258
            while(sz < 256){
 
259
                t = avio_r8(s->pb);
 
260
                if(t & 0x80){ /* skip palette entries */
 
261
                    sz += (t & 0x7F) + 1;
 
262
                    pal += ((t & 0x7F) + 1) * 3;
 
263
                } else if(t & 0x40){ /* copy with offset */
 
264
                    off = avio_r8(s->pb) * 3;
 
265
                    j = (t & 0x3F) + 1;
 
266
                    while(j-- && sz < 256) {
 
267
                        *pal++ = oldpal[off + 0];
 
268
                        *pal++ = oldpal[off + 1];
 
269
                        *pal++ = oldpal[off + 2];
 
270
                        sz++;
 
271
                        off += 3;
 
272
                    }
 
273
                } else { /* new entries */
 
274
                    *pal++ = smk_pal[t];
 
275
                    *pal++ = smk_pal[avio_r8(s->pb) & 0x3F];
 
276
                    *pal++ = smk_pal[avio_r8(s->pb) & 0x3F];
 
277
                    sz++;
 
278
                }
 
279
            }
 
280
            avio_seek(s->pb, pos, 0);
 
281
            palchange |= 1;
 
282
        }
 
283
        flags >>= 1;
 
284
        smk->curstream = -1;
 
285
        /* if audio chunks are present, put them to stack and retrieve later */
 
286
        for(i = 0; i < 7; i++) {
 
287
            if(flags & 1) {
 
288
                int size;
 
289
                uint8_t *tmpbuf;
 
290
 
 
291
                size = avio_rl32(s->pb) - 4;
 
292
                frame_size -= size;
 
293
                frame_size -= 4;
 
294
                smk->curstream++;
 
295
                tmpbuf = av_realloc(smk->bufs[smk->curstream], size);
 
296
                if (!tmpbuf)
 
297
                    return AVERROR(ENOMEM);
 
298
                smk->bufs[smk->curstream] = tmpbuf;
 
299
                smk->buf_sizes[smk->curstream] = size;
 
300
                ret = avio_read(s->pb, smk->bufs[smk->curstream], size);
 
301
                if(ret != size)
 
302
                    return AVERROR(EIO);
 
303
                smk->stream_id[smk->curstream] = smk->indexes[i];
 
304
            }
 
305
            flags >>= 1;
 
306
        }
 
307
        if (frame_size < 0)
 
308
            return AVERROR_INVALIDDATA;
 
309
        if (av_new_packet(pkt, frame_size + 768))
 
310
            return AVERROR(ENOMEM);
 
311
        if(smk->frm_size[smk->cur_frame] & 1)
 
312
            palchange |= 2;
 
313
        pkt->data[0] = palchange;
 
314
        memcpy(pkt->data + 1, smk->pal, 768);
 
315
        ret = avio_read(s->pb, pkt->data + 769, frame_size);
 
316
        if(ret != frame_size)
 
317
            return AVERROR(EIO);
 
318
        pkt->stream_index = smk->videoindex;
 
319
        pkt->size = ret + 769;
 
320
        smk->cur_frame++;
 
321
        smk->nextpos = avio_tell(s->pb);
 
322
    } else {
 
323
        if (av_new_packet(pkt, smk->buf_sizes[smk->curstream]))
 
324
            return AVERROR(ENOMEM);
 
325
        memcpy(pkt->data, smk->bufs[smk->curstream], smk->buf_sizes[smk->curstream]);
 
326
        pkt->size = smk->buf_sizes[smk->curstream];
 
327
        pkt->stream_index = smk->stream_id[smk->curstream];
 
328
        pkt->pts = smk->aud_pts[smk->curstream];
 
329
        smk->aud_pts[smk->curstream] += AV_RL32(pkt->data);
 
330
        smk->curstream--;
 
331
    }
 
332
 
 
333
    return 0;
 
334
}
 
335
 
 
336
static int smacker_read_close(AVFormatContext *s)
 
337
{
 
338
    SmackerContext *smk = s->priv_data;
 
339
    int i;
 
340
 
 
341
    for(i = 0; i < 7; i++)
 
342
        av_free(smk->bufs[i]);
 
343
    av_free(smk->frm_size);
 
344
    av_free(smk->frm_flags);
 
345
 
 
346
    return 0;
 
347
}
 
348
 
 
349
AVInputFormat ff_smacker_demuxer = {
 
350
    "smk",
 
351
    NULL_IF_CONFIG_SMALL("Smacker video"),
 
352
    sizeof(SmackerContext),
 
353
    smacker_probe,
 
354
    smacker_read_header,
 
355
    smacker_read_packet,
 
356
    smacker_read_close,
 
357
};