← Back to branch summary

~ubuntu-branches/ubuntu/raring/libav/raring-security

« back to all changes in this revision

Viewing changes to .pc/post-0.7.1/0023-rv30-return-AVERROR-EINVAL-instead-of-EINVAL.patch/libavcodec/rv30.c

  • Committer: Package Import Robot
  • Author(s): Reinhard Tartler
  • Date: 2011-10-01 00:22:07 UTC
  • mfrom: (1.3.8 sid)
  • Revision ID: package-import@ubuntu.com-20111001002207-tnxz39i0rwr5ufy9
Tags: 4:0.7.2-1ubuntu1
* Merge from debian, remaining changes:
  - don't build against libfaad, libdirac, librtmp and libopenjpeg,
    lame, xvid, x264  (all in universe)
  - not installing into multiarch directories
* This new upstream release has basically merged in all 70 patches that
  are present in 4:0.7.1-7ubuntu2, plus some additional, similarily
  focused ones.

Show diffs side-by-side

added added

removed removed

Lines of Context:
.pc/post-0.7.1/0023-rv30-return-AVERROR-EINVAL-instead-of-EINVAL.patch/libavcodec/rv30.c
1
 
/*
2
 
 * RV30 decoder
3
 
 * Copyright (c) 2007 Konstantin Shishkov
4
 
 *
5
 
 * This file is part of Libav.
6
 
 *
7
 
 * Libav is free software; you can redistribute it and/or
8
 
 * modify it under the terms of the GNU Lesser General Public
9
 
 * License as published by the Free Software Foundation; either
10
 
 * version 2.1 of the License, or (at your option) any later version.
11
 
 *
12
 
 * Libav is distributed in the hope that it will be useful,
13
 
 * but WITHOUT ANY WARRANTY; without even the implied warranty of
14
 
 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15
 
 * Lesser General Public License for more details.
16
 
 *
17
 
 * You should have received a copy of the GNU Lesser General Public
18
 
 * License along with Libav; if not, write to the Free Software
19
 
 * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20
 
 */
21
 
 
22
 
/**
23
 
 * @file
24
 
 * RV30 decoder
25
 
 */
26
 
 
27
 
#include "avcodec.h"
28
 
#include "dsputil.h"
29
 
#include "mpegvideo.h"
30
 
#include "golomb.h"
31
 
 
32
 
#include "rv34.h"
33
 
#include "rv30data.h"
34
 
 
35
 
 
36
 
static int rv30_parse_slice_header(RV34DecContext *r, GetBitContext *gb, SliceInfo *si)
37
 
{
38
 
    int mb_bits;
39
 
    int w = r->s.width, h = r->s.height;
40
 
    int mb_size;
41
 
    int rpr;
42
 
 
43
 
    memset(si, 0, sizeof(SliceInfo));
44
 
    if(get_bits(gb, 3))
45
 
        return -1;
46
 
    si->type = get_bits(gb, 2);
47
 
    if(si->type == 1) si->type = 0;
48
 
    if(get_bits1(gb))
49
 
        return -1;
50
 
    si->quant = get_bits(gb, 5);
51
 
    skip_bits1(gb);
52
 
    si->pts = get_bits(gb, 13);
53
 
    rpr = get_bits(gb, r->rpr);
54
 
    if(rpr){
55
 
        w = r->s.avctx->extradata[6 + rpr*2] << 2;
56
 
        h = r->s.avctx->extradata[7 + rpr*2] << 2;
57
 
    }
58
 
    si->width  = w;
59
 
    si->height = h;
60
 
    mb_size = ((w + 15) >> 4) * ((h + 15) >> 4);
61
 
    mb_bits = ff_rv34_get_start_offset(gb, mb_size);
62
 
    si->start = get_bits(gb, mb_bits);
63
 
    skip_bits1(gb);
64
 
    return 0;
65
 
}
66
 
 
67
 
/**
68
 
 * Decode 4x4 intra types array.
69
 
 */
70
 
static int rv30_decode_intra_types(RV34DecContext *r, GetBitContext *gb, int8_t *dst)
71
 
{
72
 
    int i, j, k;
73
 
 
74
 
    for(i = 0; i < 4; i++, dst += r->intra_types_stride - 4){
75
 
        for(j = 0; j < 4; j+= 2){
76
 
            int code = svq3_get_ue_golomb(gb) << 1;
77
 
            if(code >= 81*2){
78
 
                av_log(r->s.avctx, AV_LOG_ERROR, "Incorrect intra prediction code\n");
79
 
                return -1;
80
 
            }
81
 
            for(k = 0; k < 2; k++){
82
 
                int A = dst[-r->intra_types_stride] + 1;
83
 
                int B = dst[-1] + 1;
84
 
                *dst++ = rv30_itype_from_context[A * 90 + B * 9 + rv30_itype_code[code + k]];
85
 
                if(dst[-1] == 9){
86
 
                    av_log(r->s.avctx, AV_LOG_ERROR, "Incorrect intra prediction mode\n");
87
 
                    return -1;
88
 
                }
89
 
            }
90
 
        }
91
 
    }
92
 
    return 0;
93
 
}
94
 
 
95
 
/**
96
 
 * Decode macroblock information.
97
 
 */
98
 
static int rv30_decode_mb_info(RV34DecContext *r)
99
 
{
100
 
    static const int rv30_p_types[6] = { RV34_MB_SKIP, RV34_MB_P_16x16, RV34_MB_P_8x8, -1, RV34_MB_TYPE_INTRA, RV34_MB_TYPE_INTRA16x16 };
101
 
    static const int rv30_b_types[6] = { RV34_MB_SKIP, RV34_MB_B_DIRECT, RV34_MB_B_FORWARD, RV34_MB_B_BACKWARD, RV34_MB_TYPE_INTRA, RV34_MB_TYPE_INTRA16x16 };
102
 
    MpegEncContext *s = &r->s;
103
 
    GetBitContext *gb = &s->gb;
104
 
    int code = svq3_get_ue_golomb(gb);
105
 
 
106
 
    if(code > 11){
107
 
        av_log(s->avctx, AV_LOG_ERROR, "Incorrect MB type code\n");
108
 
        return -1;
109
 
    }
110
 
    if(code > 5){
111
 
        av_log(s->avctx, AV_LOG_ERROR, "dquant needed\n");
112
 
        code -= 6;
113
 
    }
114
 
    if(s->pict_type != AV_PICTURE_TYPE_B)
115
 
        return rv30_p_types[code];
116
 
    else
117
 
        return rv30_b_types[code];
118
 
}
119
 
 
120
 
static inline void rv30_weak_loop_filter(uint8_t *src, const int step,
121
 
                                         const int stride, const int lim)
122
 
{
123
 
    uint8_t *cm = ff_cropTbl + MAX_NEG_CROP;
124
 
    int i, diff;
125
 
 
126
 
    for(i = 0; i < 4; i++){
127
 
        diff = ((src[-2*step] - src[1*step]) - (src[-1*step] - src[0*step])*4) >> 3;
128
 
        diff = av_clip(diff, -lim, lim);
129
 
        src[-1*step] = cm[src[-1*step] + diff];
130
 
        src[ 0*step] = cm[src[ 0*step] - diff];
131
 
        src += stride;
132
 
    }
133
 
}
134
 
 
135
 
static void rv30_loop_filter(RV34DecContext *r, int row)
136
 
{
137
 
    MpegEncContext *s = &r->s;
138
 
    int mb_pos, mb_x;
139
 
    int i, j, k;
140
 
    uint8_t *Y, *C;
141
 
    int loc_lim, cur_lim, left_lim = 0, top_lim = 0;
142
 
 
143
 
    mb_pos = row * s->mb_stride;
144
 
    for(mb_x = 0; mb_x < s->mb_width; mb_x++, mb_pos++){
145
 
        int mbtype = s->current_picture_ptr->mb_type[mb_pos];
146
 
        if(IS_INTRA(mbtype) || IS_SEPARATE_DC(mbtype))
147
 
            r->deblock_coefs[mb_pos] = 0xFFFF;
148
 
        if(IS_INTRA(mbtype))
149
 
            r->cbp_chroma[mb_pos] = 0xFF;
150
 
    }
151
 
 
152
 
    /* all vertical edges are filtered first
153
 
     * and horizontal edges are filtered on the next iteration
154
 
     */
155
 
    mb_pos = row * s->mb_stride;
156
 
    for(mb_x = 0; mb_x < s->mb_width; mb_x++, mb_pos++){
157
 
        cur_lim = rv30_loop_filt_lim[s->current_picture_ptr->qscale_table[mb_pos]];
158
 
        if(mb_x)
159
 
            left_lim = rv30_loop_filt_lim[s->current_picture_ptr->qscale_table[mb_pos - 1]];
160
 
        for(j = 0; j < 16; j += 4){
161
 
            Y = s->current_picture_ptr->data[0] + mb_x*16 + (row*16 + j) * s->linesize + 4 * !mb_x;
162
 
            for(i = !mb_x; i < 4; i++, Y += 4){
163
 
                int ij = i + j;
164
 
                loc_lim = 0;
165
 
                if(r->deblock_coefs[mb_pos] & (1 << ij))
166
 
                    loc_lim = cur_lim;
167
 
                else if(!i && r->deblock_coefs[mb_pos - 1] & (1 << (ij + 3)))
168
 
                    loc_lim = left_lim;
169
 
                else if( i && r->deblock_coefs[mb_pos]     & (1 << (ij - 1)))
170
 
                    loc_lim = cur_lim;
171
 
                if(loc_lim)
172
 
                    rv30_weak_loop_filter(Y, 1, s->linesize, loc_lim);
173
 
            }
174
 
        }
175
 
        for(k = 0; k < 2; k++){
176
 
            int cur_cbp, left_cbp = 0;
177
 
            cur_cbp = (r->cbp_chroma[mb_pos] >> (k*4)) & 0xF;
178
 
            if(mb_x)
179
 
                left_cbp = (r->cbp_chroma[mb_pos - 1] >> (k*4)) & 0xF;
180
 
            for(j = 0; j < 8; j += 4){
181
 
                C = s->current_picture_ptr->data[k+1] + mb_x*8 + (row*8 + j) * s->uvlinesize + 4 * !mb_x;
182
 
                for(i = !mb_x; i < 2; i++, C += 4){
183
 
                    int ij = i + (j >> 1);
184
 
                    loc_lim = 0;
185
 
                    if(cur_cbp && (1 << ij))
186
 
                        loc_lim = cur_lim;
187
 
                    else if(!i && left_cbp & (1 << (ij + 1)))
188
 
                        loc_lim = left_lim;
189
 
                    else if( i && cur_cbp  & (1 << (ij - 1)))
190
 
                        loc_lim = cur_lim;
191
 
                    if(loc_lim)
192
 
                        rv30_weak_loop_filter(C, 1, s->uvlinesize, loc_lim);
193
 
                }
194
 
            }
195
 
        }
196
 
    }
197
 
    mb_pos = row * s->mb_stride;
198
 
    for(mb_x = 0; mb_x < s->mb_width; mb_x++, mb_pos++){
199
 
        cur_lim = rv30_loop_filt_lim[s->current_picture_ptr->qscale_table[mb_pos]];
200
 
        if(row)
201
 
            top_lim = rv30_loop_filt_lim[s->current_picture_ptr->qscale_table[mb_pos - s->mb_stride]];
202
 
        for(j = 4*!row; j < 16; j += 4){
203
 
            Y = s->current_picture_ptr->data[0] + mb_x*16 + (row*16 + j) * s->linesize;
204
 
            for(i = 0; i < 4; i++, Y += 4){
205
 
                int ij = i + j;
206
 
                loc_lim = 0;
207
 
                if(r->deblock_coefs[mb_pos] & (1 << ij))
208
 
                    loc_lim = cur_lim;
209
 
                else if(!j && r->deblock_coefs[mb_pos - s->mb_stride] & (1 << (ij + 12)))
210
 
                    loc_lim = top_lim;
211
 
                else if( j && r->deblock_coefs[mb_pos]                & (1 << (ij - 4)))
212
 
                    loc_lim = cur_lim;
213
 
                if(loc_lim)
214
 
                    rv30_weak_loop_filter(Y, s->linesize, 1, loc_lim);
215
 
            }
216
 
        }
217
 
        for(k = 0; k < 2; k++){
218
 
            int cur_cbp, top_cbp = 0;
219
 
            cur_cbp = (r->cbp_chroma[mb_pos] >> (k*4)) & 0xF;
220
 
            if(row)
221
 
                top_cbp = (r->cbp_chroma[mb_pos - s->mb_stride] >> (k*4)) & 0xF;
222
 
            for(j = 4*!row; j < 8; j += 4){
223
 
                C = s->current_picture_ptr->data[k+1] + mb_x*8 + (row*8 + j) * s->uvlinesize;
224
 
                for(i = 0; i < 2; i++, C += 4){
225
 
                    int ij = i + (j >> 1);
226
 
                    loc_lim = 0;
227
 
                    if(r->cbp_chroma[mb_pos] && (1 << ij))
228
 
                        loc_lim = cur_lim;
229
 
                    else if(!j && top_cbp & (1 << (ij + 2)))
230
 
                        loc_lim = top_lim;
231
 
                    else if( j && cur_cbp & (1 << (ij - 2)))
232
 
                        loc_lim = cur_lim;
233
 
                    if(loc_lim)
234
 
                        rv30_weak_loop_filter(C, s->uvlinesize, 1, loc_lim);
235
 
                }
236
 
            }
237
 
        }
238
 
    }
239
 
}
240
 
 
241
 
/**
242
 
 * Initialize decoder.
243
 
 */
244
 
static av_cold int rv30_decode_init(AVCodecContext *avctx)
245
 
{
246
 
    RV34DecContext *r = avctx->priv_data;
247
 
 
248
 
    r->rv30 = 1;
249
 
    ff_rv34_decode_init(avctx);
250
 
    if(avctx->extradata_size < 2){
251
 
        av_log(avctx, AV_LOG_ERROR, "Extradata is too small.\n");
252
 
        return -1;
253
 
    }
254
 
    r->rpr = (avctx->extradata[1] & 7) >> 1;
255
 
    r->rpr = FFMIN(r->rpr + 1, 3);
256
 
    if(avctx->extradata_size - 8 < (r->rpr - 1) * 2){
257
 
        av_log(avctx, AV_LOG_ERROR, "Insufficient extradata - need at least %d bytes, got %d\n",
258
 
               6 + r->rpr * 2, avctx->extradata_size);
259
 
        return EINVAL;
260
 
    }
261
 
    r->parse_slice_header = rv30_parse_slice_header;
262
 
    r->decode_intra_types = rv30_decode_intra_types;
263
 
    r->decode_mb_info     = rv30_decode_mb_info;
264
 
    r->loop_filter        = rv30_loop_filter;
265
 
    r->luma_dc_quant_i = rv30_luma_dc_quant;
266
 
    r->luma_dc_quant_p = rv30_luma_dc_quant;
267
 
    return 0;
268
 
}
269
 
 
270
 
AVCodec ff_rv30_decoder = {
271
 
    "rv30",
272
 
    AVMEDIA_TYPE_VIDEO,
273
 
    CODEC_ID_RV30,
274
 
    sizeof(RV34DecContext),
275
 
    rv30_decode_init,
276
 
    NULL,
277
 
    ff_rv34_decode_end,
278
 
    ff_rv34_decode_frame,
279
 
    CODEC_CAP_DR1 | CODEC_CAP_DELAY,
280
 
    .flush = ff_mpeg_flush,
281
 
    .long_name = NULL_IF_CONFIG_SMALL("RealVideo 3.0"),
282
 
    .pix_fmts= ff_pixfmt_list_420,
283
 
};