← Back to branch summary

~facundo/encuentro/trunk

« back to all changes in this revision

Viewing changes to external/youtube-dl/youtube_dl/extractor/iqiyi.py

  • Committer: Facundo Batista
  • Date: 2015-12-27 11:27:15 UTC
  • mto: This revision was merged to the branch mainline in revision 274.
  • Revision ID: facundo@taniquetil.com.ar-20151227112715-ztuasdhqm26hycug
Able to download TEDx.

Show diffs side-by-side

added added

removed removed

Lines of Context:
external/youtube-dl/youtube_dl/extractor/iqiyi.py
 
1
# coding: utf-8
 
2
from __future__ import unicode_literals
 
3
 
 
4
import hashlib
 
5
import math
 
6
import random
 
7
import time
 
8
import uuid
 
9
 
 
10
from .common import InfoExtractor
 
11
from ..compat import compat_urllib_parse
 
12
from ..utils import ExtractorError
 
13
 
 
14
 
 
15
class IqiyiIE(InfoExtractor):
 
16
    IE_NAME = 'iqiyi'
 
17
    IE_DESC = '爱奇艺'
 
18
 
 
19
    _VALID_URL = r'http://(?:www\.)iqiyi.com/v_.+?\.html'
 
20
 
 
21
    _TESTS = [{
 
22
        'url': 'http://www.iqiyi.com/v_19rrojlavg.html',
 
23
        'md5': '2cb594dc2781e6c941a110d8f358118b',
 
24
        'info_dict': {
 
25
            'id': '9c1fb1b99d192b21c559e5a1a2cb3c73',
 
26
            'title': '美国德州空中惊现奇异云团 酷似UFO',
 
27
            'ext': 'f4v',
 
28
        }
 
29
    }, {
 
30
        'url': 'http://www.iqiyi.com/v_19rrhnnclk.html',
 
31
        'info_dict': {
 
32
            'id': 'e3f585b550a280af23c98b6cb2be19fb',
 
33
            'title': '名侦探柯南第752集',
 
34
        },
 
35
        'playlist': [{
 
36
            'info_dict': {
 
37
                'id': 'e3f585b550a280af23c98b6cb2be19fb_part1',
 
38
                'ext': 'f4v',
 
39
                'title': '名侦探柯南第752集',
 
40
            },
 
41
        }, {
 
42
            'info_dict': {
 
43
                'id': 'e3f585b550a280af23c98b6cb2be19fb_part2',
 
44
                'ext': 'f4v',
 
45
                'title': '名侦探柯南第752集',
 
46
            },
 
47
        }, {
 
48
            'info_dict': {
 
49
                'id': 'e3f585b550a280af23c98b6cb2be19fb_part3',
 
50
                'ext': 'f4v',
 
51
                'title': '名侦探柯南第752集',
 
52
            },
 
53
        }, {
 
54
            'info_dict': {
 
55
                'id': 'e3f585b550a280af23c98b6cb2be19fb_part4',
 
56
                'ext': 'f4v',
 
57
                'title': '名侦探柯南第752集',
 
58
            },
 
59
        }, {
 
60
            'info_dict': {
 
61
                'id': 'e3f585b550a280af23c98b6cb2be19fb_part5',
 
62
                'ext': 'f4v',
 
63
                'title': '名侦探柯南第752集',
 
64
            },
 
65
        }, {
 
66
            'info_dict': {
 
67
                'id': 'e3f585b550a280af23c98b6cb2be19fb_part6',
 
68
                'ext': 'f4v',
 
69
                'title': '名侦探柯南第752集',
 
70
            },
 
71
        }, {
 
72
            'info_dict': {
 
73
                'id': 'e3f585b550a280af23c98b6cb2be19fb_part7',
 
74
                'ext': 'f4v',
 
75
                'title': '名侦探柯南第752集',
 
76
            },
 
77
        }, {
 
78
            'info_dict': {
 
79
                'id': 'e3f585b550a280af23c98b6cb2be19fb_part8',
 
80
                'ext': 'f4v',
 
81
                'title': '名侦探柯南第752集',
 
82
            },
 
83
        }],
 
84
        'params': {
 
85
            'skip_download': True,
 
86
        },
 
87
    }]
 
88
 
 
89
    _FORMATS_MAP = [
 
90
        ('1', 'h6'),
 
91
        ('2', 'h5'),
 
92
        ('3', 'h4'),
 
93
        ('4', 'h3'),
 
94
        ('5', 'h2'),
 
95
        ('10', 'h1'),
 
96
    ]
 
97
 
 
98
    @staticmethod
 
99
    def md5_text(text):
 
100
        return hashlib.md5(text.encode('utf-8')).hexdigest()
 
101
 
 
102
    def construct_video_urls(self, data, video_id, _uuid):
 
103
        def do_xor(x, y):
 
104
            a = y % 3
 
105
            if a == 1:
 
106
                return x ^ 121
 
107
            if a == 2:
 
108
                return x ^ 72
 
109
            return x ^ 103
 
110
 
 
111
        def get_encode_code(l):
 
112
            a = 0
 
113
            b = l.split('-')
 
114
            c = len(b)
 
115
            s = ''
 
116
            for i in range(c - 1, -1, -1):
 
117
                a = do_xor(int(b[c - i - 1], 16), i)
 
118
                s += chr(a)
 
119
            return s[::-1]
 
120
 
 
121
        def get_path_key(x, format_id, segment_index):
 
122
            mg = ')(*&^flash@#$%a'
 
123
            tm = self._download_json(
 
124
                'http://data.video.qiyi.com/t?tn=' + str(random.random()), video_id,
 
125
                note='Download path key of segment %d for format %s' % (segment_index + 1, format_id)
 
126
            )['t']
 
127
            t = str(int(math.floor(int(tm) / (600.0))))
 
128
            return self.md5_text(t + mg + x)
 
129
 
 
130
        video_urls_dict = {}
 
131
        for format_item in data['vp']['tkl'][0]['vs']:
 
132
            if 0 < int(format_item['bid']) <= 10:
 
133
                format_id = self.get_format(format_item['bid'])
 
134
            else:
 
135
                continue
 
136
 
 
137
            video_urls = []
 
138
 
 
139
            video_urls_info = format_item['fs']
 
140
            if not format_item['fs'][0]['l'].startswith('/'):
 
141
                t = get_encode_code(format_item['fs'][0]['l'])
 
142
                if t.endswith('mp4'):
 
143
                    video_urls_info = format_item['flvs']
 
144
 
 
145
            for segment_index, segment in enumerate(video_urls_info):
 
146
                vl = segment['l']
 
147
                if not vl.startswith('/'):
 
148
                    vl = get_encode_code(vl)
 
149
                key = get_path_key(
 
150
                    vl.split('/')[-1].split('.')[0], format_id, segment_index)
 
151
                filesize = segment['b']
 
152
                base_url = data['vp']['du'].split('/')
 
153
                base_url.insert(-1, key)
 
154
                base_url = '/'.join(base_url)
 
155
                param = {
 
156
                    'su': _uuid,
 
157
                    'qyid': uuid.uuid4().hex,
 
158
                    'client': '',
 
159
                    'z': '',
 
160
                    'bt': '',
 
161
                    'ct': '',
 
162
                    'tn': str(int(time.time()))
 
163
                }
 
164
                api_video_url = base_url + vl + '?' + \
 
165
                    compat_urllib_parse.urlencode(param)
 
166
                js = self._download_json(
 
167
                    api_video_url, video_id,
 
168
                    note='Download video info of segment %d for format %s' % (segment_index + 1, format_id))
 
169
                video_url = js['l']
 
170
                video_urls.append(
 
171
                    (video_url, filesize))
 
172
 
 
173
            video_urls_dict[format_id] = video_urls
 
174
        return video_urls_dict
 
175
 
 
176
    def get_format(self, bid):
 
177
        matched_format_ids = [_format_id for _bid, _format_id in self._FORMATS_MAP if _bid == str(bid)]
 
178
        return matched_format_ids[0] if len(matched_format_ids) else None
 
179
 
 
180
    def get_bid(self, format_id):
 
181
        matched_bids = [_bid for _bid, _format_id in self._FORMATS_MAP if _format_id == format_id]
 
182
        return matched_bids[0] if len(matched_bids) else None
 
183
 
 
184
    def get_raw_data(self, tvid, video_id, enc_key, _uuid):
 
185
        tm = str(int(time.time()))
 
186
        tail = tm + tvid
 
187
        param = {
 
188
            'key': 'fvip',
 
189
            'src': self.md5_text('youtube-dl'),
 
190
            'tvId': tvid,
 
191
            'vid': video_id,
 
192
            'vinfo': 1,
 
193
            'tm': tm,
 
194
            'enc': self.md5_text(enc_key + tail),
 
195
            'qyid': _uuid,
 
196
            'tn': random.random(),
 
197
            'um': 0,
 
198
            'authkey': self.md5_text(self.md5_text('') + tail),
 
199
        }
 
200
 
 
201
        api_url = 'http://cache.video.qiyi.com/vms' + '?' + \
 
202
            compat_urllib_parse.urlencode(param)
 
203
        raw_data = self._download_json(api_url, video_id)
 
204
        return raw_data
 
205
 
 
206
    def get_enc_key(self, swf_url, video_id):
 
207
        # TODO: automatic key extraction
 
208
        # last update at 2015-12-18 for Zombie::bite
 
209
        enc_key = '8b6b683780897eb8d9a48a02ccc4817d'[::-1]
 
210
        return enc_key
 
211
 
 
212
    def _real_extract(self, url):
 
213
        webpage = self._download_webpage(
 
214
            url, 'temp_id', note='download video page')
 
215
        tvid = self._search_regex(
 
216
            r'data-player-tvid\s*=\s*[\'"](\d+)', webpage, 'tvid')
 
217
        video_id = self._search_regex(
 
218
            r'data-player-videoid\s*=\s*[\'"]([a-f\d]+)', webpage, 'video_id')
 
219
        swf_url = self._search_regex(
 
220
            r'(http://[^\'"]+MainPlayer[^.]+\.swf)', webpage, 'swf player URL')
 
221
        _uuid = uuid.uuid4().hex
 
222
 
 
223
        enc_key = self.get_enc_key(swf_url, video_id)
 
224
 
 
225
        raw_data = self.get_raw_data(tvid, video_id, enc_key, _uuid)
 
226
 
 
227
        if raw_data['code'] != 'A000000':
 
228
            raise ExtractorError('Unable to load data. Error code: ' + raw_data['code'])
 
229
 
 
230
        if not raw_data['data']['vp']['tkl']:
 
231
            raise ExtractorError('No support iQiqy VIP video')
 
232
 
 
233
        data = raw_data['data']
 
234
 
 
235
        title = data['vi']['vn']
 
236
 
 
237
        # generate video_urls_dict
 
238
        video_urls_dict = self.construct_video_urls(
 
239
            data, video_id, _uuid)
 
240
 
 
241
        # construct info
 
242
        entries = []
 
243
        for format_id in video_urls_dict:
 
244
            video_urls = video_urls_dict[format_id]
 
245
            for i, video_url_info in enumerate(video_urls):
 
246
                if len(entries) < i + 1:
 
247
                    entries.append({'formats': []})
 
248
                entries[i]['formats'].append(
 
249
                    {
 
250
                        'url': video_url_info[0],
 
251
                        'filesize': video_url_info[-1],
 
252
                        'format_id': format_id,
 
253
                        'preference': int(self.get_bid(format_id))
 
254
                    }
 
255
                )
 
256
 
 
257
        for i in range(len(entries)):
 
258
            self._sort_formats(entries[i]['formats'])
 
259
            entries[i].update(
 
260
                {
 
261
                    'id': '%s_part%d' % (video_id, i + 1),
 
262
                    'title': title,
 
263
                }
 
264
            )
 
265
 
 
266
        if len(entries) > 1:
 
267
            info = {
 
268
                '_type': 'multi_video',
 
269
                'id': video_id,
 
270
                'title': title,
 
271
                'entries': entries,
 
272
            }
 
273
        else:
 
274
            info = entries[0]
 
275
            info['id'] = video_id
 
276
            info['title'] = title
 
277
 
 
278
        return info