1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
|
# -*- coding: utf-8 -*-
# Copyright 2012 Facundo Batista
#
# This program is free software: you can redistribute it and/or modify it
# under the terms of the GNU General Public License version 3, as published
# by the Free Software Foundation.
#
# This program is distributed in the hope that it will be useful, but
# WITHOUT ANY WARRANTY; without even the implied warranties of
# MERCHANTABILITY, SATISFACTORY QUALITY, or FITNESS FOR A PARTICULAR
# PURPOSE. See the GNU General Public License for more details.
#
# You should have received a copy of the GNU General Public License along
# with this program. If not, see <http://www.gnu.org/licenses/>.
#
# For further info, check https://launchpad.net/encuentro
"""Tests for the scrapers for Conectate backend."""
import unittest
from server import get_bacua_episodes
_RES_LIST_1 = [
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=1',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=2',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=3',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=4',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=5',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=6',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=7',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=8',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=9',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=10',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=11',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=12',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=13',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=14',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=15',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=16',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=17',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=18',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=19',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=20',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=21',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=22',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=23',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=24',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=25',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=26',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=27',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=28',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=29',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=30',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=31',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=32',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=33',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=34',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=35',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=36',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=37',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=38',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=39',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=40',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=41',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=42',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=43',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=44',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=45',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=46',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=47',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=48',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=49',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=50',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=51',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=52',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=53',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=54',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=55',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=56',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=57',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=58',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=59',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=60',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=61',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=62',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=63',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=64',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=65',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=66',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=67',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=68',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=69',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=70',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=71',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=72',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=73',
'http://catalogo.bacua.gob.ar/catalogo.php?buscador=&ordenamiento=title&idTematica=0&page=74',
]
_RES_PAGE_1 = [
dict(
title=u"Campo Grande",
description=u"Hace más de dos siglos, algunas familias de Santiago Del Estero y Orán partieron hacia el corazón del gran Chaco. Convivieron con el indio y se adaptaron a las duras condiciones. Campo Grande fue ...",
episode_id="bacua_6732813b",
duration="?",
url="http://backend.bacua.gob.ar/video.php?v=_6732813b",
section="Micro",
channel="Bacua",
image_url="http://backend.bacua.gob.ar/img.php?idvideo=6732813b",
),
dict(
title=u"Cañete Chiquiclips",
description=u"Chiquiclips son consejos sobre seguridad vial, primeros cuidados y salud cantados a los niños por el payaso Cañete.",
episode_id="bacua_c8fa30ec",
duration="?",
url="http://backend.bacua.gob.ar/video.php?v=_c8fa30ec",
section="Micro",
channel="Bacua",
image_url="http://backend.bacua.gob.ar/img.php?idvideo=c8fa30ec",
),
]
_RES_PAGE_2 = [
dict(
title=u"Corazon De Vinilo",
description=u"Los Ludomatic, banda de música infantil exitosa en los años 80, se reúne luego de veinte años para ver que sus vidas no son como lo habían imaginado tiempo atrás. Toni, Becca, Marco, Lupe y Ren ...",
episode_id="bacua_4e0d053f",
duration="?",
url="http://backend.bacua.gob.ar/video.php?v=_4e0d053f",
section="Micro",
channel="Bacua",
image_url="http://backend.bacua.gob.ar/img.php?idvideo=4e0d053f",
),
dict(
title=u"Cordoba Castings",
description=u"Córdoba Castings es una empresa dedicada a realizar castings de toda clase, principalmente para otras provincias y el extranjero. Para Nelson, Sergio, Atilio, Ludmila y Pilar la empresa es sólo un a ...",
episode_id="bacua_2877c648",
duration="?",
url="http://backend.bacua.gob.ar/video.php?v=_2877c648",
section="Micro",
channel="Bacua",
image_url="http://backend.bacua.gob.ar/img.php?idvideo=2877c648",
),
]
class ScrapersTestCase(unittest.TestCase):
"""Tests for the scrapers."""
def test_example_list_1(self):
html = open("../tests/ej-bacua-list_1.html").read()
res = get_bacua_episodes.scrap_list_page(html)
self.assertEqual(res, _RES_LIST_1)
def test_example_page_1(self):
html = open("../tests/ej-bacua-page_1.html").read()
res = get_bacua_episodes.scrap_page(html)
self.assertEqual(res, _RES_PAGE_1)
def test_example_page_2(self):
html = open("../tests/ej-bacua-page_2.html").read()
res = get_bacua_episodes.scrap_page(html)
# print "\n=== res", [sorted(x.items()) for x in res]
# print "=== RES", [sorted(x.items()) for x in _RES_PAGE_2]
self.assertEqual(res, _RES_PAGE_2)
|