← Back to branch summary

~ubuntu-branches/debian/sid/awstats/sid

« back to all changes in this revision

Viewing changes to wwwroot/cgi-bin/lib/search_engines.pm

  • Committer: Bazaar Package Importer
  • Author(s): Jonas Smedegaard
  • Date: 2005-02-05 17:13:48 UTC
  • mfrom: (1.1.1 upstream)
  • Revision ID: james.westby@ubuntu.com-20050205171348-h8uy32bhbcnhciie
Tags: 6.3-1
http://bugs.debian.org/293702
http://bugs.debian.org/293668
http://bugs.debian.org/291064
http://bugs.debian.org/294488
* New upstream release. Closes: bug#293702, #293668 (thanks to Nelson
  A. de Oliveira <naoliv@biolinux.df.ibilce.unesp.br>).
  + Includes upstream fix for security bug fixed in 6.2-1.1.
  + Includes upstream fix for most of security bug fixed in 6.2-1.1.
* Acknowledge NMUs. Closes: bug#291064, #294488 (thanks to Martin
  Schulze <joey@infodrom.org>, Martin Pitt <mpitt@debian.org>, Ubuntu,
  Joey Hess <joeyh@debian.org>, Frank Lichtenheld <djpig@debian.org> and Steve
  Langasek <vorlon@debian.org>).
* Include patch for last parts of security bug fixed in 6.2-1.1:
  01_sanitize_more.patch.
* Patch (02) to include snapshot of recent development:
  + Fix security hole that allowed a user to read log file content
    even when plugin rawlog was not enabled.
  + Fix a possible use of AWStats for a DoS attack.
  + configdir option was broken on windows servers.
  + DebugMessages is by default set to 0 for security reasons.
  + Minor fixes.
* References:
  CAN-2005-0435 - read server logs via loadplugin and pluginmode
  CAN-2005-0436 - code injection via PluginMode
  CAN-2005-0437 - directory traversal via loadplugin
  CAN-2005-0438 - information leak via debug

Show diffs side-by-side

added added

removed removed

Lines of Context:
wwwroot/cgi-bin/lib/search_engines.pm
5
5
# SearchEnginesHashLib.
6
6
# An entry if known in SearchEnginesKnownUrl is also welcome.
7
7
#------------------------------------------------------------------------------
8
 
# $Revision: 1.28 $ - $Author: eldy $ - $Date: 2003/12/06 00:33:54 $
 
8
# $Revision: 1.31 $ - $Author: eldy $ - $Date: 2004/11/10 23:10:27 $
9
9
 
10
10
 
11
11
#package AWSSE;
24
24
'google\.','216\.239\.(35\.101|37\.101|39\.100|39\.101|51\.100|51\.101|35\.100)',
25
25
'msn\.',
26
26
'voila\.',
27
 
'yahoo\.',
 
27
'yahoo\.','(66\.218\.71\.225|216\.109\.117\.135)',
28
28
'search\.aol\.co',
29
29
'tiscali\.',
30
30
'lycos\.',
31
31
'alexa\.com',
32
32
'alltheweb\.com',
33
33
'altavista\.',
 
34
'a9\.com',
34
35
'dmoz\.org',
35
36
'netscape\.',
36
37
'search\.terra\.',
59
60
'findarticles\.com',
60
61
'infospace\.com',
61
62
'mamma\.',
62
 
'dejanews\.',
63
 
'dogpile\.com',
 
63
'dejanews\.',
 
64
'dogpile\.com',
64
65
'wisenut\.com',
65
66
'ixquick\.com',
66
 
'search\.earthlink\.net', 
67
 
'i-une\.com',
68
 
# Minor brazilian search engines
 
67
'search\.earthlink\.net', 
 
68
'i-une\.com',
 
69
# Minor brazilian search engines
69
70
'engine\.exe', 'miner\.bol\.com\.br',
70
71
# Minor chinese search engines
71
72
'baidu\.com','search\.sina\.com','search\.sohu\.com',
72
73
# Minor czech search engines
73
 
'atlas\.cz','seznam\.cz','quick\.cz','centrum\.cz','najdi\.to','redbox\.cz',
 
74
'atlas\.cz','seznam\.cz','quick\.cz','centrum\.cz','jyxo\.(cz|com)','najdi\.to','redbox\.cz',
74
75
# Minor danish search-engines 
75
76
'opasia\.dk', 'danielsen\.com', 'sol\.dk', 'jubii\.dk', 'find\.dk', 'edderkoppen\.dk', 'netstjernen\.dk', 'orbis\.dk', 'tyfon\.dk', '1klik\.dk', 'ofir\.dk',
76
77
# Minor dutch search engines
77
78
'ilse\.','vindex\.',
78
79
# Minor english search engines
79
 
'(^|\.)ask\.co\.uk','bbc\.co\.uk/cgi-bin/search','ifind\.freeserve','looksmart\.co\.uk','mirago\.','splut\.','spotjockey\.','ukdirectory\.','ukindex\.co\.uk','ukplus\.','searchy\.co\.uk',
80
 
# Minor finnish search engines
 
80
'(^|\.)ask\.co\.uk','bbc\.co\.uk/cgi-bin/search','ifind\.freeserve','looksmart\.co\.uk','mirago\.','splut\.','spotjockey\.','ukdirectory\.','ukindex\.co\.uk','ukplus\.','searchy\.co\.uk',
 
81
# Minor finnish search engines
81
82
'haku\.www\.fi',
82
 
# Minor french search engines
83
 
'recherche\.aol\.fr','ctrouve\.','francite\.','\.lbb\.org','rechercher\.libertysurf\.fr', 'search[\w\-]+\.free\.fr', 'recherche\.club-internet\.fr',
84
 
# Minor german search engines
85
 
'sucheaol\.aol\.de',
 
83
# Minor french search engines
 
84
'recherche\.aol\.fr','ctrouve\.','francite\.','\.lbb\.org','rechercher\.libertysurf\.fr', 'search[\w\-]+\.free\.fr', 'recherche\.club-internet\.fr',
 
85
# Minor german search engines
 
86
'sucheaol\.aol\.de',
86
87
'fireball\.de','infoseek\.de','suche\d?\.web\.de','[a-z]serv\.rrzn\.uni-hannover\.de',
87
88
'suchen\.abacho\.de','brisbane\.t-online\.de','allesklar\.de','meinestadt\.de',
88
 
'212\.227\.33\.241',
89
 
'(161\.58\.227\.204|161\.58\.247\.101|212\.40\.165\.90|213\.133\.108\.202|217\.160\.108\.151|217\.160\.111\.99|217\.160\.131\.108|217\.160\.142\.227|217\.160\.176\.42)',
 
89
'212\.227\.33\.241',
 
90
'(161\.58\.227\.204|161\.58\.247\.101|212\.40\.165\.90|213\.133\.108\.202|217\.160\.108\.151|217\.160\.111\.99|217\.160\.131\.108|217\.160\.142\.227|217\.160\.176\.42)',
90
91
# Minor hungarian search engines
91
92
'heureka\.hu','vizsla\.origo\.hu','lapkereso\.hu','goliat\.hu','index\.hu','wahoo\.hu','webmania\.hu','search\.internetto\.hu',
92
93
# Minor italian search engines
93
94
'virgilio\.it',
94
95
# Minor norvegian search engines
95
96
'sok\.start\.no',
96
 
# Minor polish search engines
97
 
'szukaj\.wp\.pl',
 
97
# Minor polish search engines
 
98
'szukaj\.wp\.pl',
98
99
# Minor russian search engines
99
100
'ya(ndex)?\.ru', 'aport\.ru', 'rambler\.ru', 'turtle\.ru', 'metabot\.ru',
100
101
# Minor swedish search engines
101
 
'evreka\.passagen\.se',
102
 
# Minor swiss search engines
103
 
'search\.ch', 'search\.bluewin\.ch'
 
102
'evreka\.passagen\.se',
 
103
# Minor swiss search engines
 
104
'search\.ch', 'search\.bluewin\.ch'
104
105
);
105
106
@SearchEnginesSearchIDOrder_listgen=(
106
 
# Generic search engines
 
107
# Generic search engines
107
108
'search\..*\.\w+'
108
109
);
109
110
 
127
128
'google\.','google','216\.239\.(35\.101|37\.101|39\.100|39\.101|51\.100|51\.101|35\.100)','google',
128
129
'msn\.','msn',
129
130
'voila\.','voila',
130
 
'yahoo\.','yahoo',
 
131
'yahoo\.','yahoo','(66\.218\.71\.225|216\.109\.117\.135)','yahoo',
131
132
'lycos\.','lycos',
132
133
'alexa\.com','alexa',
133
134
'alltheweb\.com','alltheweb',
134
135
'altavista\.','altavista',
 
136
'a9\.com','a9',
135
137
'dmoz\.org','dmoz',
136
138
'netscape\.','netscape',
137
139
'search\.terra\.','terra',
159
161
'findarticles\.com','findarticles',
160
162
'infospace\.com','infospace',
161
163
'mamma\.','mamma',
162
 
'dejanews\.','dejanews',
163
 
'dogpile\.com','dogpile',
 
164
'dejanews\.','dejanews',
 
165
'dogpile\.com','dogpile',
164
166
'wisenut\.com','wisenut',
165
 
'ixquick\.com','ixquick',
166
 
'search\.earthlink\.net','earthlink',
167
 
'i-une\.com','iune',
168
 
# Minor brazilian search engines
 
167
'ixquick\.com','ixquick',
 
168
'search\.earthlink\.net','earthlink',
 
169
'i-une\.com','iune',
 
170
# Minor brazilian search engines
169
171
'engine\.exe','engine',
170
172
'miner\.bol\.com\.br','miner',
171
173
# Minor chinese search engines
177
179
'seznam\.cz','seznam',
178
180
'quick\.cz','quick',
179
181
'centrum\.cz','centrum',
 
182
'jyxo\.(cz|com)','jyxo',
180
183
'najdi\.to','najdi',
181
184
'redbox\.cz','redbox',
182
185
# Minor danish search-engines 
205
208
'ukdirectory\.','ukdirectory',
206
209
'ukindex\.co\.uk','ukindex',
207
210
'ukplus\.','ukplus',
208
 
'searchy\.co\.uk','searchy',
209
 
# Minor finnish search engines
 
211
'searchy\.co\.uk','searchy',
 
212
# Minor finnish search engines
210
213
'haku\.www\.fi','haku',
211
 
# Minor french search engines
 
214
# Minor french search engines
212
215
'recherche\.aol\.fr','aolfr',
213
216
'ctrouve\.','ctrouve',
214
217
'francite\.','francite',
215
218
'\.lbb\.org','lbb',
216
219
'rechercher\.libertysurf\.fr','libertysurf',
217
220
'search[\w\-]+\.free\.fr','free',
218
 
'recherche\.club-internet\.fr','clubinternet',
219
 
# Minor german search engines
220
 
'sucheaol\.aol\.de','aolde',
 
221
'recherche\.club-internet\.fr','clubinternet',
 
222
# Minor german search engines
 
223
'sucheaol\.aol\.de','aolde',
221
224
'fireball\.de','fireball',
222
225
'infoseek\.de','infoseek',
223
 
'suche\d?\.web\.de','webde',
224
 
'[a-z]serv\.rrzn\.uni-hannover\.de','meta',
 
226
'suche\d?\.web\.de','webde',
 
227
'[a-z]serv\.rrzn\.uni-hannover\.de','meta',
225
228
'suchen\.abacho\.de','abacho',
226
229
'brisbane\.t-online\.de','t-online',
227
230
'allesklar\.de','allesklar',
228
231
'meinestadt\.de','meinestadt',
229
 
'212\.227\.33\.241','metaspinner',
230
 
'(161\.58\.227\.204|161\.58\.247\.101|212\.40\.165\.90|213\.133\.108\.202|217\.160\.108\.151|217\.160\.111\.99|217\.160\.131\.108|217\.160\.142\.227|217\.160\.176\.42)','metacrawler_de',
 
232
'212\.227\.33\.241','metaspinner',
 
233
'(161\.58\.227\.204|161\.58\.247\.101|212\.40\.165\.90|213\.133\.108\.202|217\.160\.108\.151|217\.160\.111\.99|217\.160\.131\.108|217\.160\.142\.227|217\.160\.176\.42)','metacrawler_de',
231
234
# Minor hungarian search engines
232
235
'heureka\.hu','heureka',
233
236
'vizsla\.origo\.hu','origo',
241
244
'virgilio\.it','virgilio',
242
245
# Minor norvegian search engines
243
246
'sok\.start\.no','start',
244
 
# Minor polish search engines
245
 
'szukaj\.wp\.pl','wp',
 
247
# Minor polish search engines
 
248
'szukaj\.wp\.pl','wp',
246
249
# Minor russian search engines
247
250
'ya(ndex)?\.ru','yandex',
248
251
'aport\.ru','aport',
250
253
'turtle\.ru','turtle',
251
254
'metabot\.ru','metabot',
252
255
# Minor swedish search engines
253
 
'evreka\.passagen\.se','passagen',
254
 
# Minor swiss search engines
 
256
'evreka\.passagen\.se','passagen',
 
257
# Minor swiss search engines
255
258
'search\.ch','searchch',
256
 
'search\.bluewin\.ch','bluewin',
257
 
# Generic search engines
 
259
'search\.bluewin\.ch','bluewin',
 
260
# Generic search engines
258
261
'search\..*\.\w+','search'
259
262
);
260
263
 
261
264
 
 
265
# SearchEnginesWithKeysNotInQuery
 
266
# List of search engines that store keyword as page instead of query parameter
 
267
#------------------------------------------------------------------------------
 
268
%SearchEnginesWithKeysNotInQuery=(
 
269
'a9',1    # www.a9.com/searckey1%20searchkey2
 
270
);
 
271
 
262
272
# SearchEnginesKnownUrl
263
273
# Known rules to extract keywords from a referrer search engine URL
264
274
#------------------------------------------------------------------------------
267
277
'alexa','q=',
268
278
'alltheweb','q(|uery)=',
269
279
'altavista','q=',
 
280
'a9','a9\.com\/', 
270
281
'dmoz','search=',
271
282
'google','(p|q)=',
272
283
'google_image','(p|q)=',
278
289
'voila','kw=',
279
290
'search.com','q=',
280
291
'yahoo','p=',
281
 
'sympatico', 'query=', 
 
292
'sympatico', 'query=', 
282
293
'excite','search=',
283
294
# Minor internationnal search engines
284
295
'go','qt=',
295
306
'metacrawler','general=',
296
307
'nbci','keyword=',
297
308
'northernlight','qr=',
298
 
'overture','keywords=',
299
 
'dogpile', 'q(|kw)=',
300
 
'spray','string=',
 
309
'overture','keywords=',
 
310
'dogpile', 'q(|kw)=',
 
311
'spray','string=',
301
312
'teoma','q=',
302
313
'virgilio','qs=',
303
 
'webcrawler','searchText=',
304
 
'wisenut','query=', 
305
 
'ixquick', 'query=',
306
 
'earthlink', 'q=',
307
 
'iune','(keywords|q)=',
308
 
# Minor brazilian search engines
 
314
'webcrawler','searchText=',
 
315
'wisenut','query=', 
 
316
'ixquick', 'query=',
 
317
'earthlink', 'q=',
 
318
'iune','(keywords|q)=',
 
319
# Minor brazilian search engines
309
320
'engine','p1=', 'miner','q=',
310
321
# Minor chinese search engines
311
322
'baidu','word=', 'sina', 'word=', 'sohu','word=',
312
323
# Minor czech search engines
313
 
'atlas','searchtext=', 'seznam','w=', 'quick','query=', 'centrum','q=', 'najdi','dotaz=', 'redbox','srch=',
 
324
'atlas','searchtext=', 'seznam','w=', 'quick','query=', 'centrum','q=', 'jyxo','s=', 'najdi','dotaz=', 'redbox','srch=',
314
325
# Minor danish search engines
315
326
'opasia','q=', 'danielsen','q=', 'sol','q=', 'jubii','soegeord=', 'finddk','words=', 'edderkoppen','query=', 'orbis','search_field=', '1klik','query=', 'ofir','querytext=',
316
327
# Minor dutch search engines
321
332
# Minor finnish search engines
322
333
'haku','w=',
323
334
# Minor french search engines
324
 
'francite','name=', 'clubinternet', 'q=',
 
335
'francite','name=', 'clubinternet', 'q=',
325
336
# Minor german search engines
326
 
'aolde','q=',
 
337
'aolde','q=',
327
338
'fireball','q=', 'infoseek','qt=', 'webde','su=',
328
339
'abacho','q=', 't-online','q=', 
329
 
'metaspinner','qry=',
330
 
'metacrawler_de','qry=',
 
340
'metaspinner','qry=',
 
341
'metacrawler_de','qry=',
331
342
# Minor hungarian search engines
332
343
'heureka','heureka=', 'origo','(q|search)=', 'goliat','KERESES=', 'wahoo','q=', 'internetto','searchstr=',
333
344
# Minor norvegian search engines
334
345
'start','q=',
335
 
# Minor polish search engines
336
 
'wp','szukaj=',
 
346
# Minor polish search engines
 
347
'wp','szukaj=',
337
348
# Minor russian search engines
338
349
'yandex', 'text=', 'rambler','words=', 'aport', 'r=', 'metabot', 'st=',
339
 
# Minor swedish search engines
340
 
'passagen','q=',
341
 
# Minor swiss search engines
342
 
'searchch', 'q=', 'bluewin', 'qry='
 
350
# Minor swedish search engines
 
351
'passagen','q=',
 
352
# Minor swiss search engines
 
353
'searchch', 'q=', 'bluewin', 'qry='
343
354
);
344
355
 
345
356
# SearchEnginesKnownUrlNotFound
361
372
#------------------------------------------------------------------------------
362
373
%SearchEnginesKnownUTFCoding=(
363
374
# Most common search engines
364
 
'google','ie=utf-8',
 
375
'google','ie=utf-8',
365
376
'alltheweb','cs=utf-8'
366
 
);
 
377
);
367
378
 
368
379
 
369
380
# SearchEnginesHashLib
375
386
'alexa','Alexa',
376
387
'alltheweb','AllTheWeb',
377
388
'altavista','AltaVista',
 
389
'a9', 'A9.com',
378
390
'dmoz','DMOZ',
379
391
'google','Google',
380
392
'google_image','Google (Images)',
387
399
'voila','Voila',
388
400
'search.com','Search.com',
389
401
'yahoo','Yahoo',
390
 
'sympatico', 'Sympatico',
 
402
'sympatico', 'Sympatico',
391
403
'excite','Excite',
392
404
# Minor internationnal search engines
393
405
'go','Go.com',
405
417
'metacrawler','MetaCrawler (Metamoteur)',
406
418
'nbci','NBCI',
407
419
'northernlight','NorthernLight',
408
 
'overture','Overture',                 # Replace 'goto\.com','Goto.com',
409
 
'dogpile','Dogpile',
410
 
'spray','Spray',
 
420
'overture','Overture',                 # Replace 'goto\.com','Goto.com',
 
421
'dogpile','Dogpile',
 
422
'spray','Spray',
411
423
'teoma','Teoma',                                                        # Replace 'directhit\.com','DirectHit',
412
 
'webcrawler','WebCrawler',
413
 
'wisenut','WISENut', 
414
 
'ixquick', 'ix quick', 
415
 
'earthlink', 'Earth Link',
416
 
'iune','i-une.com',
 
424
'webcrawler','WebCrawler',
 
425
'wisenut','WISENut', 
 
426
'ixquick', 'ix quick', 
 
427
'earthlink', 'Earth Link',
 
428
'iune','i-une.com',
417
429
# Minor brazilian search engines
418
430
'engine','Cade', 'miner','Meta Miner',
419
431
# Minor chinese search engines
420
432
'baidu','Baidu', 'sina','Sina', 'sohu','Sohu',
421
433
# Minor czech search engines
422
 
'atlas','Atlas.cz',     'seznam','Seznam', 'quick','Quick.cz', 'centrum','Centrum.cz','najdi','Najdi.to','redbox','RedBox.cz',
 
434
'atlas','Atlas.cz',     'seznam','Seznam', 'quick','Quick.cz', 'centrum','Centrum.cz', 'jyxo','Jyxo.cz', 'najdi','Najdi.to', 'redbox','RedBox.cz',
423
435
# Minor danish search-engines
424
436
'opasia','Opasia', 'danielsen','Thor (danielsen.com)', 'sol','SOL', 'jubii','Jubii', 'finddk','Find', 'edderkoppen','Edderkoppen', 'netstjernen','Netstjernen', 'orbis','Orbis', 'tyfon','Tyfon', '1klik','1Klik', 'ofir','Ofir',
425
437
# Minor dutch search engines
430
442
# Minor finnish search engines
431
443
'haku','Ihmemaa',                                                                               
432
444
# Minor french search engines
433
 
'aolfr','AOL (fr)', 'ctrouve','C\'est trouv�', 'francite','Francit�', 'lbb', 'LBB', 'libertysurf', 'Libertysurf', 'free', 'Free.fr', 'clubinternet', 'Club-internet',
 
445
'aolfr','AOL (fr)', 'ctrouve','C\'est trouv�', 'francite','Francit�', 'lbb', 'LBB', 'libertysurf', 'Libertysurf', 'free', 'Free.fr', 'clubinternet', 'Club-internet',
434
446
# Minor german search engines
435
 
'aolde','AOL (de)',
 
447
'aolde','AOL (de)',
436
448
'fireball','Fireball', 'infoseek','Infoseek', 'webde','Web.de',
437
449
'abacho','Abacho', 't-online','T-Online', 
438
450
'allesklar','allesklar.de', 'meinestadt','meinestadt.de', 
439
 
'metaspinner','metaspinner',
440
 
'metacrawler_de','metacrawler.de',
 
451
'metaspinner','metaspinner',
 
452
'metacrawler_de','metacrawler.de',
441
453
# Minor hungarian search engines
442
454
'heureka','Heureka', 'origo','Origo-Vizsla', 'lapkereso','Startlapkeres�', 'goliat','G�li�t', 'indexhu','Index', 'wahoo','Wahoo', 'webmania','webmania.hu', 'internetto','Internetto Keres�',
443
455
# Minor italian search engines
444
456
'virgilio','Virgilio',                                                                          
445
457
# Minor norvegian search engines
446
458
'start','start.no',                                                             
447
 
# Minor polish search engines
448
 
'wp','Szukaj',
 
459
# Minor polish search engines
 
460
'wp','Szukaj',
449
461
# Minor russian search engines
450
462
'yandex', 'Yandex', 'aport', 'Aport', 'rambler', 'Rambler', 'turtle', 'Turtle', 'metabot', 'MetaBot',
451
 
# Minor swedish search engines
452
 
'passagen','Evreka',
453
 
# Minor Swiss search engines
454
 
'searchch', 'search.ch', 'bluewin', 'search.bluewin.ch',                                                                
455
 
# Generic search engines
 
463
# Minor swedish search engines
 
464
'passagen','Evreka',
 
465
# Minor Swiss search engines
 
466
'searchch', 'search.ch', 'bluewin', 'search.bluewin.ch',                                                                
 
467
# Generic search engines
456
468
'search','Unknown search engines'
457
469
);
458
470