← Back to branch summary

~ubuntu-branches/ubuntu/dapper/awstats/dapper-security

« back to all changes in this revision

Viewing changes to wwwroot/cgi-bin/lib/robots.pm

  • Committer: Bazaar Package Importer
  • Author(s): Jonas Smedegaard
  • Date: 2005-02-05 17:13:48 UTC
  • mfrom: (1.1.1 upstream)
  • Revision ID: james.westby@ubuntu.com-20050205171348-h8uy32bhbcnhciie
Tags: 6.3-1
http://bugs.debian.org/293702
http://bugs.debian.org/293668
http://bugs.debian.org/291064
http://bugs.debian.org/294488
* New upstream release. Closes: bug#293702, #293668 (thanks to Nelson
  A. de Oliveira <naoliv@biolinux.df.ibilce.unesp.br>).
  + Includes upstream fix for security bug fixed in 6.2-1.1.
  + Includes upstream fix for most of security bug fixed in 6.2-1.1.
* Acknowledge NMUs. Closes: bug#291064, #294488 (thanks to Martin
  Schulze <joey@infodrom.org>, Martin Pitt <mpitt@debian.org>, Ubuntu,
  Joey Hess <joeyh@debian.org>, Frank Lichtenheld <djpig@debian.org> and Steve
  Langasek <vorlon@debian.org>).
* Include patch for last parts of security bug fixed in 6.2-1.1:
  01_sanitize_more.patch.
* Patch (02) to include snapshot of recent development:
  + Fix security hole that allowed a user to read log file content
    even when plugin rawlog was not enabled.
  + Fix a possible use of AWStats for a DoS attack.
  + configdir option was broken on windows servers.
  + DebugMessages is by default set to 0 for security reasons.
  + Minor fixes.
* References:
  CAN-2005-0435 - read server logs via loadplugin and pluginmode
  CAN-2005-0436 - code injection via PluginMode
  CAN-2005-0437 - directory traversal via loadplugin
  CAN-2005-0438 - information leak via debug

Show diffs side-by-side

added added

removed removed

Lines of Context:
wwwroot/cgi-bin/lib/robots.pm
3
3
# If you want to add robots to extend AWStats database detection capabilities,
4
4
# you must add an entry in RobotsSearchIDOrder_listx and RobotsHashIDLib.
5
5
#-------------------------------------------------------
6
 
# $Revision: 1.28 $ - $Author: eldy $ - $Date: 2004/01/07 05:43:31 $
 
6
# $Revision: 1.35 $ - $Author: eldy $ - $Date: 2004/09/13 17:47:27 $
7
7
 
8
8
 
9
9
#package AWSROB;
12
12
# Robots list was found at http://www.robotstxt.org/wc/active/all.txt
13
13
# Other robots can be found at http://www.jafsoft.com/searchengines/webbots.html 
14
14
# Rem: To avoid bad detection, some robots id were removed from this list:
15
 
#      - Robots with ID of 2 letters only
 
15
#      - Robots with ID of 3 letters only
16
16
#      - Robot called 'webs' and 'tcl'
 
17
# Rem: Some robot most used for download are also remode: wget
17
18
# Rem: directhit changed into direct_hit (its real id)
18
19
# Rem: calif changed into calif[^r] to avoid confusion between Tiscalifreenet browser
19
20
# Rem: fish changed into [^a]fish to avoid confusion between Madsafish browser
20
21
# Rem: roadrunner changed into road_runner
21
22
# Rem: lycos changed to lycos_ to avoid confusion with lycos-online browser
22
 
 
 
23
# Rem: voyager changed into ^voyager\/ to avoid to exclude voyager and amigavoyager browser
23
24
 
24
25
# RobotsSearchIDOrder
25
26
# It contains all matching criteria to search for in log fields. This list is
29
30
# Note: Robots IDs are in lower case, ' ' and '+' are changed into '_' and are quoted.
30
31
#-------------------------------------------------------
31
32
@RobotsSearchIDOrder_list1 = (
32
 
'antibot',
 
33
# Common robots (In robot file)
33
34
'appie',
34
35
'architext',
 
36
'jeeves',
35
37
'bjaaland',
36
 
'digout4u',
37
 
'echo',
38
 
'fast\-webcrawler',
39
38
'ferret',
40
39
'googlebot',
41
40
'gulliver',
42
41
'harvest',
43
42
'htdig',
44
 
'ia_archiver',
45
 
'jeeves',
46
 
'jennybot',
47
43
'linkwalker',
48
44
'lycos_',
49
 
'mercator',
50
45
'moget',
51
46
'muscatferret',
52
47
'myweb',
53
 
'netcraft',
54
48
'nomad',
55
 
'petersnews',
56
49
'scooter',
57
50
'slurp',
 
51
'^voyager\/',
 
52
'weblayers',
 
53
# Common robots (Not in robot file)
 
54
'antibot',
 
55
'digout4u',
 
56
'echo',
 
57
'fast\-webcrawler',
 
58
'ia_archiver',
 
59
'jennybot',
 
60
'mercator',
 
61
'netcraft',
 
62
'msnbot',
 
63
'petersnews',
58
64
'unlost_web_crawler',
59
65
'voila',
60
 
'^voyager\/',           # Add ^ and \/ to avoid to exclude voyager and amigavoyager browser
61
66
'webbase',
62
 
'weblayers',
63
67
'wisenutbot'
64
68
);
65
69
@RobotsSearchIDOrder_list2 = (
 
70
# Less common robots (In robot file)
 
71
'[^a]fish',
 
72
'abcdatos',
66
73
'acme\.spider',
67
74
'ahoythehomepagefinder',
68
75
'alkaline',
 
76
'anthill',
69
77
'arachnophilia',
 
78
'arale',
 
79
'araneo',
70
80
'aretha',
71
81
'ariadne',
72
82
'arks',
75
85
'atomz',
76
86
'auresys',
77
87
'backrub',
 
88
'bbot',
78
89
'bigbrother',
79
90
'blackwidow',
80
91
'blindekuh',
81
92
'bloodhound',
 
93
'borg\-bot',
82
94
'brightnet',
83
95
'bspider',
84
96
'cactvschemistryspider',
86
98
'cassandra',
87
99
'cgireader',
88
100
'checkbot',
 
101
'christcrawler',
89
102
'churl',
90
 
'cmc',
 
103
'cienciaficcion',
91
104
'collective',
92
105
'combine',
93
106
'conceptbot',
97
110
'cruiser',
98
111
'cusco',
99
112
'cyberspyder',
 
113
'desertrealm',
100
114
'deweb',
101
115
'dienstspider',
102
116
'digger',
103
117
'diibot',
104
 
'directhit',
 
118
'direct_hit',
105
119
'dnabot',
106
120
'download_express',
107
121
'dragonbot',
108
122
'dwcp',
109
123
'e\-collector',
110
124
'ebiness',
111
 
'eit',
112
125
'elfinbot',
113
126
'emacs',
114
127
'emcspider',
115
128
'esther',
116
129
'evliyacelebi',
117
 
'nzexplorer',
 
130
'fastcrawler',
118
131
'fdse',
119
132
'felix',
120
133
'fetchrover',
121
134
'fido',
122
135
'finnish',
123
136
'fireball',
124
 
'[^a]fish',
125
137
'fouineur',
126
138
'francoroute',
127
139
'freecrawl',
135
147
'grapnel',
136
148
'griffon',
137
149
'gromit',
 
150
'gulperbot',
138
151
'hambot',
139
152
'havindex',
140
153
'hometown',
141
154
'htmlgobble',
142
155
'hyperdecontextualizer',
143
156
'iajabot',
144
 
'ibm',
145
157
'iconoclast',
146
158
'ilse',
147
159
'imagelock',
163
175
'joebot',
164
176
'jubii',
165
177
'jumpstation',
 
178
'kapsi',
166
179
'katipo',
167
 
'kdd',
168
180
'kilroy',
169
181
'ko_yappo_robot',
170
182
'labelgrabber\.txt',
182
194
'merzscope',
183
195
'meshexplorer',
184
196
'mindcrawler',
 
197
'mnogosearch',
185
198
'momspider',
186
199
'monster',
187
200
'motor',
 
201
'muncher',
188
202
'mwdsearch',
 
203
'ndspider',
 
204
'nederland\.zoek',
189
205
'netcarta',
190
206
'netmechanic',
191
207
'netscoop',
192
208
'newscan\-online',
193
209
'nhse',
194
210
'northstar',
 
211
'nzexplorer',
 
212
'objectssearch',
195
213
'occam',
196
214
'octopus',
197
215
'openfind',
204
222
'perignator',
205
223
'perlcrawler',
206
224
'phantom',
 
225
'phpdig',
207
226
'piltdownman',
208
227
'pimptrain',
209
228
'pioneer',
210
229
'pitkow',
211
230
'pjspider',
212
 
'pka',
213
231
'plumtreewebaccessor',
214
232
'poppi',
215
233
'portalb',
216
 
'puu',
 
234
'psbot',
217
235
'python',
218
236
'raven',
219
237
'rbse',
222
240
'road_runner',
223
241
'robbie',
224
242
'robi',
 
243
'robocrawl',
225
244
'robofox',
226
245
'robozilla',
227
246
'roverbot',
228
247
'rules',
229
248
'safetynetrobot',
 
249
'search\-info',
230
250
'search_au',
231
251
'searchprocess',
232
252
'senrigan',
236
256
'sift',
237
257
'simbot',
238
258
'site\-valet',
239
 
'sitegrabber',
240
259
'sitetech',
 
260
'skymob',
241
261
'slcrawler',
242
262
'smartspider',
243
263
'snooper',
244
264
'solbot',
245
 
'spanner',
246
265
'speedy',
247
266
'spider_monkey',
248
267
'spiderbot',
259
278
'tarspider',
260
279
'techbot',
261
280
'templeton',
262
 
'teoma_agent1',
 
281
'titan',
263
282
'titin',
264
 
'titan',
265
283
'tkwww',
266
284
'tlspider',
267
285
'ucsd',
271
289
'verticrawl',
272
290
'victoria',
273
291
'visionsearch',
 
292
'voidbot',
274
293
'vwbot',
275
294
'w3index',
276
295
'w3m2',
282
301
'webcopy',
283
302
'webfetcher',
284
303
'webfoot',
 
304
'webinator',
285
305
'weblinker',
286
306
'webmirror',
287
307
'webmoose',
317
337
'ezresult',
318
338
'gigabot',
319
339
'gnodspider',
 
340
'grub',
320
341
'henrythemiragorobot',
 
342
'holmes',
321
343
'internetseer',
322
344
'justview',
323
345
'linkbot',
324
346
'metager\-linkchecker', # Must be before linkchecker
325
347
'linkchecker',
 
348
'mediapartners\-google',
326
349
'microsoft_url_control',
327
350
'msiecrawler',
328
 
'msnbot',
329
351
'nagios',
330
 
'nederland\.zoek',
331
352
'perman',
332
353
'pompos',
333
 
'psbot',
334
354
'rambler',
335
355
'redalert',
336
356
'shoutcast',
342
362
'ultraseek',
343
363
'webclipping\.com',
344
364
'webcompass',
 
365
'wonderer',
 
366
'yahoo\-verticalcrawler',
345
367
'yandex',
346
368
'zealbot',
347
369
'zyborg'
359
381
# List of robots names ('robot id','robot clear text')
360
382
#-------------------------------------------------------
361
383
%RobotsHashIDLib   = (
 
384
# Common robots (In robot file)
 
385
'appie','Walhello appie',
 
386
'architext','ArchitextSpider',
 
387
'jeeves','AskJeeves',
 
388
'bjaaland','Bjaaland',
 
389
'ferret','Wild Ferret Web Hopper #1, #2, #3',
 
390
'googlebot','Googlebot',
 
391
'gulliver','Northern Light Gulliver',
 
392
'harvest','Harvest',
 
393
'htdig','ht://Dig',
 
394
'linkwalker','LinkWalker',
 
395
'lycos_','Lycos',
 
396
'moget','moget',
 
397
'muscatferret','Muscat Ferret',
 
398
'myweb','Internet Shinchakubin',
 
399
'nomad','Nomad',
 
400
'scooter','Scooter',
 
401
'slurp','Inktomi Slurp',
 
402
'^voyager\/','Voyager',
 
403
'weblayers','weblayers',
 
404
# Common robots (Not in robot file)
 
405
'antibot','Antibot',
 
406
'digout4u','Digout4u',
 
407
'echo','EchO!',
 
408
'fast\-webcrawler','Fast-Webcrawler',
 
409
'ia_archiver','Alexa (IA Archiver)',
 
410
'jennybot','JennyBot',
 
411
'mercator','Mercator',
 
412
'msnbot','MSNBot',
 
413
'netcraft','Netcraft',
 
414
'petersnews','Petersnews',
 
415
'unlost_web_crawler','Unlost Web Crawler',
 
416
'voila','Voila',
 
417
'webbase', 'WebBase',
 
418
'wisenutbot','WISENutbot',
 
419
# Less common robots (In robot file)
 
420
'[^a]fish','Fish search',
 
421
'abcdatos','ABCdatos BotLink',
362
422
'acme\.spider','Acme.Spider',
363
423
'ahoythehomepagefinder','Ahoy! The Homepage Finder',
364
424
'alkaline','Alkaline',
365
 
'appie','Walhello appie',
 
425
'anthill','Anthill',
366
426
'arachnophilia','Arachnophilia',
367
 
'architext','ArchitextSpider',
 
427
'arale','Arale',
 
428
'araneo','Araneo',
368
429
'aretha','Aretha',
369
430
'ariadne','ARIADNE',
370
431
'arks','arks',
373
434
'atomz','Atomz.com Search Robot',
374
435
'auresys','AURESYS',
375
436
'backrub','BackRub',
 
437
'bbot','BBot',
376
438
'bigbrother','Big Brother',
377
 
'bjaaland','Bjaaland',
378
439
'blackwidow','BlackWidow',
379
440
'blindekuh','Die Blinde Kuh',
380
441
'bloodhound','Bloodhound',
 
442
'borg\-bot','Borg-Bot',
381
443
'brightnet','bright.net caching robot',
382
444
'bspider','BSpider',
383
445
'cactvschemistryspider','CACTVS Chemistry Spider',
385
447
'cassandra','Cassandra',
386
448
'cgireader','Digimarc Marcspider/CGI',
387
449
'checkbot','Checkbot',
 
450
'christcrawler','ChristCrawler.com',
388
451
'churl','churl',
389
 
'cmc','CMC/0.01',
 
452
'cienciaficcion','cIeNcIaFiCcIoN.nEt',
390
453
'collective','Collective',
391
454
'combine','Combine System',
392
455
'conceptbot','Conceptbot',
396
459
'cruiser','Internet Cruiser Robot',
397
460
'cusco','Cusco',
398
461
'cyberspyder','CyberSpyder Link Test',
 
462
'desertrealm','Desert Realm Spider',
399
463
'deweb','DeWeb(c) Katalog/Index',
400
464
'dienstspider','DienstSpider',
401
465
'digger','Digger',
402
466
'diibot','Digital Integrity Robot',
403
 
'directhit','Direct Hit Grabber',
 
467
'direct_hit','Direct Hit Grabber',
404
468
'dnabot','DNAbot',
405
469
'download_express','DownLoad Express',
406
470
'dragonbot','DragonBot',
407
471
'dwcp','DWCP (Dridus\' Web Cataloging Project)',
408
472
'e\-collector','e-collector',
409
473
'ebiness','EbiNess',
410
 
'eit','EIT Link Verifier Robot',
411
474
'elfinbot','ELFINBOT',
412
475
'emacs','Emacs-w3 Search Engine',
413
476
'emcspider','ananzi',
414
477
'esther','Esther',
415
478
'evliyacelebi','Evliya Celebi',
416
 
'nzexplorer','nzexplorer',
 
479
'fastcrawler','FastCrawler',
417
480
'fdse','Fluid Dynamics Search Engine robot',
418
481
'felix','Felix IDE',
419
 
'ferret','Wild Ferret Web Hopper #1, #2, #3',
420
482
'fetchrover','FetchRover',
421
483
'fido','fido',
422
484
'finnish','H�m�h�kki',
423
485
'fireball','KIT-Fireball',
424
 
'[^a]fish','Fish search',
425
486
'fouineur','Fouineur',
426
487
'francoroute','Robot Francoroute',
427
488
'freecrawl','Freecrawl',
432
493
'getbot','GetBot',
433
494
'geturl','GetURL',
434
495
'golem','Golem',
435
 
'googlebot','Googlebot (Google)',
436
496
'grapnel','Grapnel/0.01 Experiment',
437
497
'griffon','Griffon',
438
498
'gromit','Gromit',
439
 
'gulliver','Northern Light Gulliver',
 
499
'gulperbot','Gulper Bot',
440
500
'hambot','HamBot',
441
 
'harvest','Harvest',
442
501
'havindex','havIndex',
443
502
'hometown','Hometown Spider Pro',
444
 
'htdig','ht://Dig',
445
503
'htmlgobble','HTMLgobble',
446
504
'hyperdecontextualizer','Hyper-Decontextualizer',
447
505
'iajabot','iajaBot',
448
 
'ibm','IBM_Planetwide',
449
506
'iconoclast','Popular Iconoclast',
450
507
'ilse','Ingrid',
451
508
'imagelock','Imagelock',
462
519
'javabee','JavaBee',
463
520
'jbot','JBot Java Web Robot',
464
521
'jcrawler','JCrawler',
465
 
'jeeves','Jeeves',
466
522
'jobo','JoBo Java Web Robot',
467
523
'jobot','Jobot',
468
524
'joebot','JoeBot',
469
525
'jubii','The Jubii Indexing Robot',
470
526
'jumpstation','JumpStation',
 
527
'kapsi','image.kapsi.net',
471
528
'katipo','Katipo',
472
 
'kdd','KDD-Explorer',
473
529
'kilroy','Kilroy',
474
530
'ko_yappo_robot','KO_Yappo_Robot',
475
531
'labelgrabber\.txt','LabelGrabber',
477
533
'legs','legs',
478
534
'linkidator','Link Validator',
479
535
'linkscan','LinkScan',
480
 
'linkwalker','LinkWalker',
481
536
'lockon','Lockon',
482
537
'logo_gif','logo.gif Crawler',
483
 
'lycos_','Lycos',
484
538
'macworm','Mac WWWWorm',
485
539
'magpie','Magpie',
486
540
'marvin','marvin/infoseek',
489
543
'merzscope','MerzScope',
490
544
'meshexplorer','NEC-MeshExplorer',
491
545
'mindcrawler','MindCrawler',
492
 
'moget','moget',
 
546
'mnogosearch','mnoGoSearch search engine software',
493
547
'momspider','MOMspider',
494
548
'monster','Monster',
495
549
'motor','Motor',
496
 
'muscatferret','Muscat Ferret',
 
550
'muncher','Muncher',
497
551
'mwdsearch','Mwd.Search',
498
 
'myweb','Internet Shinchakubin',
499
 
'nagios','Nagios monitoring checker',
 
552
'ndspider','NDSpider',
 
553
'nederland\.zoek','Nederland.zoek',
500
554
'netcarta','NetCarta WebMap Engine',
501
 
'netcraft','Netcraft Web Server Survey',
502
555
'netmechanic','NetMechanic',
503
556
'netscoop','NetScoop',
504
557
'newscan\-online','newscan-online',
505
558
'nhse','NHSE Web Forager',
506
 
'nomad','Nomad',
507
559
'northstar','The NorthStar Robot',
 
560
'nzexplorer','nzexplorer',
 
561
'objectssearch','ObjectsSearch',
508
562
'occam','Occam',
509
563
'octopus','HKU WWW Octopus',
510
564
'openfind','Openfind data gatherer',
517
571
'perignator','The Peregrinator',
518
572
'perlcrawler','PerlCrawler 1.0',
519
573
'phantom','Phantom',
 
574
'phpdig','PhpDig',
520
575
'piltdownman','PiltdownMan',
521
576
'pimptrain','Pimptrain.com\'s robot',
522
577
'pioneer','Pioneer',
523
578
'pitkow','html_analyzer',
524
579
'pjspider','Portal Juice Spider',
525
 
'pka','PGP Key Agent',
526
580
'plumtreewebaccessor','PlumtreeWebAccessor',
527
581
'poppi','Poppi',
528
582
'portalb','PortalB Spider',
529
 
'puu','GetterroboPlus Puu',
 
583
'psbot','psbot',
530
584
'python','The Python Robot',
531
585
'raven','Raven Search',
532
586
'rbse','RBSE Spider',
535
589
'road_runner','Road Runner: The ImageScape Robot',
536
590
'robbie','Robbie the Robot',
537
591
'robi','ComputingSite Robi/1.0',
 
592
'robocrawl','RoboCrawl Spider',
538
593
'robofox','RoboFox',
539
594
'robozilla','Robozilla',
540
595
'roverbot','Roverbot',
541
596
'rules','RuLeS',
542
597
'safetynetrobot','SafetyNet Robot',
543
 
'scooter','Scooter (AltaVista)',
 
598
'search\-info','Sleek',
544
599
'search_au','Search.Aus-AU.COM',
545
600
'searchprocess','SearchProcess',
546
601
'senrigan','Senrigan',
550
605
'sift','Sift',
551
606
'simbot','Simmany Robot Ver1.0',
552
607
'site\-valet','Site Valet',
553
 
'sitegrabber','Open Text Index Robot',
554
608
'sitetech','SiteTech-Rover',
 
609
'skymob','Skymob.com',
555
610
'slcrawler','SLCrawler',
556
 
'slurp','Inktomi Slurp',
557
611
'smartspider','Smart Spider',
558
612
'snooper','Snooper',
559
613
'solbot','Solbot',
560
 
'spanner','Spanner',
561
614
'speedy','Speedy Spider',
562
615
'spider_monkey','spider_monkey',
563
616
'spiderbot','SpiderBot',
574
627
'tarspider','tarspider',
575
628
'techbot','TechBOT',
576
629
'templeton','Templeton',
577
 
'teoma_agent1','TeomaTechnologies',
 
630
'titan','TITAN',
578
631
'titin','TitIn',
579
 
'titan','TITAN',
580
632
'tkwww','The TkWWW Robot',
581
633
'tlspider','TLSpider',
582
634
'ucsd','UCSD Crawl',
586
638
'verticrawl','Verticrawl',
587
639
'victoria','Victoria',
588
640
'visionsearch','vision-search',
589
 
'^voyager\/','Voyager',
 
641
'voidbot','void-bot',
590
642
'vwbot','VWbot',
591
643
'w3index','The NWI Robot',
592
644
'w3m2','W3M2',
593
 
'wallpaper','WallPaper',
 
645
'wallpaper','WallPaper (alias crawlpaper)',
594
646
'wanderer','the World Wide Web Wanderer',
595
647
'wapspider','w@pSpider by wap4.com',
596
648
'webbandit','WebBandit Web Spider',
597
649
'webcatcher','WebCatcher',
598
650
'webcopy','WebCopy',
599
 
'webfetcher','Webfetcher',
 
651
'webfetcher','webfetcher',
600
652
'webfoot','The Webfoot Robot',
601
 
'weblayers','Weblayers',
 
653
'webinator','Webinator',
602
654
'weblinker','WebLinker',
603
655
'webmirror','WebMirror',
604
656
'webmoose','The Web Moose',
621
673
'wwwc','WWWC Ver 0.2.5',
622
674
'wz101','WebZinger',
623
675
'xget','XGET',
624
 
'nederland\.zoek','Nederland.zoek',
625
676
# Other robots reported by users
626
 
'antibot', 'Antibot',
627
677
'aport', 'Aport',
628
678
'awbot', 'AWBot',
629
679
'baiduspider','BaiDuSpider',
632
682
'bumblebee', 'Bumblebee (relevare.com)',
633
683
'cscrawler','CsCrawler',
634
684
'daviesbot', 'DaviesBot',
635
 
'digout4u', 'Digout4u',
636
 
'echo', 'EchO!',
637
685
'exactseek','ExactSeek Crawler',
638
686
'ezresult',     'Ezresult',
639
 
'fast\-webcrawler', 'Fast-Webcrawler (AllTheWeb)',
640
687
'gigabot','GigaBot',
641
688
'gnodspider','GNOD Spider',
 
689
'grub','Grub.org',
642
690
'henrythemiragorobot', 'Mirago',
643
 
'ia_archiver', 'Alexa (IA Archiver)',
 
691
'holmes', 'Holmes',
644
692
'internetseer', 'InternetSeer',
645
 
'jennybot', 'JennyBot',
646
693
'justview', 'JustView',
647
694
'linkbot','LinkBot',
648
695
'linkchecker','LinkChecker',
 
696
'mediapartners\-google','Google AdSense',
649
697
'metager\-linkchecker','MetaGer LinkChecker',
650
698
'microsoft_url_control','Microsoft URL Control',
651
 
'mercator', 'Mercator',
 
699
'nagios','Nagios',
652
700
'msiecrawler','MSIECrawler',
653
 
'msnbot','MSNBot',
654
701
'perman', 'Perman surfer',
655
 
'petersnews', 'Petersnews',
656
702
'pompos','Pompos',
657
 
'psbot','psBot',
658
703
'rambler', 'StackRambler',
659
704
'redalert', 'Red Alert',
660
705
'shoutcast','Shoutcast Directory Service',
664
709
'turtle', 'Turtle',
665
710
'turtlescanner', 'Turtle',
666
711
'ultraseek', 'Ultraseek',
667
 
'unlost_web_crawler', 'Unlost Web Crawler',
668
 
'voila', 'Voila',
669
 
'webbase', 'WebBase',
 
712
'webclipping\.com', 'WebClipping.com',
670
713
'webcompass', 'webcompass',
671
 
'webclipping\.com', 'WebClipping.com',
672
 
'wisenutbot','WISENutbot (Looksmart)',
 
714
'wonderer', 'Web Wombat Redback Spider',
 
715
'yahoo\-verticalcrawler', 'Yahoo Vertical Crawler',
673
716
'yandex', 'Yandex bot',
674
717
'zealbot','ZealBot',
675
 
'zyborg','Zyborg (Looksmart)',
 
718
'zyborg','Zyborg',
676
719
 
677
720
# Generic root ID
678
721
'robot', 'Unknown robot (identified by \'robot\')',
684
727
);
685
728
 
686
729
 
 
730
# RobotsAffiliateLib
 
731
# This list try to tell by which Search Engine a robot is used
 
732
#-------------------------------------------------------------
 
733
%RobotsAffiliateLib = (
 
734
'fast\-webcrawler'=>'AllTheWeb',
 
735
'googlebot'=>'Google',
 
736
'msnbot'=>'MSN',
 
737
'scooter'=>'AltaVista',
 
738
'wisenutbot'=>'Looksmart',
 
739
'yahoo\-verticalcrawler'=>'Yahoo',
 
740
'zyborg'=>'Looksmart'
 
741
);
 
742
 
 
743
 
 
744
 
687
745
1;