~ubuntu-branches/ubuntu/gutsy/awstats/gutsy-updates

# SearchEnginesHashLib.

# An entry if known in SearchEnginesKnownUrl is also welcome.

#------------------------------------------------------------------------------

 

# 2005-08-19 Sean Carlos http://www.antezeta.com/awstats.html

#            added minor italian search engines

#                     internationnal -> international

#            added 'google\.'=>'mail\.google\.', to NotSearchEnginesKeys in order to

#            avoid counting gmail referrals as search engine traffic

#            avoid counting babelfish.altavista referrals as search engine traffic

#            avoid counting translate.google referrals as search engine traffic

# 2005-11-20 Sean Carlos

#            added missing 'tiscali','key=', entry.  Check order

# 2005-11-22 Sean Carlos

#            added Google Base & Froogle.  Froogle not tested.

 

#package AWSSE;

 

 

# SearchEnginesSearchIDOrder

# It contains all matching criteria to search for in log fields. This list is

# Major international search engines

'base\.google\.',

'froogle\.google\.',

'images\.google\.',

'msn\.',

'voila\.',

'search\.aol\.co',

'tiscali\.',

'lycos\.',

 

@SearchEnginesSearchIDOrder_list2=(

# Minor international search engines

'northernlight\.',

'hotbot\.',

'kvasir\.',

'euroseek\.',

'looksmart\.',

'spray\.',

'(^|\.)ask\.com',

'atomz\.',

'overture\.com',                # Replace 'goto\.com','Goto.com',

'ixquick\.com',

'search\.earthlink\.net', 

'i-une\.com',

# Minor brazilian search engines

'engine\.exe', 'miner\.bol\.com\.br',

# Minor chinese search engines

# Minor czech search engines

'atlas\.cz','seznam\.cz','quick\.cz','centrum\.cz','jyxo\.(cz|com)','najdi\.to','redbox\.cz',

# Minor danish search-engines 

# Minor dutch search engines

'ilse\.','vindex\.',

# Minor english search engines

# Minor finnish search engines

'haku\.www\.fi',

# Minor french search engines

'recherche\.aol\.fr','ctrouve\.','francite\.','\.lbb\.org','rechercher\.libertysurf\.fr', 'search[\w\-]+\.free\.fr', 'recherche\.club-internet\.fr',

# Minor german search engines

'sucheaol\.aol\.de',

'fireball\.de','infoseek\.de','suche\d?\.web\.de','[a-z]serv\.rrzn\.uni-hannover\.de',

'suchen\.abacho\.de','brisbane\.t-online\.de','allesklar\.de','meinestadt\.de',

'212\.227\.33\.241',

'(161\.58\.227\.204|161\.58\.247\.101|212\.40\.165\.90|213\.133\.108\.202|217\.160\.108\.151|217\.160\.111\.99|217\.160\.131\.108|217\.160\.142\.227|217\.160\.176\.42)',

'heureka\.hu','vizsla\.origo\.hu','lapkereso\.hu','goliat\.hu','index\.hu','wahoo\.hu','webmania\.hu','search\.internetto\.hu',

# Minor russian search engines

'ya(ndex)?\.ru', 'aport\.ru', 'rambler\.ru', 'turtle\.ru', 'metabot\.ru',

# Minor swiss search engines

'search\.ch', 'search\.bluewin\.ch'

);

 

 

# NotSearchEnginesKeys

# really a search engine

#------------------------------------------------------------------------------

%NotSearchEnginesKeys=(

'google\.'=>'mail\.google\.',

'google\.'=>'translate\.google\.',

'msn\.'=>'hotmail\.msn\.',

);

 

 

# Major international search engines

'base\.google\.','google_base',

'froogle\.google\.','google_froogle',

'images\.google\.','google_image',

'msn\.','msn',

'voila\.','voila',

'lycos\.','lycos',

'alexa\.com','alexa',

'alltheweb\.com','alltheweb',

'search\.sli\.sympatico\.ca','sympatico',

'excite\.','excite',

# Minor international search engines

'northernlight\.','northernlight',

'hotbot\.','hotbot',

'kvasir\.','kvasir',

'euroseek\.','euroseek',

'looksmart\.','looksmart',

'spray\.','spray',

'(^|\.)ask\.com','ask',

'atomz\.','atomz',

'overture\.com','overture',             # Replace 'goto\.com','Goto.com',

'ixquick\.com','ixquick',

'search\.earthlink\.net','earthlink',

'i-une\.com','iune',

# Minor brazilian search engines

'engine\.exe','engine',

'miner\.bol\.com\.br','miner',

'baidu\.com','baidu',

'search\.sina\.com','sina',

'search\.sohu\.com','sohu',

# Minor czech search engines

'atlas\.cz','atlas',

'seznam\.cz','seznam',

'ilse\.','ilse',

'vindex\.','vindex',

# Minor english search engines

'bbc\.co\.uk/cgi-bin/search','bbc',

'ifind\.freeserve','freeserve',

'looksmart\.co\.uk','looksmartuk',

'splut\.','splut',

'spotjockey\.','spotjockey',

'ukdirectory\.','ukdirectory',

'search[\w\-]+\.free\.fr','free',

'recherche\.club-internet\.fr','clubinternet',

'toile\.com','toile',

# Minor german search engines

'sucheaol\.aol\.de','aolde',

'fireball\.de','fireball',

'meinestadt\.de','meinestadt',

'212\.227\.33\.241','metaspinner',

'(161\.58\.227\.204|161\.58\.247\.101|212\.40\.165\.90|213\.133\.108\.202|217\.160\.108\.151|217\.160\.111\.99|217\.160\.131\.108|217\.160\.142\.227|217\.160\.176\.42)','metacrawler_de',

'heureka\.hu','heureka',

'vizsla\.origo\.hu','origo',

'lapkereso\.hu','lapkereso',

'wahoo\.hu','wahoo',

'webmania\.hu','webmania',

'search\.internetto\.hu','internetto',

'virgilio\.it','virgilio',

'arianna\.libero\.it','arianna',

'supereva\.com','supereva',

'kataweb\.it','kataweb',

'szukaj\.wp\.pl','wp',

# Minor russian search engines

'ya(ndex)?\.ru','yandex',

'aport\.ru','aport',

'rambler\.ru','rambler',

'turtle\.ru','turtle',

'metabot\.ru','metabot',

'evreka\.passagen\.se','passagen',

# Minor swiss search engines

'search\.ch','searchch',

'search\.bluewin\.ch','bluewin',

'dmoz','search=',

'google_base','(p|q|as_p|as_q)=',

'google_froogle','(p|q|as_p|as_q)=',

'google_image','(p|q|as_p|as_q)=',

'google','(p|q|as_p|as_q)=',

'lycos','query=',

'msn','q=',

'netscape','search=',

'tiscali','key=',

'aol','query=',

'terra','query=',

'search.com','q=',

'yahoo','p=',

'sympatico', 'query=', 

'excite','search=',

# Minor international search engines

'go','qt=',

'atomz','sp-q=',

'euroseek','query=',

'findarticles','key=',

'dogpile', 'q(|kw)=',

'spray','string=',

'teoma','q=',

'webcrawler','searchText=',

'wisenut','query=', 

'ixquick', 'query=',

'earthlink', 'q=',

'iune','(keywords|q)=',

# Minor brazilian search engines

'engine','p1=', 'miner','q=',

# Minor chinese search engines

# Minor czech search engines

'atlas','searchtext=', 'seznam','w=', 'quick','query=', 'centrum','q=', 'jyxo','s=', 'najdi','dotaz=', 'redbox','srch=',

# Minor danish search engines

# Minor dutch search engines

'ilse','search_for=', 'vindex','in=',

# Minor english search engines

# Minor finnish search engines

'haku','w=',

# Minor french search engines

'francite','name=', 'clubinternet', 'q=',

'toile', 'q=',

# Minor german search engines

'aolde','q=',

'fireball','q=', 'infoseek','qt=', 'webde','su=',

'abacho','q=', 't-online','q=', 

'metaspinner','qry=',

'metacrawler_de','qry=',

'heureka','heureka=', 'origo','(q|search)=', 'goliat','KERESES=', 'wahoo','q=', 'internetto','searchstr=',

'wp','szukaj=',

# Minor russian search engines

'yandex', 'text=', 'rambler','words=', 'aport', 'r=', 'metabot', 'st=',

# Minor swedish search engines

'passagen','q=',

# Minor swiss search engines

'searchch', 'q=', 'bluewin', 'qry='

);

@WordsToCleanSearchUrl= ('act=','annuaire=','btng=','cat=','categoria=','cfg=','cof=','cou=','count=','cp=','dd=','domain=','dt=','dw=','enc=','exec=','geo=','hc=','height=','hits=','hl=','hq=','hs=','id=','kl=','lang=','loc=','lr=','matchmode=','medor=','message=','meta=','mode=','order=','page=','par=','pays=','pg=','pos=','prg=','qc=','refer=','sa=','safe=','sc=','sort=','src=','start=','style=','stype=','sum=','tag=','temp=','theme=','type=','url=','user=','width=','what=','\\.x=','\\.y=','y=','look=');

 

# SearchEnginesKnownUTFCoding

#------------------------------------------------------------------------------

%SearchEnginesKnownUTFCoding=(

# Most common search engines

#------------------------------------------------------------------------------

%SearchEnginesHashLib=(

# Major international search engines

# Minor international search engines

'go','Go.com',

'atomz','Atomz',

'dejanews','DejaNews',

'euroseek','Euroseek',

'nbci','NBCI',

'northernlight','NorthernLight',

'overture','Overture',                 # Replace 'goto\.com','Goto.com',

'spray','Spray',

'wisenut','WISENut', 

'earthlink', 'Earth Link',

# Minor brazilian search engines

'engine','Cade', 'miner','Meta Miner',

# Minor chinese search engines

# Minor czech search engines

'atlas','Atlas.cz',     'seznam','Seznam', 'quick','Quick.cz', 'centrum','Centrum.cz', 'jyxo','Jyxo.cz', 'najdi','Najdi.to', 'redbox','RedBox.cz',

# Minor danish search-engines

# Minor dutch search engines

'ilse','Ilse','vindex','Vindex\.nl',                                            

# Minor english search engines

# Minor finnish search engines

'haku','Ihmemaa',                                                                               

# Minor french search engines

'aolfr','AOL (fr)', 'ctrouve','C\'est trouv�', 'francite','Francit�', 'lbb', 'LBB', 'libertysurf', 'Libertysurf', 'free', 'Free.fr', 'clubinternet', 'Club-internet',

'toile', 'Toile du Qu�bec',

'aolde','AOL (de)',

'fireball','Fireball', 'infoseek','Infoseek', 'webde','Web.de',

'abacho','Abacho', 't-online','T-Online', 

'allesklar','allesklar.de', 'meinestadt','meinestadt.de', 

'metaspinner','metaspinner',

'metacrawler_de','metacrawler.de',

# Minor hungarian search engines

'heureka','Heureka', 'origo','Origo-Vizsla', 'lapkereso','Startlapkeres�', 'goliat','G�li�t', 'indexhu','Index', 'wahoo','Wahoo', 'webmania','webmania.hu', 'internetto','Internetto Keres�',

# Minor polish search engines

# Minor russian search engines

'yandex', 'Yandex', 'aport', 'Aport', 'rambler', 'Rambler', 'turtle', 'Turtle', 'metabot', 'MetaBot',

'passagen','Evreka',

# Minor Swiss search engines

'searchch', 'search.ch', 'bluewin', 'search.bluewin.ch',                                                                

# Generic search engines