Pozycjonowanie

Robot Poison

Redakcja 2 czerwca 2017

Czym takiego jest Robot Poison i do czego służy ? To nic innego jak serwis, dzięki któremu dostajemy na bieżąco listę złych robotów do zablokowania w pliku .htaccess. A właściwie dostajemy już gotowy plik .htaccess, który wystarczy wgrać na serwer. Podając e-maila będziemy co parę dni dostawali uaktualniony plik .htaccess. Plik można pobrać za darmo, lecz na stronie widnieje formularz do dobrowolnych wpłat.

Dlaczego warto wgrać taki plik na serwer?

Oszczędność na transferze.
Zmniejszenie obciążenia procesora.
Utrudnienie konkurencji podpatrzenia naszych linków blokując takie roboty jak: Majestic SEO, ahrefs itp.
Uniemożliwienie pobierania informacji odnośnie naszej strony np. Alexa.

Zawartość pliku

Options +FollowSymLinks
RewriteEngine On
SetEnvIfNoCase User-Agent "^Exalead" bad_user
SetEnvIfNoCase User-Agent "^SEMrushBot" bad_user
SetEnvIfNoCase User-Agent "^ia_archiver" bad_user
SetEnvIfNoCase User-Agent "^MJ12bot" bad_user
SetEnvIfNoCase User-Agent "^rogerbot" bad_user
SetEnvIfNoCase User-Agent "^dotbot" bad_user
SetEnvIfNoCase User-Agent "^gigabot" bad_user
SetEnvIfNoCase User-Agent "^Icerocket" bad_user
SetEnvIfNoCase User-Agent "^Gigablast" bad_user
SetEnvIfNoCase User-Agent "^SEOMOZ" bad_user
SetEnvIfNoCase User-Agent "^Ahrefsbot" bad_user
SetEnvIfNoCase User-Agent "^Quantcastbot" bad_user
SetEnvIfNoCase User-Agent "^crawler@alexa.com" bad_user
SetEnvIfNoCase User-Agent "^IAArchiver-1.0" bad_user
SetEnvIfNoCase User-Agent "^ia_archiver-web.archive.org" bad_user
SetEnvIfNoCase User-Agent "^ia_archiver/1.6" bad_user
SetEnvIfNoCase User-Agent "^adbeat_bot" bad_user
SetEnvIfNoCase User-Agent "^AboutUsBot" bad_user
SetEnvIfNoCase User-Agent "^SiteExplorer" bad_user
SetEnvIfNoCase User-Agent "^larbin" bad_user
SetEnvIfNoCase User-Agent "^Acoi" bad_user
SetEnvIfNoCase User-Agent "^libwww-perl" bad_user
Deny from env=bad_user
 
SetEnvIf Remote_Addr "^192\.31\.186\." block
SetEnvIf Remote_Addr "^62\.194\." block
SetEnvIf Remote_Addr "^65\.39\.64\." block
SetEnvIf Remote_Addr "^65\.39\.95\." block
SetEnvIf Remote_Addr "^5\.9\.136\." block
SetEnvIf Remote_Addr "^207\.88\.0\." block
SetEnvIf Remote_Addr "^124.238.215.151" block
SetEnvIf Remote_Addr "^124.238.215.152" block
SetEnvIf Remote_Addr "^142.4.208.185" block
SetEnvIf Remote_Addr "^173.192.235.226" block
SetEnvIf Remote_Addr "^173.208.150.250" block
SetEnvIf Remote_Addr "^173.208.165.194" block
SetEnvIf Remote_Addr "^173.208.165.90" block
SetEnvIf Remote_Addr "^173.208.180.234" block
SetEnvIf Remote_Addr "^173.236.21.106" block
SetEnvIf Remote_Addr "^173.237.178.155" block
SetEnvIf Remote_Addr "^173.242.125.196" block
SetEnvIf Remote_Addr "^173.31.74.145" block
SetEnvIf Remote_Addr "^184.154.48.82" block
SetEnvIf Remote_Addr "^198.74.231.14" block
SetEnvIf Remote_Addr "^204.12.198.106" block
SetEnvIf Remote_Addr "^204.12.208.162" block
SetEnvIf Remote_Addr "^204.12.208.218" block
SetEnvIf Remote_Addr "^204.12.208.234" block
SetEnvIf Remote_Addr "^204.12.214.162" block
SetEnvIf Remote_Addr "^204.12.214.170" block
SetEnvIf Remote_Addr "^204.12.226.2" block
SetEnvIf Remote_Addr "^204.12.228.34" block
SetEnvIf Remote_Addr "^204.236.235.245" block
SetEnvIf Remote_Addr "^205.209.190.116" block
SetEnvIf Remote_Addr "^208.107.30.29" block
SetEnvIf Remote_Addr "^208.88.225.147" block
SetEnvIf Remote_Addr "^209.222.102.195" block
SetEnvIf Remote_Addr "^212.239.212.249" block
SetEnvIf Remote_Addr "^216.213.103.44" block
SetEnvIf Remote_Addr "^24.230.50.166" block
SetEnvIf Remote_Addr "^31.53.183.199" block
SetEnvIf Remote_Addr "^37.59.13.12" block
SetEnvIf Remote_Addr "^46.165.197.141" block
SetEnvIf Remote_Addr "^5.9.7.208" block
SetEnvIf Remote_Addr "^63.147.126.183" block
SetEnvIf Remote_Addr "^66.188.48.182" block
SetEnvIf Remote_Addr "^69.30.238.162" block
SetEnvIf Remote_Addr "^69.30.238.18" block
SetEnvIf Remote_Addr "^69.30.238.26" block
SetEnvIf Remote_Addr "^77.248.252.113" block
SetEnvIf Remote_Addr "^78.30.200.81" block
SetEnvIf Remote_Addr "^79.161.51.12" block
SetEnvIf Remote_Addr "^81.183.87.214" block
SetEnvIf Remote_Addr "^83.149.126.98" block
SetEnvIf Remote_Addr "^84.202.119.45" block
SetEnvIf Remote_Addr "^84.202.94.130" block
SetEnvIf Remote_Addr "^86.26.251.198" block
SetEnvIf Remote_Addr "^88.190.44.26" block
SetEnvIf Remote_Addr "^93.128.134.181" block
SetEnvIf Remote_Addr "^93.63.195.11" block
SetEnvIf Remote_Addr "^94.23.42.135" block
SetEnvIf Remote_Addr "^95.96.224.110" block

Plik można ściągnąć bezpośrednio ze strony http://www.robotpoison.com/.