1. Если вы первый раз у нас на форуме, то начать лучше с этой темы

Защита сети PBN

Тема в разделе "SEO", создана пользователем Иван Иванович, 10 окт 2018.

  1. Иван Иванович

    Иван Иванович Участник

    Пол:
    Мужской
    При построении своей сети сайтов, хочется обезопасить основной "денежный" сайт, от всяких сервисов, которые палят ссылочные профили. Поделитесь опытом, подскажите чем дополнить существующие правила .htaccess
    От себя:
    Сейчас используется вот такой код.
    Код:
    ############### KILL’EMALL
    SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot
    SetEnvIfNoCase User-Agent .*exabot.* bad_bot
    SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot
    SetEnvIfNoCase User-Agent .*dotbot.* bad_bot
    SetEnvIfNoCase User-Agent .*gigabot.* bad_bot
    SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot
    SetEnvIfNoCase User-Agent .*sitebot.* bad_bot
    SetEnvIfNoCase User-Agent .*semrushbot.* bad_bot
    SetEnvIfNoCase User-Agent .*ia_archiver.* bad_bot
    SetEnvIfNoCase User-Agent .*searchmetricsbot.* bad_bot
    SetEnvIfNoCase User-Agent .*seokicks-robot.* bad_bot
    SetEnvIfNoCase User-Agent .*python-requests.* bad_bot
    SetEnvIfNoCase User-Agent .*sistrix.* bad_bot
    SetEnvIfNoCase User-Agent .*lipperhey spider.* bad_bot
    SetEnvIfNoCase User-Agent .*ncbot.* bad_bot
    SetEnvIfNoCase User-Agent .*backlinkcrawler.* bad_bot
    SetEnvIfNoCase User-Agent .*archive.org_bot.* bad_bot
    SetEnvIfNoCase User-Agent .*meanpathbot.* bad_bot
    SetEnvIfNoCase User-Agent .*pagesinventory.* bad_bot
    SetEnvIfNoCase User-Agent .*aboundexbot.* bad_bot
    SetEnvIfNoCase User-Agent .*spbot.* bad_bot
    SetEnvIfNoCase User-Agent .*linkdexbot.* bad_bot
    SetEnvIfNoCase User-Agent .*nutch.* bad_bot
    SetEnvIfNoCase User-Agent .*blexbot.* bad_bot
    SetEnvIfNoCase User-Agent .*ezooms.* bad_bot
    SetEnvIfNoCase User-Agent .*scoutjet.* bad_bot
    SetEnvIfNoCase User-Agent .*majestic-12.* bad_bot
    SetEnvIfNoCase User-Agent .*majestic-seo.* bad_bot
    SetEnvIfNoCase User-Agent .*dsearch.* bad_bot
    SetEnvIfNoCase User-Agent .*blekkobo.* bad_bot
    SetEnvIfNoCase User-Agent .*megaindex.* bad_bot
    <Limit GET POST HEAD>
    Order Allow,Deny
    Allow from all
    Deny from env=bad_bot
    </Limit>
    
    Дополнительно найдены IP диапазоны серверов Ahrefs:
    Код:
    54.36.148.0/24
    54.36.149.0/24
    54.36.150.0/24
    195.154.122.0/24
    195.154.123.0/24
    195.154.126.0/24
    195.154.127.0/24
    
     
    Последнее редактирование модератором: 11 окт 2018
    • Нравится Нравится x 2
    • Дабллайк Дабллайк x 1
  2. db0

    db0 Участник

    Пол:
    Мужской
    У меня вот такой:
    Код:
    <IfModule mod_rewrite.c>
    RewriteEngine On
     
    RewriteCond %{HTTP_USER_AGENT} ^360Spider [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^AIBOT [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Aboundex [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Aport [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Birubot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^BunnySlippers [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Butterfly [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^CamontSpider [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Cegbfeieh [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Cogentbot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Demon [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Density [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Devil [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Dispatch [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^DotBot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Ezooms [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^FairShare [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Foobot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Gigabot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^HTTrack [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^ISC\sSystems\siRc [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^InternetSeer [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^JS-Kit [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Jakarta [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Java [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Kenjin\sSpider [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^LWP::Simple [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Linguee [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^LinkExchanger [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^LinkextractorPro [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^LinkpadBot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^MLBot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Mass\sDownloader [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^MassDownloader [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^MegaIndex [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Metasearch [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Missigua\sLocator [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^NG [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^NetZIP [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^NjuiceBot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Nutch [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^PHPCrawl [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^PostRank [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Purebot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^PycURL [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Python-urllib [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Riddler [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^SWeb [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^SemrushBot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^SiteBot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Slurp [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Sogou\sweb\sspider [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Sosospider [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Soup [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^SputnikBot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^SputnikImageBot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^SurveyBot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^User-Agent [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Voyager [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^WEP\sSearch [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Web\.Image\.Collector [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebAuto [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebBandit [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebCopier [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebFetch [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebGo [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebReaper [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebSauger [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebStripper [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebZIP [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Webclipping [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebmasterWorldForumBot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Webster [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Wget [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Wonder [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^WordPress [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Yeti [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^YottosBot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^ZmEu [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^aesop_com_spiderman [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^anonymouse [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^asterias [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^attach [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^auto [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^backdoorbot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^backweb [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^bandit [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^batchftp [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^black\.hole [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^blackwidow [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^blowfish [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^botalot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^buddy [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^builtbottough [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^bullseye [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^cheesebot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^cherrypicker [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^chinaclaw [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^clip [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^clshttp [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^collector [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^copier [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^copyrightcheck [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^cosmos [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^craftbot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^crescent [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^custo [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^da [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^diibot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^disco [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^dittospyder [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^download [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^dragonfly [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^drip [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^eXtractor [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^easydl [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^ebingbong [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^ecatch [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^eirgrabber [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^emailcollector [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^emaile [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^emailsiphon [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^emailwolf [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^enhancer [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^erocrawler [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^exabot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^extract [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^eyenetie [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^fetch [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^filehound [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^flashget [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^flunky [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^frontpage [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^getright [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^getweb [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^go-ahead-got-it [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^go\.\?is [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^go\.\?zilla [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^gotit [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^grabber [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^grabnet [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^grafula [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^harvest [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^hloader [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^hmview [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^httplib [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^httrack [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^humanlinks [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^ia_archiver [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^ilsebot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^infonavirobot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^infotekies [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^intelliseek [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^interget [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^internetseer [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^iria [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^jennybot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^jetcar [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^joc [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^justview [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^jyxobot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^kenjin [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^keyword [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^kmSearchBot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^larbin [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^leacher [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^leechftp [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^lexibot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^lftp [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^libweb [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^libwww [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^libwww-perl [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^likse [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^linkscan [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^linkwalker [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^lnspiderguy [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^lwp [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^lwp-trivial [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^mag-net [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^magnet [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^markwatch [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^mata\.hari [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^memo [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^microsoft\.url [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^midown\.tool [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^miixpc [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^mirror [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^missigua [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^mister\.pix [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^moget [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^mozilla\.newt [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^muhstik [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^muhstik-scan [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^musobot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^nameprotect [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^navroad [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^nearsite [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^net\.\?vampire [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^netants [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^netcraft [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^netmechanic [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^netspider [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^nextgensearchbot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^nicerspro [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^nimblecrawler [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^ninja [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^npbot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^octopus [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^offline\.\?explorer [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^offline\.navigator [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^openfind [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^outfoxbot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^pagegrabber [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^papa [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^pavuk [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^pcbrowser [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^php\.\?version\.\?tracker [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^pockey [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^propowerbot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^prowebwalker [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^psbot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^ptd-crawler [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^pump [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^python-requests [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^queryn [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^realdownload [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^reaper [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^recorder [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^reget [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^repomonkey [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^rma [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^rogerBot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^sauger [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^siphon [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^site\.quester [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^sitesnagger [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^slurp [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^slysearch [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^smartdownload [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^snake [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^snapbot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^snoopy [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^sogou [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^spacebison [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^spankbot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^spanner [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^spbot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^sqworm [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^stripper [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^sucker [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^suggybot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^superbot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^superhttp [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^surfbot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^suzuran [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^szukacz [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^takeout [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^teleport [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^telesoft [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^the\.intraformant [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^thenomad [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^tighttwatbot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^titan [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^true_robot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^ttCrawler [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^turingos [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^turnitinbot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^urldispatcher [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^urly\.warning [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^vacuum [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^vci [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^voideye [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^webpictures [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^webspider [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^whack [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^whacker [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^widow [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^wisenutbot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^wwwoffle [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^xaldon [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^zeus [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^zip [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^zyborg [NC]
    RewriteRule ^(.*)$ - [F,L]
    </IfModule>
     
    Последнее редактирование модератором: 11 окт 2018
    • Нравится Нравится x 4
    • Дабллайк Дабллайк x 1
  3. svift

    svift Контент-генератор

    Пол:
    Мужской
    разраб ахрефса в интервью заявлял, что они честно соблюдают директивы robots.txt... но может уже изменили политику и индексят всё до чего дотягиваются, не знаю
     
  4. Иван Иванович

    Иван Иванович Участник

    Пол:
    Мужской
    В свете недавних новостей про индексацию GoogleDocs и других документов, которые не должны были попасть в поиск, лучше забанить на корню, чем "давать" рекомендации. В бан, так в бан.
     
    • Нравится Нравится x 1
  5. Norder

    Norder админ Команда форума

    Пол:
    Мужской
    та и не только ахрефс есть. Имхо блочить вернее
     
    • Нравится Нравится x 1
  6. efs

    efs Повелитель дескрипторов Команда форума

    не срача ради. но мне всегда интересно, что движет людьми, которые не понимают смысла выполняемых действий, но старательно их воспроизводят (иногда с отсебятиной). и ладно если это не принесет вреда. так зачастую же только во вред себе. и все равно с упорством прыгают по граблям.
    вот чистой воды же каргокульт.
     
  7. Norder

    Norder админ Команда форума

    Пол:
    Мужской
    Расшифруй, пожалуйста
     
  8. Иван Иванович

    Иван Иванович Участник

    Пол:
    Мужской
    [​IMG]
     
  9. efs

    efs Повелитель дескрипторов Команда форума

    пляшу от удаленного сообщения иваниваныча, где он скрещивал ужа с гадюкой и ничего не вышло. это показало, что он в принципе не понимает как это работает.
    что касательно вреда, то пихать километровые правила в htaccess, чтобы потом задрачивать апач чтениями этих правил при каждом обращении, это особый сорт извращений.
    вот и пишу. чистейшей воды каргокульт.
     
  10. bro

    bro Участник

    Пол:
    Мужской
    есть способ получше как прятать ссылки от конкурентов ?
     
  11. Иван Иванович

    Иван Иванович Участник

    Пол:
    Мужской
    С таким количеством запросов в веб серверу даже чайник на кухне справиться. Это же на 100500 страниц ваших доров ;)
     
  12. iamincognito

    iamincognito Почетный участник

    Пол:
    Мужской
    Как минимум, можно не совать полотенца правил в htaccess, а поместить их в конфиг апача (который грузится один раз при старте сервера в отличие от htaccess файлов, которые парсятся при каждом запросе). Но вообще защита эта чисто номинальная - уж что может быть проще, чем подсунуть фейковый юзер агент...
     
    • Нравится Нравится x 1
    • х10 лайк х10 лайк x 1
  13. bro

    bro Участник

    Пол:
    Мужской
    можно здесь поподробней ?
    если я закроюсь от бота ахрефса, это разве не 100% вероятность что ахрефсне будет парсить себе в базу инфу по моему сайту ?
     
  14. iamincognito

    iamincognito Почетный участник

    Пол:
    Мужской
    User-Agent - это всего-лишь один из заголовков, которые клиент шлет серверу с каждым запросом. Его можно не передавать вообще, в нем можно передать все что угодно - например, "представившись" краулером гугла/яндекса/... В общем, это очень ненадежный способ защиты. Примерно как заборчик высотой по колено вокруг дома селебрити - сгодится от честных людей, но не от папарацци...
     
    • Нравится Нравится x 3
    • х10 лайк х10 лайк x 1
  15. efs

    efs Повелитель дескрипторов Команда форума

    [​IMG]

    после инкогнито в принципе и добавить нечего, уже расписал
     
  16. Reset

    Reset Злюка Команда форума

    Пол:
    Мужской
    Если не забуду - выложу свою разработку - попробуете пробить стандартными методами.

    Касательно полотенец htaccess, я уже говорил повелителю дескрипторов - что не везде возможно залезть в конфиг апача, и не всегда это нужно, если это скромная сеточка на 10-15 сайтов.
     
    • Нравится Нравится x 4
  17. neva2012

    neva2012 Контент-генератор

    Пол:
    Мужской
    Может ахрефс это честный человек? - увидит заборчик и не заберет себе в базу.
    Папарацци - да, от них не спрячешья, но ведь цель - ахрефс.
     
    Последнее редактирование: 12 окт 2018
  18. Иван Иванович

    Иван Иванович Участник

    Пол:
    Мужской
    Напоминаю чтобы не забыл. Палить фишки, так полить.
     
  19. Dinin

    Dinin Постоянец

    Пол:
    Мужской
    Иак тогда и париться особо нечего, все равно єти 10 ссылок не много решат.
     
  20. iamincognito

    iamincognito Почетный участник

    Пол:
    Мужской
    А в чем заключается core business ахрефса? :)
     
    • х10 лайк х10 лайк x 1