AhrefsBot是什么？

AhrefsBot是一個(gè)國外的搜索引擎蜘蛛。不過對(duì)你的網(wǎng)站來說除了浪費(fèi)資源外，沒有任何好處。簡單說，AhrefsBot是一個(gè)營銷網(wǎng)站的爬取蜘蛛，負(fù)責(zé)分析你網(wǎng)站的鏈接信息，這個(gè)工具對(duì)于國內(nèi)用戶來說，沒有用。

所以，可以禁止AhrefsBot對(duì)你網(wǎng)站，甚至是整個(gè)服務(wù)器的訪問

詳細(xì)的介紹你可以查看他們官網(wǎng)的英文解釋。https://ahrefs.com/robot  該網(wǎng)站是一個(gè)國外的但是有中文版，打開中文版顯示如上圖。其介紹為“增加您的搜索流量的工具，研究您的競爭對(duì)手并監(jiān)控您的利基市場(chǎng)。Ahrefs會(huì)幫助你去研究為什么你的競爭對(duì)手排名這么高，以及你需要采取什么行動(dòng)來超越他們?！彼詰?yīng)該明白他是做什么的了吧。

怎么封禁AhrefsBot？

如果不需要我們可以屏蔽。他的ip地址還是很多的所以建議用robots.txt屏蔽。屏蔽代碼為：

User-agent: AhrefsBot

Disallow: /

官方公布的AhrefsBot爬蟲IP段如下： 

54.36.148.0/24

54.36.149.0/24

54.36.150.0/24

195.154.122.0/24

195.154.123.0/24

195.154.126.0/24

195.154.127.0/24

方法一：阿里云安全組策略直接封AhrefsBot ip段

被AhrefsBot蜘蛛爬取的站服務(wù)器用的阿里云，阿里云后臺(tái)有安全組可以使用，所以直接屏蔽AhrefsBot的IP段，是最簡單粗暴，效果立竿見影的方法。按照上圖的方法配置，把下面這些ip段全部添加進(jìn)去就行了。

方法二：服務(wù)器安全狗等在服務(wù)器上進(jìn)行封禁

在安全狗上找“網(wǎng)絡(luò)防火墻>超級(jí)黑名單”，添加IP組進(jìn)去，保存即可。如下圖所示：

方法二：使用robots.txt封禁

通常來說，只要是遵循robots規(guī)則的蜘蛛或者爬蟲，都可以使用robots.txt來禁止它爬取。AhrefsBot官方也說遵守這個(gè)規(guī)則，不過實(shí)際上是如果你不是一開始就添加了這個(gè)規(guī)則，你都不知道它蜘蛛什么時(shí)候才會(huì)重新爬取你的robots.txt文件來修改抓取規(guī)則。

對(duì)于單個(gè)網(wǎng)站來講，直接封IP比較快。如果要添加，規(guī)則如下：

User-agent: AhrefsBot

Disallow: /