每天习惯性的打开网站蜘蛛分析插件，分析一下百度蜘蛛抓取的情况。
结果，发现百度蜘蛛抓取的内容不多，反而是下面几个seo分析的网站蜘蛛疯狂的在网站里面进行抓取，主要有：
mj12bot、semrushbot、ahrefsbot
这三个网站的蜘蛛，占据了整个网站里面蜘蛛爬行超过60%以上的占比，而且在网站里面抓取的页面非常的多。
那么像mj12bot蜘蛛对于网站seo会有什么样的影响呢？如果屏蔽掉这些蜘蛛会不会对seo排名有影响？
这估计是很多新手站长迫切想知道的问题。
mj12bot、semrushbot、ahrefsbot
这三个网站的蜘蛛里面ahrefs离谱思维应该是最熟悉的，因为在很多年以前我做seo的时候就靠这个网站来分析竞争对手的外链建设的情况。
ahrefs以前我用到的最多的就是：它可以分析竞争对手网站的锚文本外链。
这个是很多其他的站长工具平台完全做不到的。
因为国内的站长工具平台都没有蜘蛛爬行功能，只能被动的等待用户去查询网站数据，生成页面。
ahrefs是会主动抓取网站数据的，所以用来做竞争对手的网站数据分析效果非常的好。
但是，对于一些本身服务器性能就不好的站长来说的话，这些蜘蛛天天在网站里面疯狂的抓取内容，会严重影响服务器的性能，而且对网站seo来说的话是没有任何帮助的。
所以，离谱思维建议大家直接屏蔽掉就好了，不用担心会有什么影响。
屏蔽的方式很简单：
直接在robots里面加入如下代码即可。
user-agent: mj12bot
disallow: /
如果你不会写robots的话，用蜘蛛分析插件也是一样有屏蔽功能的。
本文由 离谱思维 发布在 威尼斯人2299-威尼斯37266，转载此文请保持文章完整性，并请附上文章来源（网创项目网）及本页链接。
原文链接：https://www.lipsw.com/wcxmyl/924.html
原文链接：https://www.lipsw.com/wcxmyl/924.html
