今天长沙网站建设小编分析网站日志的时候无意中发现大量的mj12bot蜘蛛,全部是同一个IP:144.76.38.10 查下他IP地址是来自德国萨克森自由州,我百度了一下发现mj12bot是英国的一家网络营销公司旗下的专业搜索引擎蜘蛛,这里我截取一段抓取日志给大家看下,一起来研究MJ12bot到底是什么蜘蛛

144.76.38.10 - - [29/Jul/2021:20:52:06 +0800] "GET /course/search-htm-kw-%E5%8F%A3%E8%AF%AD.html HTTP/1.1" 200 5748 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)"

MJ12bot是什么蜘蛛?

 

Majestic是英国网络营销公司的专业搜索引擎,被 13 种语言和 60 多个国家/地区的数十万企业用于绘制独立于基于消费者的搜索引擎的互联网地图。Majestic 还支持其他合法技术,这些技术有助于了解不断变化的网络结构。网站所有者可以在其网站上查看有关他们自己网站的数据

mj12bot蜘蛛

mj12bot是什么蜘蛛 怎么屏蔽垃圾蜘蛛

 

用户可以在Majestic上了解到自己网站的一些数据。

总的来说,如果你的网站业务主要是在国内的话,那么MJ12bot蜘蛛对于你来说就没有多大的作用。

MJ12bot蜘蛛对网站有什么影响?

长沙网站建设小编认为,国内中文网站可以把它屏蔽掉,MJ12bot蜘蛛对网站起不到什么作用,反而还会轻微的增加服务器的负担,有的时候如果它的抓取量比较大的话,影响也会比较明显,但是一般情况下不会有太大的影响。如果你不想在日志中看到它,可以将它在robots.txt中屏蔽掉,这个蜘蛛是遵循robots规则的。

如何屏蔽MJ12bot蜘蛛?

因为MJ12bot蜘蛛会遵循robots协议,所以我们可以直接在robots.txt中将它屏蔽掉,具体代码如下:

User-agent: MJ12bot

Disallow: /

我们凭借多年的网站建设经验,坚持以“帮助中小企业实现网络营销化”为宗旨,累计为4000多家客户提供品质建站服务,得到了客户的一致好评。如果您有网站建设、SEO优化、SEM竞价、网络推广等方面的需求...
请立即点击咨询我们或拨打咨询热线: 181-7310-7828,我们会详细为你一一解答你心中的疑难。项目经理在线

我们已经准备好了,你呢?

2021我们与您携手共赢,为您的企业形象保驾护航!

在线客服
联系方式

热线电话

181-7310-7828

上班时间

周一到周六

公司电话

400-1680-885

二维码
线