亚冠

搜索引擎真的遵守robotstxt协议吗

2019-10-12 23:07:21来源:励志吧0次阅读

我们都知道t文件是搜索引擎遵守拉萨医院看牛皮癣果的一个抓取协议

,但是是不是真的有效果呢?

搜索引擎真的会遵循这个协议吗

让我们首先来看看

下面这段 [这是我南昌SEO站点的t设置:允许GG 百度、ALEXA 抓取

,屏蔽了其他一切引擎禁止!]

User-agent:Googlebot

Disallow:

User-agent:baiduspider

Disallow:

User-agent:ia_archiver

Disallow:

User-agent:*

Disallow:/

从理论上来说 这样的设置就屏蔽了其他一切引擎

,但实际上这种方法并不能完全屏蔽SOSO YAHOO MSN之类的爬虫

,在YAHOO上输入site:还是可以看到内容以及索引的!遵守robots协议与否当然是由他们自己说了算的!所以要想完全屏蔽搜索引擎的爬虫

,需要在.htaccess中加入限制语句女孩提出妈妈块洗澡才行,这里我们介绍2种最简单的方法:1:RewriteEngin牛皮癣治疗方法e on RewriteCond %{HTTP_USER_AGENT} ^MSNBOT [NC] RewriteRule .* - [F]

2:

SetEnvIfNoCase Us

Limit GET POST Order Allow,Deny Allow from all Deny from env=bad_bot /Limit

注:MSNBOT 为MSN蜘蛛机器人代码 ,如果想要真正屏蔽某个搜索引擎 把其中的红色部分[MSNBOT]换成你想要屏蔽的蜘蛛机器人代码即可!请不要随意添写 否则造成损失与本人无关!SEO小林发布,转载请注明出处:江西南昌SEO 注:相关站建设技巧阅读请移步到建站教程频道。

小程序签到
微店分销
哪些线上教育类微商城
分享到: