当前位置:首页 > 个人杂谈 > 正文内容

百度抓取诊断出现robots封禁现象分析

作者: 葛屹肃 | 日期: 2022-11-18 | 分类: 个人杂谈

前段时间,由于新域名要备案,更新此网站的标题,并且在Robots.txt设置所有搜索引擎的封禁抓取。本来想域名备案后再放开的,结果域名备案失败,前天已放开封禁,看着几天蜘蛛没有抓取,尝试了资源搜索平台中进行抓取诊断,发现抓取异常,提示为:robots封禁。

百度抓取诊断出现robots封禁现象分析

出现这种情况如何解决?我查询了下,主要原因是由于设置过robots封禁后,蜘蛛那边留有缓存,等缓存时间过了,自然就会正常抓取。这个时候没有特别有用的方法,可尝以下几点,也许可以加快蛛蛛抓取。

1、检测并更新robots文件

在资源搜索平台后台中,点击数据统计中Robots,进入界面后,点击检测并更新,这一步我已操作过,但依然无效。

2、收录提示

依然是资源搜索平台后台中,点击资源提交中普通收录,stemap及手动提交都尝试下,主动吸引蜘蛛过来。

3、死链提交

这个是官方给出的解决方法,百度在robots封禁后,百度可以保证不再对robots封禁的网站和目录进行抓取,但无法保证线上结果会立即消除,线上更新需要1-2周。如您站想快速删除索引,您可以将域名设置404状态,使用死链工具进行提交。

通过以上操作后,有机会加快robots的解封,以便蜘蛛早点进入网站爬行。如问题依旧存在,还可以进行人工反馈。

版权声明:本文由〖葛屹肃〗发布,转载请注明出处!
文章链接:https://www.geyisu.com/2911.html

  • 评论:(0)

已有 0 位网友发表了一针见血的评论,你还等什么?

◎欢迎大家参与讨论