当前位置:首页 > 个人杂谈 > 正文内容

为网站加入robots.txt文件

日期: 2019-10-29 | 分类: 个人杂谈 | 浏览: 734次

自从网站被降权后,现在每天都会花点时间分析降权的原因,可惜,过去多日一无所获。搜索资料时,无意中发现robots.txt的作用,然后,从网上下载一份完整wordpress的文件上传到网站。

为网站加入robots.txt文件

其实,在上传robots.txt前,我有点好奇,为什么我的网站并没有robots.txt文件,而访问http://www.geyisu.com/robots.txt时,却是可以访问,后来查询资料得知,原来使用wordpress程序都会自动生成一份robots.txt的。只是内容是固定的。

于是,直接从网上下载一份针对wordpress完整的robots.txt文件,经过检查,所禁止的目录都是正常,只是缺了网站地图,添加网站地图后,就上传到网站中。内容如下:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /niwowz/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /attachment/
Sitemap: http://www.geyisu.com/sitemap.xml

网站被降权后,我才发现之前有些地方还是没有做到侠的,如robots.txt都没有增加,反正已经如此了,什么方法都要尝试一下,期待网站快些渡过这个寒冬吧。

等等,别走! ^_^

好消息,快手官方发红包啦,登录即送2元,秒提现! 查看详情>>

  • 评论:(2)

已有 2 位网友发表了一针见血的评论,你还等什么?

◎欢迎大家参与讨论

站内搜索