当前位置:首页 > 个人杂谈 > 正文内容

闲来无事,修改下网站的robots.txt文件

作者: 葛屹肃 | 日期: 2021-03-22 | 分类: 个人杂谈

相信有点网站管理的经验的朋友都知道,robots.txt文件的作用吧,robots.txt文件的作用是屏蔽搜索引擎蜘蛛抓取站点内容和页面。robots.txt文件对于网站是重要的,却双常常被我们所忽视的。

修改下网站的robots.txt文件

我为什么会修改robots.txt文件呢?难道真得是闲来无事吗?呵呵,说对了,这一刻我的确是很闲。修改robots.txt文件就是几秒钟的事情,即使修改了也闲啊。

有点胡扯了,言归正传吧。网站最近半年收录上升十分缓慢,我在寻思,是否robots.txt文件影响呢?毕竟之前设置过很多屏敝。而当时设置时,完全是根据蜘蛛访问页面来屏敝。现在看来没有必要了,并且考虑到会否屏敝过多,而导致影响收录。

由此,去掉大多数自认为无关痛痒的屏敝,只留下几个真正要屏敝的链接。或许以后也不会改动了,随着做站时间久了,一切也看淡了,除非真正影响网站的因素,否则,都不会太在乎的。正如建站初期,对于网站模板的修改也是相当感兴趣,三天两头就修改下样式。而之后日子,我几乎没有再修改样式了。因为做站的目标是为了流量,有流量才有转化。而流量来源于好文章,因此,文章才是做站的根本。

其实,我心里明白,收录偏低与robots.txt文件关系不大,这或许与网站权重有关的。权重就像一个瓶子的大小,权重越高瓶子越大,能收录页面总量即越多,反正,权重越低收录总量即越小。只是短时间要提升权重是很难,只能多写原创文章,让收录理更多,量变引起质变吧。

最后说下,robots.txt文件还有一个作用就是屏敝搜索引擎抓取站点重复内容,因此,我设置Disallow: /?p=*这一项,为什么要设置这个呢?看看以下URL:

https://www.geyisu.com/1453.html

https://www.geyisu.com/?p=1453

以上URL都是指向同一个页面,设置Disallow: /?p=*后,可以让搜索引擎只抓取第一个页面,可防止2个页面都被收录而分散权重,大家明折了吧?

版权声明:本文由〖葛屹肃〗发布,转载请注明出处!
文章链接:https://www.geyisu.com/1851.html

  • 评论:(0)

已有 0 位网友发表了一针见血的评论,你还等什么?

◎欢迎大家参与讨论