查看: 517|回复: 0

搜索引擎优化:蜘蛛再次抓取更新策略分析,网站快照更新原理 ...

[复制链接]

4301

主题

6529

帖子

2万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
20321
发表于 2019-1-5 18:14:02 | 显示全部楼层 |阅读模式
蜘蛛把网页抓取到本地,该网页被分析索引并参与了排名,并不是说蜘蛛针对这个网页的工作已经结束了,互联网网页中的内容大多都是动态变化的,甚至有的网页可能会被删除。搜索引擎会把抓取到的内容形成一个镜像,也就是网站快照,搜索引擎会定期的进行快照更新,但是并不是所有页面都需要进行再次抓取,搜索引擎的资源也做不到全部更新。


那么搜索引擎快照更新的机制是什么样的呢,站在蜘蛛的角度上,一般会从以下四个方面来确定对已索引网页的再次抓取频率:用户体验、历史更新频率、网页类型和网页权重。
1、用户体验
用户的浏览是需要提供最新的内容,因此排名靠前的页面搜索引擎抓取的频率也是更高的,它需要将最新的内容更新并呈现给用户,因此越容易被用户访问的页面再次抓取更新的机会也就更大。


2、历史更新频率
网站历史更新频率影响网站中蜘蛛的活跃度,历史更新频率较大的网站蜘蛛较多,也就相应的会有网页被二次抓取的可能,网页被二次抓取之后,搜索引擎发现页面内容有所变化,自然也就会经常性的进行再次抓取。
3、网页类型
搜索引擎会根据更新活跃度来进行网页类型分类,比如首页、栏目页、专题页等,相对来说专题页几乎不更新因此快照的更新也就较少,相反的首页及栏目页更新的频率会比较高一些。


4、网页权重
关于网页权重其实没什么可以谈的,网站权重高的自然蜘蛛更加喜欢,更新频率也就更好。
为了保证网站有着比较好的蜘蛛活跃度以及页面更新,站长们应该更加努力的去思考如何让蜘蛛更加频繁抓取网页,但是不能通过投机取巧,搜索引擎的逐渐发展你所能想到的,搜索引擎的开发工程师也一定想得到。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则 返回列表 发新帖

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

快速回复 返回顶部 返回列表