查看: 1054|回复: 0

SEO干货:如何正确的吸引蜘蛛爬取

[复制链接]

4301

主题

6529

帖子

2万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
20323
发表于 2019-1-5 18:42:02 | 显示全部楼层 |阅读模式
seo的,都要想让自己更多的页面被收录,想方设法吸引蜘蛛来抓取。如果不能抓取所有页面,蜘蛛所要做的就是尽量抓取重要页面。那些页面会被人为比较重要呢?有几方面的音响因素:
1.网站的页面和权重。
质量高,资格老的网站被认为权重比较高,这种网站上的页面被爬行的深度也会比较高,所以会有更多的页面被收录。
2.页面更新度。
蜘蛛每次爬行都会把页面数据储存起来。如果第二次爬行发现页面与第一次收录完全一样,说明页面没有更新,多次抓取后,蜘蛛会对页面更新频率有所了解,不常更新的页面,蜘蛛也就没有必要经常抓取。如果页面内容经常更新,蜘蛛就会更加频繁的访问这种页面,页面上出现的新连接,也自然会被蜘蛛更快的跟踪,抓取新页面。

3.导入链接。
无论是外部链接,还是同一个网站的内部链接,要被蜘蛛抓取,就必须有导入链接进入页面,否则蜘蛛根本就没有机会知道页面的存在。高质量的导入链接也经常使页面上的导出链接被深度爬行度增加。
4.与首页的点击距离。
一般来说网站上权重最高的是首页,大部分外链都是指向首页的,蜘蛛访问最频繁的也是首页。因此,离首页点击距离越近,页面权重就越高,呗蜘蛛爬行的机会也越大。
5.URL结构。

页面权重是在收录并进行迭代计算后才知道的,那么前面说的页面权重高有利于被抓取,搜索引擎蜘蛛在抓取前怎么知道页面权重呢?所以蜘蛛要进行预判,除了链接,与首页距离、历史数据等因素外,短的、层次浅的URL也可能被直观的认为在网站上的权重相对较高。
谢谢阅读小青鱼的文章,有问题欢迎评论。也可关注微信公众号“小青鱼”。如果您有更好的文章和观点,欢迎投稿到小青鱼邮箱(1017913578@qq.com)或者公众号。若小青鱼觉得您说的很精彩,会带着作者的名字一起发表出来的哦!
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则 返回列表 发新帖

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

快速回复 返回顶部 返回列表