查看: 417|回复: 0

SEO搜索引擎优化:搜索引擎分析,蜘蛛的分类,蜘蛛也有好坏之分 ...

[复制链接]

4301

主题

6529

帖子

2万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
20323
发表于 2018-12-31 18:43:20 | 显示全部楼层 |阅读模式
广大站长们都知道搜索引擎抓取是通过派出spider来进行抓取网站内容的,spider需要通过链接来抓取网站,也就是需要有入口,所以我们需要发外链,增加网站蜘蛛入口。网站快照有时效性,因为蜘蛛会不断的爬取网站来检查是否有所更新。所以各大站长都会千方百计引流,也会根据网站日志判断蜘蛛活跃度,但是很少有站长知道蜘蛛有质量好坏之分。今天给大家讲一下蜘蛛的类型。


批量型spider
有着明显的抓取范围和目标,设置抓取时间和抓取数据量的限制,或抓取固定范围内页面的限制等,常用的工具模拟抓取就是批量型蜘蛛


增量型蜘蛛
也就是通用爬虫,广大站长日常所谈到的植株类型。会一直抓取网站,还会不断的进行页面更新,优秀的增量型蜘蛛会睡着时间的变化随时更新。


垂直型蜘蛛
垂直型蜘蛛只抓取特定主题、特定内容或者特定行业的网页进行抓取,其余内容均会被放弃。可以想象很多自媒体玩家所讲的内容垂直就是指的针对这种蜘蛛的。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则 返回列表 发新帖

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

快速回复 返回顶部 返回列表