对于刚刚接触SEO的新手来说,可能对搜索引擎的抓取、索引和收录这一方面并不理解太多,今天我们主要来说一说这三方面的概念。
什么是抓取
通过蜘蛛爬行和访问页面,搜索引擎每天都会有蜘蛛到各个网站去爬行,当然每个网站的爬行时间和抓取内容都是不一样的。蜘蛛访问一个网站时都会先访问站点的根目录下的robots文件,如果robots文件设置了禁止抓取网站的网址,那么蜘蛛将不会抓取该网站的网址。
而蜘蛛的抓取规则,具体请看我之前写的蜘蛛爬虫原理及算法解读。

什么是索引?
索引就是指搜索引擎把网站收录到临时数据库的信息做分析和处理,也就是说根据搜索引擎的各类算法及規則开展筛选解决,将低品质的网页页面立刻快速清理掉,相反则是将合乎搜索引擎算法及規則的高品质网页页面存放到真实的索引库,而在索引库中还能够进一步解决,以此来划分、评估、排名等处理,然后存到索引库的这一动作就已经完成了索引工作,如此当用户在应用搜索引擎时就是从索引库中获取这一 URL 的信息并展示出来。
一般大家查验一个 URL 是不是被索引,最简单的方法及形式就是说立刻检索这一 URL 来判定。索引大家能在搜索引擎检索到的内容,全部都是早已被搜索引擎索引的数据,不然都没有被索引的 URL 是没法展示在搜索结果中的。

什么叫收录
收录是索引的前提条件,也就是说只有当一个 URL 被收录后,搜索引擎才有可能开展索引操作流程。
收录和索引的区别
1.收录:页面被Baiduspider发现、分析过。
2.索引:Baiduspider经初步分析后认为有意义,做建库处理。
3.包含关系,先收录才有索引,收录量大于索引量。百度站长平台链接提交工具是通往收录的大门,我们可在上面提交链接。
4.收录是索引的前提,站点需保持服务器稳定。
5.Baiduspider只能处理已分析过的页面,对新旧页301和移动适配,可为已收录页面完成权值评分以及流量切换。
6.只有被建入索引库的网页才有获得流量的机会。
知道了以上的区别,那如何查网站收录呢?具体请看之前我写的:如何查询网站收录情况。