为了搜索引擎可以及时发现站点新更新的内容,提高搜索引擎对网站页面的索引效率,于是去年10月份,微软与俄罗斯搜索引擎Yandex一起发布了indexnow新爬虫协议。
什么是indexnow协议?
indexnow协议主要是由Microsoft Bing与俄罗斯搜索引擎Yandex创建的新爬虫协议,此协议允许网站在创建、更新、删除网站内容时,通过API接口的形式通知搜索引擎。
indexnow协议如果可以得到实施,就意味着网站只需要一个API接口,就可以将网站所有页面共享给支持indexnow协议的搜索引擎,除了可以为站长节约时间和精力外,还可以提高搜索引擎的索引效率。
看到这里,你可能会说,这不就是百度搜索资源提交中的API提交方式吗?确实与百度API提交方式类似,但这些内容提交后,百度搜索不会保证你的这些页面会被抓取或收录,只是通知了百度搜索你的网站内容有了变化,将这些页面的抓取优先级提高了而已。
IndexNow协议推进了搜索引擎的更新
我们知道搜索引擎获取网页数据主要有两种方式,分别为拉取和推送,拉取指的是搜索蜘蛛爬行网站从网站服务器“拉取”新数据,这个是搜索引擎获取数据的传统方式。
IndexNow协议作用是将内容发现方式由“拉取”改为“推送”,对于站长而言,不但网页新内容可以得到快速索引,还可以减少服务器负载,IndexNow协议改变的是内容创作者与搜索引擎之间的关系,对于双方都是有利的。
利于内容创作者
对于内容创作者来说,既减少了新内容被搜索引擎发现和索引的时间,还降低了网站服务器的负载,搜索引擎也不需要来检查你的网页内容是否已更新,另外,减少了服务器负载,可以让服务器一直保持在较佳的运行状态,最后,减少了抓取和索引需求,节约了电力能源,为全球环境改善做出贡献。
已有多个搜索引擎参与,谷歌正在测试
根据相关数据显示,全球多个搜索引擎已经采用了IndexNow协议,8万个网站已经收获了由IndexNow协议带来的好处。S
根据相关数据显示,全球多个搜索引擎已经采用了IndexNow协议,8万个网站已经收获了由IndexNow协议带来的好处。
目前,谷歌搜索正在测试接入IndexNow协议,这就意味着以后谷歌搜索就会大大提高对网站页面的索引效率。
还有就是全球最大cms系统,WordPress也正在考虑接入IndexNow协议,但目前也仅鼓励插件开发,并没有将IndexNow协议集成到WordPress程序中,由此可以说明WordPress还处于观望状态。
怎么部署IndexNow协议?
对于站长而言,只需要在更新网站内容时,通过indexnow协议ping一下搜索引擎,搜索引擎就可以知道你的网站已有新内容。
如果你是站点开发人员,想要部署IndexNow协议,可以参考以下步骤:
1)用在线密钥工具生成IndexNow协议支持的密钥;
2)将密钥存储在网站根目录中的文本文件中;
3)在添加、更新、删除内容后,提交站点url地址,为每一个API接口调用一个URL或一组URL;
4)向搜索引擎提交一个或一组URL,就像是发送一个http请求一样,包含有你的URL地址和密钥,就像下面这样:
https://www。bing。com/IndexNow?url=url-changed&key=your-key
关于IndexNow常见问题解答
1、需要通知多个端点吗?
网站启有indexNow协议后,会立即将网站所有页面共享给已启用IndexNow协议的搜索引擎,所有站长只需要通知一个端点就行。
2、URL提交数量无限制
如果搜索引擎喜欢你提交的网页内容,那么搜索蜘蛛就会根据抓取逻辑和抓取配额快速对你网站页面进行抓取。
3、抓取全部URL地址
如果搜索引擎喜欢你的站点内容,而且你的网站也有足够的抓取配额,那么搜索引擎就会抓取你提交的这部分URL或者你站点所有的URL。
4、已经提交URL了,为什么URL没有被索引
使用indexNow协议可以确保搜索引擎能及时知道站点更新,但不能确保你的内容可以百分之百被搜索引擎抓取或索引,也有可能要过段时间才能被索引。
5、刚启用indexNow协议,需要提交网站以前URL吗?
不需要提交以前的URL,只需要提交自启用IndexNow协议后的添加、更新、删除的URL。
6、提交的URL会被计入每日抓取配额吗?
会被计入网站每日的抓取配额。
7、提交的url,为什么未被搜索引擎索引?
如果你提交的url,不符合搜索引擎的索引标准,则不会被引收录。
8、小站点可以使用IndexNow协议吗?
当然可以,如果你希望你的站点更新可以及时被搜索引擎发现,那么建议你使用IndexNow协议。
9、同一天可以提交同一个URL吗?
不建议同一天提交相同的URL,如果此URL经过了编辑、修改,那么建议等10分钟以后再提交,如果此页面经过了多次修改更新,不建议每次更新都使用IndexNow协议。
10、可以用API接口提交网站404死链吗?
答案是呆以的,可以提交404、410状态码的URL,目的是告诉搜索引擎网站内容已有变化。
11、可以提交301重定向页面吗?
答案也是可以的,可以提交301、302状态码的网站页面,通知搜索引擎网页内容已有更新。
12、什么时候需要更换密钥?
搜索引擎在收到站点新密钥时,只有抓取一次{key}.txt密钥文件,以验证网站所有权,另外,密钥是不需要经常修改的。
13、不同CMS内容管理系统可使用多个密钥吗?
可以,不同站点、不同内容管理系统都可以拥有自己不同的密钥,存放于网站根目录密钥文件中。
14、网站有sitemap文件,还需要启用IndexNow协议吗?
是的,需要启用IndexNow协议,因为搜索引擎抓取网站sitemap文件的频率非常低,使用IndexNow协议可以直接通知搜索引擎站点有新内容更新,不需要等待搜索引擎主动抓取网站sitemap文件。