百度搜索资源指数，了解 robots 工具并通过答题测，详细阅读 robots 文档，阅读完毕后可完成测验题，全部答对获得搜索资源指数加分，以下为泪雪博客提供的百度熊掌小课堂参考，相信可以帮助大家更加的了解百度，同时也能够在百度移动专区为自己的熊掌号获得更高的搜索资源指数。

如果想要网站全部被百度收录，该不该建立 robots.txt 文件

A:应该

B:不应该

子凡补充：依道理来说 robots.txt 的规范，及时不限制任何抓取，也应该建立一个为 tobots.txt 的空文件在网站根目录，否则程序抓取网站前访问 robots 就会返回 404 错误。

robots.txt 文件的作用是什么？

A:能够更好的吸引搜索引擎抓取页面

B:能够指定 spider 在你网站上的抓取范围

C:能够提供搜索结果出图效果

D:没有什么用

robots.txt 文件应该放在哪个位置？

A:放置在网站根目录下

B:放置在对应页面中

下面 robots.txt 文件内字段描述错误的是：

A:User-agent：描述自己站点和页面的名称

B:Disallow：描述不希望被访问的一组 URL

C:allow：描述希望被访问的一组 URL

D:*匹配 0 或多个任意字符

robots 工具目前支持 48K 的文件检测，最长不超过 250 个字符

A:正确

B:错误

子凡补充：

1.robots.txt 可以告诉百度您网站的哪些页面可以被抓取，哪些页面不可以被抓取。

2.您可以通过 Robots 工具来创建、校验、更新您的 robots.txt 文件，或查看您网站 robots.txt 文件在百度生效的情况。

3.Robots 工具目前支持 48k 的文件内容检测，请保证您的 robots.txt 文件不要过大，目录最长不超过 250 个字符。

4.如需检测未验证站点的 robots 设置，检测地址：https://ziyuan.baidu.com/robots/intro

w.haolusi.com

本文链接：https://w.haolusi.com/t/7876.html