网友您好， 请在下方输入框内输入要搜索的题目：
题目内容
（请给出正确答案）
Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容，Robots文件应如何设置？（）
- A、"User-agent：*Disallow：/A"
- B、"User-agent：Allow：/A"
- C、"User-agent：Disallow：/"
- D、"User-agent：*Allow：/"
参考答案
更多 “Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容，Robots文件应如何设置？（）A、"User-agent：*Disallow：/A"B、"User-agent：Allow：/A"C、"User-agent：Disallow：/"D、"User-agent：*Allow：/"” 相关考题
考题
关于搜索引擎工作原理，下列描述中正确的一项是（）A、搜索引擎的基本工作原理包括抓取、索引、排序B、搜索引擎抓取只抓取大中型网站C、搜索引擎对任何链接都可以抓取D、搜索引擎定时定量抓取小型网站内容
考题
在robots.txt文件中设置了禁止所有搜索抓取，下列正确选项是？（）A、"User-agent·Allow：/"B、"User-agent·Disallow：/"C、"User-agent：BaiduspiderDisallow：/"D、"User-agent：GooglebotAllow：/"
考题
如何建立符合搜索抓取习惯的网站？（）A、网站层次结构明了，并尽量保证spider的可读性B、url尽量短且易读使得用户能够快速理解C、建立网站sitemap文件，前及时通过百度站长平台提交D、robots文件是封禁搜索引擎抓取，所以此Robots文件尽量少用
考题
如果一个网站运营半年了且文章每天都在持续更新，但收录甚少，造成这种情况的原因有哪些？（）A、Robots.txt文件配置可能有误，阻止搜索引擎抓取某些页面B、服务器问题，使网站无法被搜索引擎收录C、搜索引擎抓取后内容还需要处理，需等待D、违法内容被投诉删除E、严重作弊行为被删除
考题
某网站禁止百度蜘蛛索引所有网页，以下robots.txt文件正确的是：（）A、{User-agent：BaiduspiderDisallow：}B、{User-agent：BaiduspiderAllow：*}C、{User-agent：BaiduspiderAllow：/}D、{User-agent：BaiduspiderDisallow：/}
考题
下列选项中，关于robots.txt文件的说法正确的是（）A、robots.txt文件存放于空间根目录下B、robots.txt是搜索引擎蜘蛛访问网站的时候要查看的第一个文件C、如果robots.txt不存在，搜索引擎蜘蛛将能够访问网站上所有未被口令保护的页面D、robots.txt文件只需要存放在空间任意位置就行
考题
关于网络爬虫协议文件robots.txt，说法错误的是（）A、一个网站可以放多个不同robots文件B、robots文件不可以用xml格式命名C、disallow用来描述不希望被访问到的一个URLD、robots文件可以放在任何位置
考题
从SEO角度考虑网站URL设计，下列说法错误的是？（）A、URL中包含关键词B、URL越短越好C、目录或文件名中单词间一般建议用下划线D、目录层次越短越好，不论网站大小都建议放在根目录下，这样可以使搜索引擎更快抓取内容
考题
单选题在为禁止搜索引擎抓取网页设计的Robots.txt文件中，哪些指令标示禁止抓取（）A
AllowB
DisallowC
nofollowD
noindex
热门标签
最新试卷