robots协议 Robots协议,全称为“网络爬虫排除标准”(Robots Exclusion Protocol),是互联网上用于指导搜索引擎蜘蛛如何抓取和访问网站的一种协议。网站可以通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,从而保护敏感信息和数据,确保用户隐私不被得犯。 如果ctf中考到了这个在我浅薄的认知里,这应该考的比较基础,查看一下robots协议在访问对应的文档就可以获取flag。 例题 攻防世界Training-WWW-Robots 1:访问靶场 2:查看robots协议 3:访问对应文件