[CTF/网络安全] 攻防世界 robots 解题详析
- robots.txt
- 姿势
- 总结
题目描述:X老师上课讲了Robots协议,小宁同学却上课打了瞌睡,赶紧来教教小宁Robots协议是什么吧。
进入靶机,页面空白。
查看页面源代码:
再次结合题目Robots协议
robots.txt
robots.txt是一种文本文件,用于告知搜索引擎爬虫哪些页面可以被抓取、哪些页面不应被抓取。通常,网站管理员会在网站的根目录下放置一个名为robots.txt的文件,并使用该文件指定他们希望搜索引擎索引和不索引的页面。
下面是一个简单的robots.txt示例:
User-agent: *
Disallow: /private/
Disallow: /admin/
这个示例中,User-agent: *
指定所有搜索引擎爬虫,而Disallow: /private/
和Disallow: /admin/
则指示搜索引擎不要抓取网站中包含在/private/
和/admin/
文件夹中的任何内容。
姿势
GET:/robots.txt
可知f1ag_1s_h3re.php
被设置为禁止爬取,访问即可。
GET:/f1ag_1s_h3re.php
总结
该题涉及robots协议
,姿势较为简单。
我是秋说,我们下次见。