1、网站目录下会有一个robots.txt文件，规定爬虫可以/不可以爬取的网站。
2、URL编码细则：URL栏中字符若出现非ASCII字符，则对其进行URL编码，浏览器将该请求发给服务端；服务端会可能会先对收到的url进行解码，然后交给后端代码。
3、Post传参
- 将头部中第一行中的GET改成POST
- POST头部数据格式声明Content-Type: application/x-www-form-urlencoded
- 消息主体填post变量
4、lab8 inget
- 输入id，通过多次给id传参，可以确定，此处可能存在sql注入漏洞；
- 用sqlmap跑SQL注入，命令为
sqlmap -u "可能存在注入点的url"; - 然后进行sqlmap，一把梭：
