如何使用DeadFinder寻找失效链接

news2024/11/17 9:36:37

关于DeadFinder

DeadFinder是一款功能强大的链接分析工具，该工具可以帮助广大研究人员快速地寻找目标页面中的无效链接（死链）。所谓死链，即一个页面中存在的无法被连接的一条链接。这些链接如果一直保留在页面中的话，可能会影响SEO的效果，更严重的可能会影响整个网站的安全。因此，DeadFinder便应运而生，在该工具的帮助下，广大研究人员可以轻松识别和修改这些死链。

工具安装

源码获取

广大研究人员可以使用下列命令将该项目源码克隆至本地：

git clone https://github.com/hahwul/deadfinder.git

使用Gem安装

我们还可以使用Gem来安装DeadFinder：

gem install deadfinder

Docker镜像安装

除此之外，该工具还提供了预构建的Docker镜像：

docker pull ghcr.io/hahwul/deadfinder:latest

工具使用

Commands:

  deadfinder file            # Scan the URLs from File. (e.g deadfinder file urls.txt)

  deadfinder help [COMMAND]  # Describe available commands or one specific command

  deadfinder pipe            # Scan the URLs from STDIN. (e.g cat urls.txt | deadfinder pipe)

  deadfinder sitemap         # Scan the URLs from sitemap.

  deadfinder url             # Scan the Single URL.

  deadfinder version         # Show version.

Options:

  c, [--concurrency=N]  # Set Concurrncy

                        # Default: 20

  t, [--timeout=N]      # Set HTTP Timeout

                        # Default: 10

  o, [--output=OUTPUT]  # Save JSON Result

参数解释

deadfinder file：从文件读取并扫描多个URL地址，例如“deadfinder file urls.txt”            

  deadfinder help [COMMAND]：查看工具可用命令和指定命令帮助信息

  deadfinder pipe：从STDIN扫描多个URL地址，例如“cat urls.txt | deadfinder pipe”            

  deadfinder sitemap：从站点sitemap扫描多个URL地址

  deadfinder url：扫描单个URL地址

  deadfinder version：显示工具版本信息

  c, [--concurrency=N]：设置并发数量，默认为20

  t, [--timeout=N]：设置HTTP超时，默认为10秒

  o, [--output=OUTPUT]：存储JSON结果

运行模式

从STDIN扫描多个URL地址：

cat urls.txt | deadfinder pipe

从文件读取并扫描多个URL地址：

deadfinder file urls.txt

扫描单个URL地址：

deadfinder url https://www.hahwul.com

从站点sitemap扫描多个URL地址：

deadfinder sitemap https://www.hahwul.com/sitemap.xml

JSON处理

deadfinder sitemap https://www.hahwul.com/sitemap.xml \

  -o output.json

cat output.json | jq

工具运行截图

最后

分享一个快速学习【网络安全】的方法，「也许是」最全面的学习方法：
1、网络安全理论知识（2天）
①了解行业相关背景，前景，确定发展方向。
②学习网络安全相关法律法规。
③网络安全运营的概念。
④等保简介、等保规定、流程和规范。（非常重要）

2、渗透测试基础（一周）
①渗透测试的流程、分类、标准
②信息收集技术：主动/被动信息搜集、Nmap工具、Google Hacking
③漏洞扫描、漏洞利用、原理，利用方法、工具（MSF）、绕过IDS和反病毒侦察
④主机攻防演练：MS17-010、MS08-067、MS10-046、MS12-20等

3、操作系统基础（一周）
①Windows系统常见功能和命令
②Kali Linux系统常见功能和命令
③操作系统安全（系统入侵排查/系统加固基础）

4、计算机网络基础（一周）
①计算机网络基础、协议和架构
②网络通信原理、OSI模型、数据转发流程
③常见协议解析（HTTP、TCP/IP、ARP等）
④网络攻击技术与网络安全防御技术
⑤Web漏洞原理与防御：主动/被动攻击、DDOS攻击、CVE漏洞复现

5、数据库基础操作（2天）
①数据库基础
②SQL语言基础
③数据库安全加固

6、Web渗透（1周）
①HTML、CSS和JavaScript简介
②OWASP Top10
③Web漏洞扫描工具
④Web渗透工具：Nmap、BurpSuite、SQLMap、其他（菜刀、漏扫等）

在这里插入图片描述