随着互联网、物联网、传感网、社交网络等信息系统所构成的泛在网络不断 发展，网络终端设备数量呈指数级上升。这为企业进行终端设备资产清点和统一 管控带来了巨大挑战，同时也引发了一系列安全问题，网络攻击与防御的博弈从 单边代码漏洞发展到了大数据对抗阶段，网络空间搜索引擎应运而生。
搜索引擎是指从互联网搜集信息，经过一定整理以后，提供给用户进行查询 的系统。传统搜索引擎对我们来说并不陌生，像Google 、百度等，每天我们几乎 都会用它们来搜索消息。与传统搜索引擎相比，网络空间搜索引擎有很大不同， 其搜索目标为全球的IP地址，实时扫描互联网和解析各种设备，对网络中的设备 进行探测识别和指纹分析，并将其扫描的目标信息进行分布式存储，供需求者检 索使用。传统的网络空间搜索模型框架一般由五部分组成：扫描和指纹识别、分 布存储、索引、UI界面以及调度程序，如图4-6所示。
图4-6 网络空间搜索模型框架
网络空间搜索引擎的用途有很多。对于安全研究者来说，能够帮助安全研究 人员针对APT组织、攻击方式等情况进行分析；对于公司安全管理人员，能够帮 助他们进行网络资产匹配、安全评估等；对于安全白帽子，能够帮助渗透测试人 员在与目标非交互的情况下搜集信息，例如，搜索资产、系统类型，开放端口
等。
4.3.1 常见搜索引擎平台
目前的网络空间搜索引擎平台比较多，各具特色，均可通过用户指定的关键 词来搜索网络中的设备或者设备信息。常见的网络空间搜索引擎有Shodan、
Censys 、ZoomEye 、Fofa 、Punk SPIDER 、IVRE（Drunk）和傻蛋等，接下来将详 细介绍ZoomEye和Shodan两款搜索引擎。
ZoomEye ，又称为“钟馗之眼” ，是国内安全厂商知道创宇倾力打造的知名空 间搜索引擎，它可以识别网络中的站点组件指纹和主机设备指纹。相较于
Shodan ，它更侧重于Web资产发现，而Shodan偏向于主机层面。该搜索引擎可以 搜索出三十多万条吻合度较高的数据，与此同时，ZoomEye具备全球4100万个网 站的网站组件指纹库，极大地提高了搜集效率和准确度。ZoomEye的搜索界面简 约，易上手，高级搜索功能非常实用，用户体验不错，“海盗榜计划”可以区分出 不用权限的用户，提高用户的互动性。 目前的ZoomEye针对普通用户是免费，但 是某些模块和数据需要收费，如图4-7所示为ZoomEye搜索引擎界面。
Shodan是全球开放最早的网络空间搜索引擎，也是目前全球最为知名的搜索 引擎。Shodan每月中会在全球5亿左右的设备上进行信息搜集，主要针对服务
器、网络设备、摄像设备、工控设备等基础设备进行扫描。Shodan为用户提供了 11种代码库，便于使用API接口，其中部分浏览器中集成了带有Shodan搜索功能 的插件。使用Shodan需要注册账号，同时可以缴费注册成会员，企业版和高级企 业版是收费的。Shodan还提供了Scanhub 、Images 、3D效果展示、CLI 、蜜罐判断 等实用性较强的功能，如图4-8所示为Shodan搜索引擎界面。
图4-7 ZoomEye搜索引擎
图4-8 Shodan搜索引擎
4.3.2 搜索引擎语法
下面就以ZoomEye和Shodan两大网络空间搜索引擎为例，对搜索引擎的使用 进行简单介绍。
ZoomEye支持公网设备指纹检索和Web指纹检索。Web指纹识别包括应用
名、版本、前端框架、后端框架、服务端语言、服务器操作系统、网站容器、内 容管理系统和数据库等。设备指纹识别包括应用名、版本、开放端口、操作系
统、服务名、地理位置等，直接输入关键词即可开始检索。下面列举了ZoomEye 的常见搜索语法，表4-8所示为设备指纹检索语法，表4-9所示为Web指纹检索语 法。
表4-8 设备指纹检索语法
表4-9 Web指纹检索语法
为了能够更好地解释ZoomEye设备指纹搜索语法，下面列举了搜索设备指纹 的使用示例，比如想查询在美国纽约市的Linux系统，且系统中运行组件为Apache 的服务器，我们可以构造如下的搜索语法：
| app:"Apache httpd" +os:"linux" +country:US +city:"New York City" |
| 搜索结果如图4-9所示。 |
 |
| 图4-9 ZoomEye搜索结果 接下来列举了Web指纹检索的使用示例，比如想查询美国纽约地区使用Linux 系统的网站，可以构造如下的搜索语法： |
 site:google .com +os:linux +country:US +city:"New York City" |
图4-10 Web指纹检索示例
Shodan主要获取互联网中设备中的服务、位置、端口、版本等信息， 目前比 较受欢迎的内容有webcam 、linksys 、cisco 、netgear 、SCADA等。通过不同的搜 索语法可以做到批量搜索漏洞主机、统计中病毒主机、进行弱口令爆破、获取
shell等功能。表4-10中整理了常用的搜索语法。
表4-10 Shodan常用语法
表4-10中整理的Shodan语法只是其中一部分，这些语法可以结合在一起使用
4.3.3 搜索引擎API的使用
1.ZoomEye
ZoomEye除了以上介绍的智能检索功能以外，还提供了强大的Restful API功 能，用户通过它能够更好地与平台连接，调用平台提供的各类资源。接下来将带 领大家通过Python程序调用ZoomEye的API接口实现自动化信息搜集。ZoomEye平 台主要使用的是Json Web Token的登录验证方式，用户进行登录，并获取
access_token就可以直接调用API功能。方法如下：
方法1 通过curl命令直接获取access_token 。在Linux系统终端执行如下命 令，其中username为注册的邮箱或手机号，password为登录密码：
| curl -X POST https://api.zoomeye .org/user/login -d '{ "username" :"20***** 989@qq .com", "password" :"123*******wxz"} ' |
| 运行结果如下所示： |
| {"access_token" : "eyJhbGciOiJIUzI1Ni IsInR5cCI6IkpXVCJ9 .eyJpZGVudGl0eSI6IjIw NzI2MjI5ODlAcXEuY29t*********************TM1OTE2NzgsImV4cCI6MTU5MzYzNDg 3OH0 .3Ync_i7QBTVgtAOMkkZSGWz5Y__zps_1s3fVM-eMm6Y"} |
| 方法2 通过Python脚本获取access_token 。通过构造post请求的方式，将用户 名和密码以json的格式发送到ZoomEye的后端，打印出响应数据包，代码如下所 示：
|
| #!/usr/bin/python #coding:utf-8 import requests import json def main() : username = input("username:") password = input("password :") url = "https://api.zoomeye .org/user/login" data = json .dumps({ 'username ' : username, 'password ' : password}) access_key = requests .post(url=url,data=data,verify=False) print(access_key .text) if __name__ == "__main__" : main() |
执行效果如图4-11所示。
图4-11 打印响应数据包
接下来，可以利用获取到的access_token检索我们需要的信息，这里将通过案 例进行演示说明，关于ZoomEye API详细的字段说明，大家可参考官方指导手册 （ZoomEye - Cyberspace Search Engine）。
案例1 使用host方法，查询开放6379端口的服务器IP地址，并打印出检索到 的IP地址和端口号，详细代码如下所示：
U
#coding:utf-8
import requests
from bs4 import BeautifulSoup
import json
import re
def main() :
headers = {
"Authorization" : "eyJhbGciOiJIUzI1Ni IsInR5cCI6IkpXVCJ9 .eyJpZGVudGl0eSI6
IjIwNzI2MjI5ODlAcXEuY***********************************0MzYsImV4cCI6MT U5MzYzNTYzNn0 .4EkTH3vh3JSjBJ_wEfnaMhQWuPSaIzQypBAKpfUSuZ0"
}
url = "https://api.zoomeye .org/host/search?query=port :6379&page=1&facet= app,os"
info = requests .get(url=url,headers=headers)
r_decoded = json .loads(info .text)
for line in r_decoded[ 'matches '] :
print(line[ 'ip ']+ ' : '+str(line[ 'portinfo '][ 'port ']))
if __name__ == "__main__" :
try:
main()
except Keyboard Interrupt :
print("interrupted by user, killing all threads . . .")
输出结果如下：
2.Shodan
使用Python去调用Shodan的API接口可以实现自动化信息搜集，首先需要注册 用户，在My Account中可以看到API Key。
初始化API：
|
| import shodan SHODAN_API_KEY= 'Hg4t6PpPMvz4mgQhS**********KkCZLXh ' shodan_api=shodan .Shodan(SHODAN_API_KEY) |
|
|
| ||
初始化API之后就可以使用Shodan的库函数，下面整理一些函数。可以参考 Shodan官方给出的API文档（Shodan Developer）。
·shodan_api.count（query ，facets=None）：查询结果数量。
·shodan_api.host（ip ，history=False）：获取一个IP的详细信息。
·shodan_api.ports（） ：获取Shodan可查询的端口号。
·shodan_api.protocols（） ：获取Shodan可查询的协议。
·shodan_api.services（） ：获取Shodan可查询的服务。
·shodan_api.scan（ips ，force=False）：使用Shodan进行扫描，ips可以为字符 或字典类型。
案例2 使用host方法获取指定IP的相关信息，代码如下：
| import shodan import json SHODAN_API_KEY= 'Hg4t6P###########4U9zKkCZLXh ' shodan_api=shodan .Shodan(SHODAN_API_KEY) ip=shodan_api.host('8.8.8.8 ') print(json .dumps(ip)) |
| 运行结果如下所示：
|
| {"region_code" : null, "ip" : 134744072, "postal_code" : null, "country_code" : "US", …… "ip_str" : "8 .8 .8 .8", "os" : null, "ports" : [53]} |
| 案例3 搜索JAWS摄像头，将IP和端口打印出来，代码如下： |
| import shodan import json SHODAN_API_KEY= 'Hg4t6PpP##########4U9zKkCZLXh ' shodan_api=shodan .Shodan(SHODAN_API_KEY) results=shodan_api.search( 'JAWS/1 .0 ') print("Results found :%s"%results[ 'total ']) for result in results[ 'matches '] : print(result[ 'ip_str ']+" :"+str(result[ 'port '])) |
运行结果如下：
以上内容主要介绍了网络空间搜索引擎的基本概念，对Zoomeye和Shodan两 款搜索引擎的特点和常用语法进行详细的说明，让读者在对国内外的搜索引擎有 一定了解的同时可以熟悉Zoomeye和Shodan的搜索语法。最后结合Python和搜索 引擎API进行自动化信息搜集，笔者通过简单的示例介绍了Zoomeye和Shodan的 API使用方法，希望读者多去实践，能够在工作中运用搜索引擎提高信息搜集的 效率和质量。
