对分析人员数据分类分流操作的研究
1.概述
本章节介绍一种以人员为中心的智能数据分类分流系统，该系统利用了入侵检测分析人员的认知轨迹。整合了3个维度的动态网络-人系统（cyber-humber system）：网空防御分析人员、网络监测数据和攻击活动。该方法利用了记录下来的入侵检测分析人员的分析过程，称为“认知轨迹”。分析人员的认知轨迹描述了从网络监测数据中检测发现恶意事件过程的示例。资深人员的认知轨迹对于培训初级人员执行数据的分类分流很有帮助。
同时开发了智能系统，可根据与初级分析人员已识别事件的相似度自动检索出其他资深安全分析人员的认知轨迹。
D'Amico和Whitley描述了计算机网络防御（CND）分析人员的6个广泛的分析任务：分类分流分析、升级上报分析、关联分析、威胁分析、事件响应和取证分析。
数据分类分流的三大挑战：
（1）不断产生的网络数据量巨大，并且包含许多误报。分析人员需要做出高质量的判定，确定网络数据中哪些值得进一步分析，以及哪些是应当作为安全事件进行上报。
（2）分析人员必须在时间压力下进行数据分类分流，快速决策是第二大挑战。
（3）在7*24h连续值班的模式下，如何将一位分析人员所获得的知识（如疑似但尚未确认的恶意事件、观察到的攻击行为等）转交给下一班次。
后续研究试图回答的问题
（1）SA中数据分类分流的特点是什么？是否能否在这种情况下形式化定义给过程？
（2）分析人员认知过程中的关键组成部分是什么？如何在SA数据分类分流中表示分析人员的认知过程？
（3）如何跟踪分析人员的数据分类分流过程？
（4）如何利用所采集的数据分类分流过程来提高分析人员在SA中的数据分类分流操作效率？
2. 数据分类分流的特点
2.1 数据分析
意义架构循环模型（sense making loop）对自下而上流程和自上而下流程的整合。自下而上流程是从理论到数据的过程，如搜索和过滤、查看和提取、模式化、立案调查和讲述理论。至上而下的过程是从数据到理论的过程，分析人员重新评估、寻找支撑点、寻找证据、寻找相互关系以及搜索信息。
2.2 大规模和快速变化的数据
SA的数据来源可能包括“大量分布式网络包采集探针、系统日志文件、SNMP陷阱和查询、基于检测特征的IDS系统、用户配置文件数据库、系统消息、威胁数据库和操作员命令”，同时也包括莱西人类智能产生的数据，包括SIEM系统的数据（如威胁数据库）、来自外部的数据（如外部攻击或威胁报告）和从社交媒体收集的数据。
异构数据在类型和格式上有很大差异，包括定量数据和定性数据，结构化、半结构化和非结构化数据。同时，SA数据和攻击威胁在不断变化，也就是网络安全环境的高度动态化特质。
网络安全分析人员要把原始数据转化为：所关注活动、可疑活动、常规事件、安全事件和入侵集合。
2.3 “人在环中”式数据分类分流
安全分析人员在解释数据、理解情境、产生假设以及以灵活方式做出决策方面具备优势。
2.4 为安全时间响应上报安全事件
一个安全事件被定义为“对计算机安全策略、可接受的使用策略或标准安全实践的违反的迫切威胁”。
3. SA中数据分类分流的定义
以形式化定义识别除了数据分类分流过程的关键构件。
3.1 动态的cyber-humber system
这种CHS包括（1）网络上进行的攻击活动 （2）收集自多个来源的大规模且快速变化的检测数据（3）一组上报的安全事件及推断的安全事件与攻击杀伤链的时间与因果关系（4）一组“客观世界的知识”（如攻击情报和保护网络的任务等）（5）分析人员的心智模型（6）逐步过滤出可疑网络安全事件数据的分析人员所执行的数据分类分流操作。
是到时间t为止进行的一组数据分类分流操作。
3.2 大规模和快速变化的数据源
6个维度标识数据类别
（1）根据数据的传感器类型归类。
（2）数据格式分类
（3）检测范围的层级
（4）可访问性而言
（5）定性数据或定量数据
（6）是否是时间敏感，分为稳定数据和流数据
定义1 给定一个网络，网络事件e是一个多元组，指定网络中发生的连接活动的特征。
e ={occurTime,detectTime,eventType,attackType,srcIP,srcPort,dstIP,dstPort,
prot,sensor,severity,conf ,msg}其中，eventType是网络连接的类型（新建、断开、拒绝）
attackType指定此事件所属的攻击类型，默认为空
prot是网络协议
severity是事件的严重程度
conf是事件的可置信度
3.3 攻击链中的安全事件
攻击链被建模表示为对漏洞暴露的攻击利用所引起网络状态变化的一个序列。
攻击事件被定义为一个元组<att,E,R>
其中att是制定了某一个攻击链的一个攻击标识符。
E=（e1、。。。、en）是为了实施攻击链att而发生的一个网络事件序列。
R={happenbefore（ei，ej），is-a-pre-step（ei,ej）},标识E中两个事件的时间或逻辑关系
3.4 分析式推理过程
为了完成数据分类分流，分析人员基于领域知识和专业知识执行一些列信息搜寻活动，包括查看、搜索、过滤和提取。这个过程被称为分析式推理过程。因此我们聚焦于数据分类分流过程中的人-数据交互。这个过程生产2终产物：
（1）识别出的网络事件以及他如何相关关联（2）分析人员的认知过程涉及工作、观察和假设，是该交互的驱动力。
在宏观层面认知任务分析研究和微观层面关于分析单元的行为统计分析之间中间层对人员的数据分类分流过程进行研究。
在此介绍一个在数据分类分流中分析人员的分析式推理过程的概念模型，作为中间层面的细粒度分析的基础。
APH（action-observation-Hypothesis，AOH）模型：动作是指分析人员对网络数据进行的过滤和关联操作；观察是指被分析人员视为可疑网络事件的数据；假设是指分析人员关于潜在攻击事件的假设。
