内容过滤技术

文件过滤技术

• 这里说的文件过滤技术，是指针对文件的类型进行的过滤，而不是文件的内容。
• 想要实现这个效果，我们的设备必须识别出：
  • 承载文件的应用 ---- 承载文件的协议很多，所以需要先识别出协议以及应用。
  • 文件传输的方向 ---- 上传，下载
  • 文件的类型和拓展名 ---- 设备可以识别出文件的真实类型，但是，如果文件的真实类型
  • 无法识别，则将基于后缀的拓展名来进行判断，主要为了减少一些绕过检测的伪装行
    为。

压缩

文件过滤技术的处理流程

• 文件过滤的位置是在AV扫描之前，主要是可以提前过滤掉部分文件，减少AV扫描的工作
  量，提高工作效率。
  
  

内容过滤技术

• 文件内容的过滤 ---- 比如我们上传下载的文件中，包含某些关键字（可以进行精准的匹
  配，也可以通过正则表达式去实现范围的匹配。）

• 应用内容的过滤 ---- 比如微博或者抖音提交帖子的时候，包括我们搜索某些内容的时
  候，其事只都是通过HTTP之类的协议中规定的动作来实现的，包括邮件附件名称，FTP
  传递的文件名称，这些都属于应用内容的过滤。

• 注意：对于一些加密的应用，比如我们HTTPS协议，则在进行内容识别的时候，需要配置
  SSL代理（中间人解密）才可以识别内容。但是，如果对于一些本身就加密了的文件，则
  无法进行内容识别。
  

• 内容识别的动作包括：告警，阻断，按权重操作：我们可以给每一个关键字设计一个权
  重值，如果检测到多个关键字的权重值超过预设值，则执行告警或者阻断的动作。

邮件过滤技术

• SMTP ---- 简单邮件传输协议，TCP 25，他主要定义了邮件该如何发送到邮件服务器中。
• POP3 ---- 邮局协议，TCP 110，他定义了邮件该如何从邮件服务器（邮局）中下载下
  来。
• IMAP ---- TCP 143，也是定义了邮件 该如何从邮件服务器中获取邮件。
  （使用POP3则客户端会将邮件服务器中未读的邮件都下载到本地，之后进行操作。邮件
  服务器上会将这些邮件删除掉。如果是IMAP，用户可以直接对服务器上的邮件进行操
  作。而不需要将邮件下载到本地进行操作。）
  

邮件过滤技术主要是用来过滤垃圾邮件的。—所谓垃圾邮件，就是收件人事先没有提出要求或者同意接受的广告，电子刊物，各种形式的宣传的邮件。包括，一些携带病毒，木马的钓鱼邮件，也属于垃圾邮件。

1. 统计法 ---- 基于行为的深度检测技术
   • 贝叶斯算法 ---- 一种基于预测的过滤手段
   • 基于带宽的统计 — 统计单位时间内，某一个固定IP地址试图建立的连接数，限制
     单位时间内单个IP地址发送邮件的数量。
   • 基于信誉评分 — 一个邮件服务器如果发送垃圾邮件，则将降低信誉分，如果信誉
     比较差，则将其发出的邮件判定为垃圾邮件。
2. 列表法 — 黑，白名单
   • RBL（Real-time Blackhole List） — 实时黑名单 — RBL服务器所提供，这里面的内容会实时根据检测的结果进行更新。我们设备在接收到邮件时，可以找RBL服务器进行查询，如果发现垃圾邮件，则将进行告知。 — 这种方法可能存在误报的情况，所以，谨慎选择丢弃动作。
3. 源头法
   • SPF技术 — 这是一种检测伪造邮件的技术。可以反向查询邮件的域名和IP地址是
     否对应。如果对应不上，则将判定为伪造邮件。
4. 意图分析
   • 通过分析邮件的目的特点，来进行过滤，称为意图分析。（结合内容过滤来进
     行。）
     

应用行为控制技术
主要针对HTTP和FTP协议。