故障案例：网络访问慢

news2025/4/16 15:37:32

现象描述

FW作为中间设备的场景下，用户访问网页慢，报文延时大等。

原因分析

图1 网络访问慢故障定位思路

丢包
报文在网络链路上传输时，可能会有部分报文在链路中被丢弃，无法及时到达对端，导致通信两端都在等待接收对端的报文，于是出现网络访问慢的现象。

借助流量统计确定是否存在丢包及产生丢包的设备，如果存在丢包，进一步确认丢包原因，根据丢包原因进行相应处理。
1. ARP冲突
  ARP冲突时，ARP表项存在漂移现象，报文有时无法转发到正确的目的地，只有报文正确转发出去了，网络才能通，因此，在用户端会出现访问网络慢的现象。
2. 安全策略阻断部分流量导致访问网页慢。
  在某些业务场景下，用户上网时可能需要向多个Web服务器（对应不同的IP地址）请求资源，若安全策略只放行到部分IP地址的流量，则可能导致部分资源请求不到。客户端重连多次失败后，才会向下一个Web服务器请求资源，于是出现了访问慢的情况
3. 未配置长连接。
  在某些特殊业务场景中，一条会话的两个连续报文可能间隔时间很长，如果没有配置长连接，会话老化后，需要重新建立连接，可能会出现访问慢的现象，这种场景下，就需要配置长连接。
4. 接口过载保护阈值设置过高。
  出入接口上设置的过载保护阈值过高。一旦流量稍微波动，就会超过接口的最大带宽，从而引起拥塞。
延时
报文在网络链路上传输的时延大，也会导致网络访问慢。

首先通过在终端上执行tracert命令，确认延时大的设备，然后在该设备上确定延时原因。对于FW，通常CPU使用率高会导致报文延时。

C:\Users\ccpladmin>tracert www.google.com
Tracing route to www.google.com [1.1.1.1]
over a maximum of 30 hops:
  1     5 ms     5 ms     4 ms  10.1.1.1  //从左到右分别表示：序号、最快时间、平均时间、最慢时间、链路上设备的IP地址。
  2     *        *        *     Request timed out.  //*号表示超时，一定时间内，没有返回任何时间信息，所以用*号来代替。
  3     4 ms     2 ms     2 ms  10.2.1.1
  4     2 ms     3 ms     2 ms  10.1.2.1
  5     2 ms     2 ms     2 ms  172.16.1.1
  6    83 ms   163 ms   243 ms  172.16.2.1  //第6跳，延时较大，请排查该设备。
  7     3 ms     5 ms     3 ms  192.168.1.1
  8     3 ms     3 ms     4 ms  192.168.2.1
 ...
 21     *        *        *     Request timed out.
 22     *        *        *     Request timed out.
 23     4 ms     4 ms     4 ms  1.1.1.1
Trace complete.
C:\Users\ccpladmin>

业务超过设备处理性能。
流量过大，CPU使用率过高，造成部分流量无法正常转发，从而引起网络访问慢的现象。
启用了内容安全检测导致大量流量上送IAE（Intelligent Awareness Engine，智能感知引擎）处理。
流量经过IAE后，会有一定程度的延迟，且流量上送IAE，会占用一定的CPU资源，可能会导致CPU使用率过高，从而引起网络访问慢的现象。

操作步骤

检查FW的日志缓冲区信息，查看是否存在ARP冲突日志。若存在ARP冲突，则根据日志中提示的冲突MAC地址找到冲突设备，隔离该设备后，观察是否还存在网络访问慢的现象，如果不存在，则说明是该设备导致，需要对该设备进行相应处理。

<sysname> display logbuffer
%2018-05-07 21:33:20 sysname %%01ARP/4/ARP_DUPLICATE_IPADDR(l): Received an ARP packet with a duplicate IP address from the interface. (IpAddress=192.168.1.1, InterfaceName=Ethernet0/0/0, MacAddress=0024-xxxx-xxxx)
%2018-05-07 21:33:15 sysname %%01ARP/4/ARP_DUPLICATE_IPADDR(l): Received an ARP packet with a duplicate IP address from the interface. (IpAddress=192.168.1.1, InterfaceName=Ethernet0/0/0, MacAddress=0024-xxxx-xxxx)
%2018-05-07 21:33:10 sysname %%01ARP/4/ARP_DUPLICATE_IPADDR(l): Received an ARP packet with a duplicate IP address from the interface. (IpAddress=192.168.1.1, InterfaceName=Ethernet0/0/0, MacAddress=0024-xxxx-xxxx)
%2018-05-07 21:33:05 sysname %%01ARP/4/ARP_DUPLICATE_IPADDR(l): Received an ARP packet with a duplicate IP address from the interface. (IpAddress=192.168.1.1, InterfaceName=Ethernet0/0/0, MacAddress=0024-xxxx-xxxx)

结合业务场景，查看安全策略的配置是否合理。

在某些业务场景下，用户上网时可能需要向多个Web服务器（对应不同的IP地址）请求资源，若安全策略只放行到部分IP地址的流量，则可能导致部分资源请求不到。客户端重连多次失败后，才会向下一个Web服务器请求资源，于是出现了访问慢的情况。通过在用户端抓包确定用户端是否会向多个IP地址发起请求。

这种场景下，需要先配置较宽泛的安全策略放行指定域间流量，观察访问慢的现象是否消失。若现象消失，则确认是该原因引起。再根据实际业务流向将安全策略修改为明细安全策略，允许用户上网的流量通过。
结合业务场景，判断是否需要配置长连接。如果需要，先配置精确的安全策略，用于匹配需要长时间保持会话的流量，然后在安全策略中启用长连接并配置合理的长连接老化时间。

在某些特殊业务场景中，一条会话的两个连续报文可能间隔时间很长，如果没有配置长连接，会话老化后，需要重新建立连接，可能会出现访问慢的现象，这种场景下，就需要配置长连接。

例如，客户端访问SQL数据库的场景中，FW作为中间设备，客户端和服务器之间通过心跳报文来探测连接是否正常，通常两次心跳报文之间间隔时间较长。如果FW上没有配置相应的长连接，则可能出现后续的心跳报文没有匹配到相应的会话而被丢弃。此时，需要重新建立连接，就会出现用户访问SQL数据库变慢或使用该数据库服务的应用程序报错的现象。
查看接口的过载保护阈值配置。通常情况下，建议将接口的过载保护阈值配置为90%。

在Web界面，选择“网络 > 接口”，单击接口所在行的，进入接口配置界面，查看过载保护阈值的配置。

检查FW的日志缓冲区信息，查看是否存在数据面CPU高的告警。

<sysname> display logbuffer
%2017-01-03 16:39:58 sysname %%01SYSTEM/2/DATAPLANECPU(l): The dataplane CPU usage exceeded the threshold (90%). The dataplane CPU usage was 99%.

若存在，再执行display cpu-usage命令查看哪些进程占用了较高的CPU，针对不同原因采取相应措施。

如下示例表明fpath.out（转发进程）或nge.out（内容安全过滤进程）占用过高的CPU。

<sysname> display cpu-usage
CPU Usage Stat. Cycle: 10 (Second) 
CPU Usage            : 82.2%  Max: 96.6% 
Management-plane CPU Usage: 11.9% Data-plane CPU Usage : 99.5% 
CPU Usage Stat. Time : 2018-04-26 14:27:58 
CPU utilization for ten seconds:  82.2% : one minute:  82.8% : five minutes:  81.9% 
PID    ProcessName    CPU    Runtime    State 
718    fpath.out      47.5%  68063937   S 
311    vrp            2.8%   2598048    S 
720    gm.out         2.1%   3083493    S 
667    vrpio_s        0.2%   414173     S 
737    nge.out        50.6%  105723     S

若是fpath.out占用较高CPU，则表示业务量过大，可考虑使用处理性能更高的型号替换该FW。

若是nge.out占用较高CPU，则可执行engine bypass命令将IAE（Intelligent Awareness Engine，智能感知引擎）手动设置为Bypass状态后测试。

查看安全策略中是否启用了内容安全检测。若已启用，在允许的情况下，执行engine bypass命令将IAE手动设置为Bypass状态，若此时上网恢复正常，则表明是该原因引起。然后关闭Bypass状态后，配置明细安全策略，仅对需要进行内容安全检测的流量启用相应的内容安全检测功能。

在安全策略中启用了IPS、AV 、URL filter、文件过滤等内容安全检测功能后，匹配了安全策略的所有流量会上送IAE处理，IAE会针对流量的应用层信息进行检测和处理。当IAE处理的流量很大时，可能会影响用户的上网速度。