欢迎关注虹科，为您提供最新资讯！
导读
虹科CSS的CANedge数据记录仪专为汽车和工业领域的工程师设计，旨在通过监控现场资产来支持研发、诊断和预测性维护。为了将这些数据转化为直观的可视化信息，工程师们通常依赖于Grafana仪表板。本文将深入探讨实现这一目标所涉及的工作流程，并展示如何通过Grafana-Athena集成技术，巧妙应对用户在数据可视化过程中遇到的一系列挑战。
Grafana仪表板
01 亟待解决的五大难题
- 如何解码原始二进制日志文件？
虹科CANedge数据记录仪以MDF（*.MF4）格式记录原始CAN数据，包括带有时间戳的“CAN ID”和“数据字节”。为了使这些数据对用户可读，需要通过软件/API工具和CAN（DBC）数据库文件进行解码。
- 如何实现跨TB数据的低成本可视化？
一台虹科CANedge物联网设备每月可能产生超过50GB的数据，甚至累积至TB级别，而将这些数据存储在基于云的时间序列数据库中的成本过高。同时，数据查询的速度也应相当快，以便用户能够有效地处理数据。
- 如何保留原始报文时间戳？
CAN网络中的每个报文都有其独特的时间光栅，集成方案必须保留这些原始时间戳，以便用户能够查看从秒到月的数据。
- 如何让用户自主部署？
虹科CSS不提供服务器或服务托管，而是让用户自行设置。这要求部署过程简单，以适应对数据敏感性有严格要求的用户。
- 如何保持不可知性？
虹科CANedge设备支持多种数据收集方式，例如，用户可使用虹科CANedge1将数据记录到SD卡中，以便离线使用，也可以使用虹科CANedge2/CANedge3通过 WiFi/LTE（4G）将数据收集到S3服务器中。因此，集成方案需要能够适应这些不同的后端存储选项。
02 虹科Grafana-Athena集成解决方案
为了应对上述集成挑战，虹科CSS推出了“Grafana-Athena”仪表板集成方案，提供了一种高效且用户友好的数据可视化方案。
虹科CANedge数据记录仪
集成方案的设置步骤
■ 数据上传： 虹科CANedge记录仪将CAN/LIN数据上传至AWS S3的“input bucket”。
■ 触发Lambda函数： 日志文件上传后，自动触发一个Lambda函数。
■ 数据解码： Lambda函数使用DBC文件将原始数据解码为Parquet格式。
■ 数据存储： 解码后的Parquet文件被写入AWS S3的“output bucket”。
■ 数据可视化： Grafana通过亚马逊Athena插件，将“data lake”中的数据进行可视化。
■ 快速部署： 整个设置可以在15分钟内自动部署完成，无需任何编码工作。
虹科Grafana-Athena仪表板集成
虹科Grafana-Athena的部署过程完全由用户自主完成，即使是没有Grafana或AWS使用经验的用户也能轻松上手。虹科CSS为此提供了即插即用的AWS CloudFormation堆栈，以及详细的部署指导。
用户只需将DBC文件和Lambda函数压缩包上传至S3 input bucket，然后使用CloudFormation堆栈模板部署Lambda函数、S3 input bucket、Athena和Glue。部署完成后，用户将获得必要的凭据，以便在Grafana云数据源设置中验证Athena的凭证。无需担心Parquet数据湖的构建细节，因为这一切都由虹科CSS Electronics预制的AWS Lambda函数自动完成，同时确保数据湖按日期进行最佳分区。
03 五大显著优势
高性能与低成本查询
传统的Grafana-InfluxDB集成在处理大规模数据时成本较高。相比之下，虹科Grafana-Athena集成通过AWS S3存储和Athena的无服务器查询，显著降低了成本，同时保持了高效的查询性能。
- 无需编码，15分钟内完成部署
利用AWS CloudFormation模板和预配置的Lambda函数，用户可以在15分钟内完成部署，无需任何编程知识，大大简化了部署流程。
- 无缝跨时间尺度分析
用户可以轻松地在Grafana中进行跨年或跨毫秒的数据查询和分析，得益于data lake中保留的原始时间戳和Grafana的即时重新采样功能。
- 多功能数据湖与SQL接口
基于S3的Parquet data lake不仅支持Grafana可视化，还可以直接用于Python/Matlab查询和Excel报告，提供了一个全面的数据分析平台。
- 灵活的部署选项
本文主要探讨了Amazon Athena集成方案，这是由于虹科CSS的多数用户已经采用AWS S3来存储CANedge2/CANedge3设备生成的数据。
除了Athena，还可以考虑以下替代方案：
■ Grafana-ClickHouse： ClickHouse是一个开源的分析数据库，能够提供与Athena相似的性能。它支持在本地磁盘或自托管的S3兼容存储（如MinIO）上进行数据可视化，并通过Grafana的ClickHouse数据源插件轻松集成。
■ Grafana-BigQuery： 对于使用谷歌云服务的用户，BigQuery提供了一个与Amazon Athena功能相似的解决方案。通过BigQuery数据源插件，用户可以便捷地将BigQuery与Grafana集成，实现数据的可视化分析。
04 应用案例：原型车队数据可视化
一位汽车OEM的工程师负责监控50辆原型车的CAN数据，目的是进行深入的后期诊断分析。通过部署虹科CANedge3数据记录仪，工程师能够自动收集关键的车辆运行数据。
数据收集与处理
■ 自动化数据上传： 利用3G/4G蜂窝网络，虹科CANedge3设备将二进制日志文件自动上传至公司专用的AWS S3服务器。
■ 数据处理： 存储在S3 input bucket中的日志文件触发一个Lambda函数，该函数使用相应的DBC文件自动解码数据，并将解码后的数据转换为Parquet格式，存储在另一个S3 output bucket中。
数据可视化与分析
■ 定制Grafana面板： 用户现在可以利用定制的Grafana仪表板，通过Athena插件直接查询Parquet data lake中的数据。
■ 多维度分析： 这种设置为工程师提供了强大的工具，不仅可以进行实时监控，还可以进行深入的诊断、基准测试和统计分析，从而优化车辆性能和设计。
通过这种集成方案，汽车OEM能够实现数据的高效管理和分析，加速研发流程，提高原型车测试的质量和效率。
采用Grafana-Athena集成方案，虹科成功为用户实现了显著的成本节约，成本降低超过95%。这一集成不仅优化了数据管理和可视化流程，还为其他企业在处理大规模数据时提供了一种经济高效的Grafana面板可视化策略。更多相关信息，欢迎咨询虹科工作人员。
虹科是一家在通讯领域，尤其是汽车电子和智能自动化领域拥有超过15年经验的高科技公司，致力于为客户提供CAN/CAN FD、LIN、车载以太网、TSN等全方位的一站式智能互联解决方案。
