说起嵌入式软件测试,我们先快速了解一下嵌入式软件自身的特点。嵌入式软件具有实时性、内存空间有限、I/O通道少,而且要求功耗低、高可靠性,对成本也比较敏感,和硬件关联性强等特点。因此,嵌入式软件的测试与一般商用软件的测试有较大的区别。
嵌入式软件开发和运行的环境完全不一样,是分开的,开发在Windows/Mac OS桌面客户端(宿主机环境)上进行,而运行的环境是在目标机环境上,即一般是基于Linux/Android内核开发的嵌入式操作系统或像RT-thread那样的实时操作系统,支持ARM CPU、 MCU 和 蓝牙芯片等低功耗的关键硬件。
嵌入式软件的单元测试一般在宿主机环境下进行,只是在个别情况下(如目标机编译器可能有缺陷)会要求在目标机环境下进行,所以在单元测试上,嵌入式软件和一般商用软件的之间差别比较小。不过,嵌入式软件的单元测试对代码的质量要求比较高,一般要求达到MC/DC覆盖率。
嵌入式软件的集成测试,一般指与目标机的硬件环境集成,也可以和仿真环境集成,这时需要做相应的硬件兼容性测试。 但到了系统测试、配置项测试或确认测试,一般就会在目标机环境下执行,这时和一般商用软件的测试有较大的差别。
由于嵌入式系统的实时性,其测试应充分考虑系统实时响应的问题,其响应时间一般要求在毫秒级别,其对应的负载测试少不了。在对目标机进行测试时,一般需要对在宿主机上编译通过的代码进行插桩处理。
这样可以在目标机执行程序的时候,将插桩时预测好的数据返回到宿主机上进行分析,因此,宿主机和目标机之间的数据传输也要认真对待。
除此之外,我们需要制定符合系统需求的可靠性级别和安全级别,进行相应的可靠性测试和安全性测试。嵌入式软件测试工具,开源工具比较少,多数是商业工具,而且往往成套,覆盖系统功能、性能分析和安全性测试。
俗话说:“工欲善其事必先利其器。”想要实现软件自动化测试,首先就要有测试工具,为大家推荐几款常用的或好用测试工具:
- ETest Studio
- Klocwork
- Hitex TESSY
- Rapita Verification Suite
- Squish
- Trinity DT10
- VectorCAST
- ETest Studio
一款国产化黑盒测试工具,可以做配置项测试和系统测试,包括测试资源管理、环境描述、接口协议定义、用例设计、实时数据监控、测试任务管理等功能。
- 提供各类控制总线和仪器接口API,可由开发人员集成各类通用接口板卡和用户自定义的接口板卡。支持的I/O类型包括:RS232/422/485、1553B、CAN、TCP、UDP、AD、DA、DI、DO、ARINC429等,并可灵活扩展;
- 支持对待测系统及其外围环境、接口情况等进行可视化仿真建模设计,如提供Matlab/Simulink集成接口,可实现现有仿真模型的开发和利用,支持仿真模型实时代码的生成和运行;
- 提供接口协议描述语言(DPD语言)及其编辑编译环境;
- 可通过表格、仪表、曲线图、状态灯等虚拟仪表实时监测接口数据;
- 可按二进制、十进制、十六进制监测输入与输出的原始报文并查询过滤;
- 测试脚本支持时序测试和多任务实时测试,具有可自动生成满足不同组合覆盖要求测试数据的功能;
- 提供实时内核模块,可实现高可靠性强实时测试,响应时间<=1ms,同步传送和抖动时间小于10us。上位机和下位机分别采用Windows和实时操作系统。
Klocwork
Klocwork是一款支持百万行甚至千万行以上的C/C++/Java/JS/C#代码质量静态检测工具。
利用领先的深度数据流分析技术,静态地跨类、跨文件地查找软件运行时缺陷、错误和安全漏洞,并准确定位错误发生的代码堆栈路径。
- Klocwork支持自动化扫描1000多种代码缺陷,包括空指针、资源及内存泄漏、未捕获的异常、除零等,全面检测代码质量问题
- Klocwork提供全面的安全规则扫描能力,支持CWE, OWASP, CERT, PCI DSS, DISA STIG, 和ISO/IEC TS 17961等标准,深度数据流分析能力强、准确率高、漏报率低
- 支持常用的IDE,如Eclipse, Visual Studio, IntelilJ Idea等,并与CI/CD工具和集成、B/S+C/S部署方式
- Klocwork支持静态检测软件应用的安全漏洞,包括SQL注入、被污染的数据、缓存溢出、弱代码实现及其它多种常见应用安全漏洞
- Hitex TESSY
Tessy 源自戴姆勒- 奔驰公司的软件技术实验室,由德国Hitex 公司负责全球销售及技术支持服务,是一款专门针对基于C/C++开发的嵌入式软件进行单元/ 集成测试的工具。
Hitex TESSY
Tessy 源自戴姆勒- 奔驰公司的软件技术实验室,由德国Hitex 公司负责全球销售及技术支持服务,是一款专门针对基于C/C++开发的嵌入式软件进行单元/ 集成测试的工具。
Tessy 也可以满足各类标准( 如ISO26262、IEC61508、EN 50128/50129 等)对测试的需求,而工具自身也通过了TUV 的认证,证明该软件是安全可靠的。
主要功能有:
- 自动生成测试环境、一键执行及评估结果
- 便捷的测试用例设计方式,如集成了分类树编辑器CTE,支持导入导出多种格式的测试用例
- 通过分析源文件自动识别函数及相关接口,在接口发生变更时,支持通过简便的操作进行测试数据复用,实现高度自动化的回归测试
- 提供分支覆盖、MC/DC、多条件覆盖MCC等多种覆盖度分析。
Rapita Verification Suite (RVS)
RVS是一套面向嵌入式软件的测试工具集,支持MC/DC覆盖率分析,满足DO-178C和ISO 26262认证要求。
其中RapiTest具有易于编写和易于审查但功能丰富的测试格式,以及创建多线程测试和测试代码元素(如泛型和私有类型)的能力(无需编写源代码)。
- 单元、集成和系统测试的生成和执行 - RapiTest
- 结构性代码覆盖率分析 - RapiCover
- 执行时间分析 - RapiTime
- 调度分析 - RapiTask
Squish
Froglogic公司的Squish是广受欢迎的跨平台、多技术融合的GUI 测试工具,尤其是对如下应用提供专业和全面的支持:Qt、Java GUIs、Web、Linux、Windows、IOS和android等。
Squish支持BDD、数据驱动、 分布式批量测试和视觉验证等,识别自定义的控件或2D/3D图像,支持多种脚本语言:Python、Perl、JavaScript、Ruby和Tcl,平台有两大产品:
- Squish:自动化GUI测试
- Squish CoCo:代码覆盖率分析
DT10
DT10(Dynamic Test Tool DT10 )是一款支持C/C++, C#, Java等多种语言的软件灰盒测试和系统动态跟踪调试工具,利用领先的自动化代码插装和数据采集技术,支持对软件系统的复杂的、偶发的缺陷的回溯调试、性能测试、CPU负载分析、变量监控、逻辑分析、内存使用分析、硬件监测和分析,及覆盖率分析等灰盒测试场景。
DT10由硬件设备Dynamic Tracer和PC端软件两个主要部分组成,软件部分负责源码插装、数据处理和结果分析等,硬件部分复杂接口、信号采集和数据通讯。。强大的缺陷回溯定位能力
- 支持跟踪和检测软件执行过程中的路径、变量和各种中间状态
- 支持监测和分析系统运行过程中的硬件状态并和软件状态同步分析
- 支持长达一个月的长时间不间断测试,实时动态更新的覆盖率分析
- 性能测试功能可以细化任意代码模块,并精确到ns
- 不依赖于被测系统的CPU和OS类型
- 支持串口、以太网口、异步总线、GPIO, SPI, SD卡和CAN总线等丰富的接口类型
VectorCAST
VectorCAST是适用于嵌入式软件应用的高可靠性和高安全性软件的自动化动态测试工具链,适用于单元测试、集成测试、覆盖率分析、回归测试、静态分析、系统测试和质量分析等软件测试所涉及的各个环节。
支持C/C++和Ada语言,内建多种智能的自动化测试用例生成算法,符合多种行业认证的标准,如DO-178B/C, ISO 26262, ASPICE, IEC 61508, En 50128, IEC 62304, IEC 60880等。
自动化工具故障排除
流行的测试自动化工具非常大且复杂,在项目开始使用它们之前,它要求测试人员具有有关工具本身的详细技术知识。在我以前的项目中,我经常遇到诸如
- 该脚本在测试结果中显示了一些错误,但根据业务需求,该应用程序运行正常。
- 该脚本显示成功,但是该应用程序引发了一些实时错误。 这些在行业中被称为误报和误报的情况通常发生在测试人员没有足够的知识来配置测试脚本时。他们只是继续使用模板,并期望测试能够成功运行。如果您想成为一名成功的自动化测试人员,则应该具有配置工具的详细知识,以及在出现误报和误报之类的情况时如何对它们进行故障排除。 特别是,如果您是测试负责人,则必须确保应用程序的体系结构与用于运行自动化测试的工具兼容。尝试使用与应用程序不兼容的工具将导致测试用例失败和无法预料的错误,可能难以排除故障。
大概说下我的心得
我们不管什么软件,无论是嵌入式还是一般传统的软件,在做自动化之前,我个人认为你先应该去分析整个软件的架构,是否合适自动化。
因为一般情况下自动化测试最好的就是在多次频繁迭代的时候,像很多互联网的软件迭代周期比较快,甚至有些节奏特别快的企业都有单双周迭代,每一次迭代之后,测试员不得不把以前的老功能重复去执行一次这时候,这个时候引入自动化测试,我们也会大大降低了成本。
这样投入与产出比最高!!!
还有一个稳定的项目,很多业务已经趋于稳定的时候,我们这个时候部分变动不频繁的功能实现自动化,也会大大的降低了时间成本。
当你已经对手动测试的所有过程都了如指掌,且把各个子过程都实现了。这时候你可以考虑全自动化了。学习一个自动化框架,然后把自己的积木填装进框架里。然后再调试下框架,一个无人值守一键程序就出来了。
以上是整个过程的大致步骤,具体怎么做,你需要自己摸索出来。如果你从零开始,就从做个小工具开始,把工作中的一部分半自动化吧。
最后感谢每一个认真阅读我文章的人,礼尚往来总是要有的,虽然不是什么很值钱的东西,如果你用得到的话可以直接拿走:
这些资料,对于【软件测试】的朋友来说应该是最全面最完整的备战仓库,这个仓库也陪伴上万个测试工程师们走过最艰难的路程,希望也能帮助到你!有需要的小伙伴可以点击下方小卡片领取