软件自动化测试代码覆盖率

news2025/2/26 14:29:48

在<professional software testing with visual studio 2005 team system tools for software developer>中提到了代码覆盖率,我很久没有去书店了,不知道是不是出了新的版本,觉得书里面关于代码覆盖率方面的知识有些地方没有讲,在这里补充一下。先回顾一下如何

查看代码覆盖率

 创建一个C#工程WildChar(无所谓是类型库工程还是命令行程序工程),假设我们要写一个将字符串按单词成对反转的程序。将下面的代码贴到工程的一个cs文件中:

Program.cs

public static string ReverseStringPair(string input)

{

    if (string.IsNullOrEmpty(input))

        throw new ArgumentNullException("input");

    char[] result = new char[input.Length];

    int resultIter = 0;

    ReverseStringPairImp(input, 0, result, resultIter);

    return new string(result);

}

private static void ReverseStringPairImp(string input, int inputIter, char[] result, int resultIter)

{

    // skip white space

    while (inputIter < input.Length && input[inputIter] == ' ') inputIter++;

    int[] indics = new int[2] {

        inputIter, // first word begin index,

        0 // second word begin index

    };

    for (; inputIter < input.Length; ++inputIter)

    {

        if (input[inputIter] == ' ')

        {

            if (indics[1] == 0)

                indics[1] = -1;

            else if (indics[1] > 0)

                break;

        }

        else if (input[inputIter] != ' ' && indics[1] == -1)

            indics[1] = inputIter;

    }

    // copy second word, inputIter points to the end of second word

    if (indics[1] > 0)

    {

        for (int i = indics[1]; i < inputIter; ++i)

            result[resultIter++] = input[i];

        indics[1]--;

        // copy white space

        while (indics[1] >= 0 && input[indics[1]] == ' ')

            indics[1]--;

        result[resultIter++] = ' ';

    }

    else

        indics[1] = input.Length - 1;

    // copy the first word

    for (int i = indics[0]; i <= indics[1]; ++i)

        result[resultIter++] = input[i];

    // next pair

    if (inputIter < input.Length)

    {

        result[resultIter++] = ' ';

        ReverseStringPairImp(input, inputIter, result, resultIter);

    }

}

创建单元测试用例

把鼠标放在ReverseStringPair函数的声明上(或者说第一行),点击右键,并且选择“创建单元测试”命令,一切按照默认的设置选择“确定”按钮,创建一个测试工程。

在新创建的测试工程自动添加的programtest.cs(因为类名叫做program)文件里,添加一个新测试用例:

Programtest.cs

....

[TestMethod()]

public void ReverseStringPairTest()

{

    string input = "ab cd ef gh";

    string expected = "cd ab gh ef";

    string actual = Program.ReverseStringPair(input);

    Assert.AreEqual(expected, actual);

}

单元测试用例创建好了以后,点击工具栏里面的“Run Tests in Current Context”,就能看到测试结果了,如下图所示:

启用代码覆盖率测试

只执行单元测试是不能检查代码覆盖情况的—即你创建的测试用例总共覆盖了多少行源代码。为什么需要特意开启代码覆盖率测试是有原因的,这个在文章的最后会讲到。

1.       在“解决方案浏览器(Solution Explorer)”里,双击“localtestrun.testrunconfig”文件。

2.       在弹出的“localtestrun.testrunconfig”窗口里,双击“代码覆盖率(Code Coverage)”。

3.       里面会列出好几个文件,有.dll ,也会有.exe。勾选你要测试代码覆盖率的程序,比如说你要测试WildChar工程—也就是我们的产品代码的代码覆盖率,请勾选WildChar.exe。不要勾选包含测试用例的那个dll文件,因为我们对测试代码本身的覆盖率没有任何兴趣。结果如下图所示:

4.        点击“应用(Apply)”关闭窗口。

在重新运行一下所有的测试用例,点击测试结果窗口工具栏最右边的按钮,查看代码覆盖率情况,如下图所示:

代码覆盖率是按百分比计算的,即 Visual Studio会告诉你,有百分之多少的产品代码被覆盖了,而且你也可以查看单个函数的代码覆盖率,如下图所示:

在“代码覆盖率结果”列表里双击每个函数名,你可以看到具体的代码覆盖信息,青绿色的代码是完全被覆盖到的,红色的代码是从来没有执行过的,而黄色的代码表示这一行有一部分代码被执行过—之所以说有一部分通常是因为一行代码有多个判断条件,有些条件执行了,有些却没有。如下图所示:

代码覆盖率的实现原理

看到这里,是不是有点神奇?为什么执行过一些自动化测试用例,就可以查看代码覆盖率呢?它是怎么实现的呢?

实际上我们在“localtestrun.testrunconfig”窗口里面设置查看代码覆盖率那一步时,Visual Studio悄悄地修改了WildChar.exe,在原来的IL 代码里添加了一些新的语句。

在解释之前,我们先考虑代码覆盖率的意思,代码覆盖率的意思其实就是表明有多少行代码被执行到了,因此首先要统计有多少块代码,然后再统计有多少块代码被执行了。什么叫代码块呢,代码块就是一段连续的代码。例如在program.cs里面,下面这些代码行组成一个代码块:

char[] result = new char[input.Length];

int resultIter = 0;

ReverseStringPairImp(input, 0, result, resultIter);

return new string(result);

因为上面的代码,如果不ReverseStringPairImpl 函数不抛出异常的话,就会连贯地执行下去,因为上面四行代码可以看成是一块代码(或者说是一行代码)。

而下面的代码则可以看成是两块代码:

if (indics[1] == 0)

    indics[1] = -1;

else if (indics[1] > 0)

    break;

要么是第一个if执行,要么第二个if 执行。

下面的代码会有点意思,虽然是一行代码,但是可以当作两个代码块来看待:

while (inputIter < input.Length && input[inputIter] == ' ')

1.       要么前面一个条件成立,后面的条件不成立,那么最后一个语句不执行;

2.       要么两个条件都成立,最后语句执行;

3.       要么两个条件都不成立,最后一条语句不执行。

由于第二个条件存在不被执行的机会—即我们设计的所有测试用例都导致第一个条件总是不成立,所以这也是为什么在显示代码覆盖率结果的时候,上面那行代码只有部分覆盖到的原因。

有了代码块的概念之后,在实现代码覆盖率这个功能时,我们可以用一个大的布尔数组来保存有多少块代码被执行这个信息,而布尔数组的长度呢,就是程序的代码块的个数(因为一块代码可以看成一行代码)。也就是说,我们可以把产品代码手工修改成类似下面的样子:

bool pathCovered[] = new bool[11]; // 11是统计下来程序里面代码块的个数

for ( int i = 0; i < pathCovered.Length; ++i )

      pathCovered[i] = false;

// while (inputIter < input.Length && input[inputIter] == ' ') inputIter++;

firstblock:

    bool result = inputIter < input.Length;

    pathCovered[0] = true;

    if ( result )

    {

        result = input[inputIter] == ' ';

        pathCovered[1] = true;

    }

    else

    {

        pathCovered[2] = true;

        goto secondblock;

    }

    if ( result )

    {

        pathCovered[3] = true;       

        inputIter++;

        goto firstblock;

    }

secondblock:

    pathCovered[4] = true;       

    int[] indics = new int[2] {

        inputIter, // first word begin index,

        0 // second word begin index

    };

    for (; pathCovered[5] = true, inputIter < input.Length;

           pathCovered[6] = true, ++inputIter)

    {

        pathCovered[7] = true;

        if (input[inputIter] == ' ')

        {

            pathCovered[8] = true;

            if (indics[1] == 0)

            {

                pathCovered[9] = true;

                indics[1] = -1;

            }

            else if (indics[1] > 0)

            {

                pathCovered[10] = true;

                break;

            }

        }

    }

// 统计代码覆盖率信息

int covered = 0;

for ( int i = 0; i < pathCovered.Length; ++i )

{

    if ( pathCovered[i] ) covered++;

}

return covered / pathCovered.Length;

实际上这也正是visual studio在后台为我们悄悄做的工作,当然啦,Visual Studio不会直接在原来项目编译出来的文件作更改,它会将文件(wildchar.exe)拷贝一份,然后再拷贝上进行更改,更改后的程序文件会存放在 解决方案文件夹的Test Result文件夹里以测试结果命名的文件夹中,例如我的修改过的可执行文件存放在:

E:\临时文档\WildChar\TestResults\施懿民_SHIYIMIN 2009-12-19 01_02_22\Out\

使用ILDASM.exe(或者reflector.exe)你就可以看出来,例如下面就是修改过后的IL 代码:

.method private hidebysig static void ReverseStringPairImp(string input,

                                                            int32 inputIter,

                                                            char[] result,

                                                            int32 resultIter) cil managed

{

 // Code size       1333 (0x535)

 .maxstack 5

 .locals init ([0] int32[] indics,

           [1] int32 i,

           [2] bool CS$4$0000,

           [3] int32[] CS$0$0001)

 IL_0000: call       void Microsoft.VisualStudio.Coverage.Init_c292aced4dea6d28292bbb91547781d7::Register()

// 下面就是 Visual Studio自动为我们添加的跟踪代码覆盖率的代码:

 IL_0005: ldsfld     uint32[] Microsoft.VisualStudio.Coverage.Init_c292aced4dea6d28292bbb91547781d7::m_vscov

 IL_000a: ldc.i4     0xa

 IL_000f: ldelem.u4

 IL_0010: ldc.i4     0xa

 IL_0015: add

 IL_0016: ldc.i4.1

 IL_0017: stind.i1

 IL_0018: nop

 IL_0019: br.s       IL_0033

 IL_001b: ldsfld     uint32[] Microsoft.VisualStudio.Coverage.Init_c292aced4dea6d28292bbb91547781d7::m_vscov

 IL_0020: ldc.i4     0xa

 IL_0025: ldelem.u4

 IL_0026: ldc.i4     0xb

 IL_002b: add

 IL_002c: ldc.i4.1

...

} // end of method Program::ReverseStringPairImp

使用代码覆盖率的注意事项

1.       代码覆盖率只能告诉你产品代码还有哪些地方、哪些功能模块没有测试到,或者说很仔细地测试过。不能告诉你比如测试效果是否已经足够好了,比如说代码覆盖率为100%不能说明你已经把用户的需求都考虑并且测试到了。请考虑下面的代码:

Int a = b * c;

Console.WriteLine(a);

如果b 和c的值很小的话,那么 后面的Console那句就会执行,如果我们先执行这个测试用例,那么Console那句就会被标注为已经覆盖过,而且是100%覆盖过。但是并不没有测试到b和c很大造成整数溢出异常这种情形。

2.       另外,代码覆盖率并不是自动化测试才能检查的,如果你的自动化测试用例不够,你完全可以把Visual Studio修改过的程序拷贝出来,手工执行一些测试用例。不管是自动化还是手工的测试用例,只要能够执行为覆盖的产品代码,最后 Visual Studio在统计结果的时候,都会统计进去(当然,手工用例的执行,应该在 Visual studio统计结果之前执行—通常就是一次Test Run执行完毕之前)。

Python接口自动化测试零基础入门到精通(2023最新版)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1214733.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

wpf devexpress数据统计

GridControl允许显示总结信息关于单个数据行分组。例如&#xff0c;你可以显示记录数量&#xff0c;最小和最大值。这个统计信息可以叫做数据统计。 创建统计 GridControl 支持总结和分组统计&#xff1a; 总结统计 - 一个总结函数值计算对于所有列和视图显示统计面板和固定统…

04.智慧商城——短信验证码倒计时、登录请求、响应拦截器统一处理、请求loading效果

01. 短信验证倒计时功能 (1) 倒计时基础效果 准备 data 数据 data () {return {totalSecond: 60, // 总秒数second: 60, // 倒计时的秒数timer: null // 定时器 id} },给按钮注册点击事件 <button click"getCode">{{ second totalSecond ? 获取验证码 : s…

Go 使用Viper处理Go应用程序的配置

在开发Go应用程序时&#xff0c;处理配置是一个常见的需求。配置可能来自于配置文件、环境变量、命令行参数等等。Viper是一个强大的库&#xff0c;可以帮助我们处理这些配置。 什么是Viper&#xff1f; Viper是一个应用程序配置解决方案&#xff0c;用于Go应用程序。它支持JS…

Go fsnotify简介

fsnotify是一个用Go编写的文件系统通知库。它提供了一种观察文件系统变化的机制&#xff0c;例如文件的创建、修改、删除、重命名和权限修改。它使用特定平台的事件通知API&#xff0c;例如Linux上的inotify&#xff0c;macOS上的FSEvents&#xff0c;以及Windows上的ReadDirec…

220V交流转直流的简易电源设计

220V交流转直流的简易电源设计 设计简介设计原理电路图变压器电路交流转直流电路3.3V电源接口电路 PCB3D图 实践检验 设计简介 通过模拟电路的相关知识&#xff0c;尝试将220V的交流电转化为我们指定电压的直流电。 设计原理 将220V交流电转化为直流电的方法常用的有通过变压器…

(四)什么是Vite——冷启动时vite做了什么(源码、middlewares)

vite分享ppt&#xff0c;感兴趣的可以下载&#xff1a; ​​​​​​​Vite分享、原理介绍ppt 什么是vite系列目录&#xff1a; &#xff08;一&#xff09;什么是Vite——vite介绍与使用-CSDN博客 &#xff08;二&#xff09;什么是Vite——Vite 和 Webpack 区别&#xff0…

IO流回顾与装饰者模式

目录 代码图示原理 代码 // 初始化服务器System.out.println("初始化服务器");ServerSocket serverSocket new ServerSocket(8087);System.out.println("服务器初始化成功");// 监听服务器Socket accept serverSocket.accept();System.out.println("…

vue-vuex详解

​&#x1f308;个人主页&#xff1a;前端青山 &#x1f525;系列专栏&#xff1a;Vue篇 &#x1f516;人终将被年少不可得之物困其一生 依旧青山,本期给大家带来vue篇专栏内容:vue-vuex详解 目录 Vuex 1.vuex是什么&#xff1f; 2.vuex核心概念 3.vuex模块化 4. Vuex中ac…

【Java 进阶篇】JQuery 动画:为页面添彩的魔法

在现代的Web开发中&#xff0c;用户体验的提升是至关重要的一环。而动画作为页面交互中的重要组成部分&#xff0c;更是为用户带来了全新的感官体验。本篇博客将深入探讨 JQuery 中动画的应用&#xff0c;带你进入一个充满活力的前端世界。 前言 动画是网页设计的一种重要手段…

YOLO目标检测——树叶检测数据集下载分享【含对应voc、coco和yolo三种格式标签】

实际项目应用&#xff1a;生物多样性研究、林业管理、环境监测和教育科研等方面数据集说明&#xff1a;树叶分类检测数据&#xff0c;真实场景的高质量图片数据&#xff0c;数据场景丰富&#xff0c;总共十个类别。标签说明&#xff1a;使用lableimg标注软件标注&#xff0c;标…

力扣刷题篇之数与位1

系列文章目录 目录 系列文章目录 前言 一、进制转换 总结 前言 本系列是个人力扣刷题汇总&#xff0c;本文是数与位。刷题顺序按照[力扣刷题攻略] Re&#xff1a;从零开始的力扣刷题生活 - 力扣&#xff08;LeetCode&#xff09; 一、进制转换 67. 二进制求和 - 力扣&…

(免费领源码)Java#SpringBoot#mysql高校实验室资产管理系统85189-计算机毕业设计项目选题推荐

摘 要 随着计算机技术的发展&#xff0c;特别是计算机网络技术与数据库技术的发展&#xff0c;使人们的生活与工作方式发生了很大的改观。本课题研究的高校实验室资产管理系统&#xff0c;主要功能模块包括后台首页&#xff0c;轮播图&#xff0c;公告管理&#xff0c;资源管理…

一看就会的jni,不会你来打我!

环境配置 Android Studio&#xff0c;这个不多说了。 简单说一下NDK的下载和环境变量&#xff0c;方便在Terminal里使用命令(mac版)。 下载 1.可以通过Android Studio内置的Settings-Android SDK-SDK Tools安装NDK&#xff0c;下载目录为 /Users/mac-xxx(Username)/Library…

服务号可以升级为订阅号吗

服务号和订阅号有什么区别&#xff1f;服务号转为订阅号有哪些作用&#xff1f;在推送频率上来看&#xff0c;服务号每月能推送四条消息&#xff0c;而订阅号可以每天&#xff08;24小时&#xff09;推送一条消息。如果企业开通公众号的目的是提供服务&#xff0c;例如售前资讯…

WPS文件丢失如何恢复?4个方法教你快速恢复!

“在WPS里保存了一些比较重要的文档&#xff0c;由于某些原因导致文件丢失了&#xff0c;这种情况下&#xff0c;还有办法成功恢复WPS文件吗&#xff1f;” WPS Office是许多用户在电脑上创建和编辑文档的首选工具。然而&#xff0c;有时文件会意外丢失&#xff0c;可能是由于误…

Linux_在命令行中以树状结构显示目录_tree

1、安装tree命令 使用tree命令&#xff0c;可以在命令行中以树状结构显示目录&#xff0c;当你想知道一个路径下文件的结构时十分方便&#xff0c;还有别的选项功能&#xff0c;下面会介绍其中的一些&#xff0c;完整的介绍Linux命令 - tree—LZL在线工具。 sudo apt updates…

头部厂商Q3交付量环比下滑!激光雷达,现实很骨感

由于中国自主品牌车企在高阶智驾赛道上的激进策略&#xff0c;全球激光雷达行业的走势&#xff0c;也无疑受到中国市场的影响。 本周&#xff0c;禾赛科技发布2023年度三季报&#xff0c;季度激光雷达交付量为47,440台&#xff0c;同比增长125.5%&#xff0c;其中ADAS激光雷达交…

mysql---主从复制和读写分离

主从复制 主从复制&#xff0c;修改&#xff0c;表里的数据&#xff1a;主mysql上的数据&#xff0c;新增都会同步到从mysql上面试题&#xff1a;mysql的主从复制的模式&#xff1a; 1、异步复制&#xff1a;mysql的默认复制就是异步复制。只要执行完之后&#xff0c;客户端提…

使用 Redis 构建轻量的向量数据库应用:图片搜索引擎(二)

本篇文章我们来继续聊聊轻量的向量数据库方案&#xff1a;Redis&#xff0c;如何完成整个图片搜索引擎功能。 写在前面 在上一篇文章《使用 Redis 构建轻量的向量数据库应用&#xff1a;图片搜索引擎&#xff08;一&#xff09;》中&#xff0c;我们聊过了构建图片搜索引擎的…

如何在10亿级别用户中检查用户名是否存在?

题目 不知道大家有没有留意过&#xff0c;在使用一些app注册的时候&#xff0c;提示你用户名已经被占用了&#xff0c;需要更换一个&#xff0c;这是如何实现的呢&#xff1f;你可能想这不是很简单吗&#xff0c;去数据库里查一下有没有不就行了吗&#xff0c;那么假如用户数量…