6. 测试的分类以及黑盒测试、白盒测试和黑盒测试的区别

1. 按照测试对象划分

1.1 界面测试

1.2 可靠性测试

1.3 容错性测试

1.5 兼容性测试

1.6 易用性测试

1.7 安装卸载测试

1.8 安全性测试

1.9 性能测试

1.10 内存泄漏测试

2. 按是否查看代码划分

2.1 黑盒测试（Black-box Testing）

优点

缺点

2.2 白盒测试（White-box Testing）

练习：针对冒泡排序代码进行测试

优点

缺点

2.3 灰盒测试（Gray-box Testing）

3. 按开发阶段划分

3.1 单元测试

3.2 集成测试（Integration Testing）

3.3 系统测试

3.4 回归测试

3.5 冒烟测试

3.6 验收测试

4. 按照实施组织划分

4.1 α测试

4.2 β测试

α测试与Beta测试的区别

4.3 第三方测试

5. 按照是否运行代码划分

5.1 静态测试

5.2 动态测试

6. 按照是否手工划分

6.1 手工测试

6.2 自动化测试

7. 按照地域划分

7.1 国际化测试

7.2 本地化测试

在前面的文章中，我们主要介绍了如何设计测试用例：

功能相关	物体：日常生活中使用这个物体做什么软件：软件可以进行哪些操作
界面	物体：外观软件：界面布局、字体大小、空间等是否符合预期
易用性	物体：符合人体工学软件：操作简单
性能	物体：使用寿命、抗压性、耐摔性等软件：软件并发数、性能响应时间等
安全	物体：物体材质是否有健康隐患软件：SQL 注入、xss 漏洞，黑客攻击
兼容	物体：除了本质能力是否有其他作用软件：版本、操作系统、平台

本篇文章我们主要介绍测试的分类，总体上看测试的分类如下图所示：

1. 按照测试对象划分

1.1 界面测试

界面重要性：界面的设计决定了用户对我们设计的软件的第一印象，用户使用/操作软件都是通过软件界面进行操作。

界面测试（简称 UI 测试 ) ，指按照界面的需求（一般是 UI 设计稿）和界面的设计规则，对我们软件界面所展示的全部内容进行测试和检查，一般包括如下内容：

验证界面内容显示的完整性，一致性，准确性，友好性。比如界面内容对屏幕大小的自适应，换行，内容是否全部清晰展示；
验证整个界面布局和排版是否合理，不同板块字体的设计，图片的展示是否符合需求（参考标准：UI 设计稿）；
对界面不同控件的测试，比如，对话框，文本框，滚动条，选项按钮等是否可以正常使用，有效和无效的状态是否设计合理；
界面的布局和色调符合当下时事的发展。

那么常见的页面错误有哪些呢？

重叠，截断，文字不合理自动换行等 。

图片展示颜色不符合预期

文字大小不符合预期

页面出现错别字

...

1.2 可靠性测试

可靠性（ Availability ）即可用性，是指系统正常运行的能力或者程度，一般用正常向用户提供软件服务的时间占总时间的百分比表示。

可靠性 = 正常运行时间/（正常运行时间+非正常运行时间）*100%

系统非正常运行的时间可能是由于硬件，软件，网络故障或任何其他因素（如断电）造成的，这些因素能让系统停止工作，或者连接中断不能被访问，或者性能急剧降低导致不能使用软件现有的服务等。

可用性指标一般要求达到4个或5个“9”，即99.99%或者99.999%

如果可用性达到99.99%，对于一个全年不间断（7*24的方式）运行的系统，意味着全年（252600min) 不能正常工作的时间只有52min，不到一个小时。

如果可用性达到 99.999% ，意味着全年不能正常工作的时间只有 5min 。

1.3 容错性测试

容错性测试是指系统能够处理异常，用户的错误操作而不至于系统崩溃，从而能够提高系统的可用性。容错性测试包含以下方面：

输入异常数据或进行异常操作，以检验系统的保护性。如果系统的容错性好，系统只给出提示或内部消化掉，而不会导致系统出错甚至崩溃。比如数据级测试，校验测试，环境容错性测试，界面容错性测试
灾难恢复性测试：通过各种手段，让软件强制性地发生故障，然后验证系统已保存的用户数据是否丢失，系统和数据是否能尽快恢复。

1.4 文档测试

国家有关计算机软件产品开发文件编制指南中共有 14 种文件，可分为 3 大类：

开发文件
用户文件
管理文件

测试人员经常接触的文档有哪些？

需求文档（软件规格说明书，prd）
技术文档
UI设计稿

1.5 兼容性测试

兼容性测试需求是指明确要测试的兼容环境，考虑软，硬件的兼容，就软件兼容来说，主要考虑以下几个方面：

系统自身版本的兼容，用户已有数据的兼容，数据兼容是重中之重，对用户来说，数据是最有价值的
测试与应用环境的兼容性，比如操作系统，应用平台，浏览器的兼容
测试与第三方系统以及第三方数据的兼容性

APP：手机品牌、手机操作系统（安卓、IOS）

PC 端的应用程序：电脑品牌、电脑操作系统（Linux、mac、windows）

web 应用程序：浏览器版本（Edge、IE、chrome、firefox）

第三方 APP 兼容：比如如果安装了软件 A 就不能安装软件 B 的情况。

1.6 易用性测试

许多产品都应用人体工程学的研究成果，使产品在使用起来更加灵活和舒适。软件产品也始终关注用户体验，让用户获得舒适、易用的体验，针对软件这方面的测试称之为易用性测试。

易用性包含七个要素：符合标准和规范，直观性，一致性，灵活性，舒适性，正确性和实用性。

1.7 安装卸载测试

应用的安装和卸载在任何一款 APP 中都属于最基本功能。一旦出错，就属于优先级为紧要 Critical 的缺陷。主要需要考虑以下方面：

软件不同的安装和卸载方式；
应用是否可以在不同的环境系统，版本下安装（安装兼容性）
安装或者卸载过程中是否可以手动暂停，或者取消
安装空间不足的时候系统是否有提示
是否可以正常的卸载，以及应用软件的各种卸载方式
卸载和安装过程中出现环境问题，软件是否可以正常并且合理的应对，比如死机，断电，断网等

安装：软件可以通过应用市场、下载 apk、网络、通过技术指令进行安装。

卸载：长安点击卸载、删除安装路径下的文件、通过技术指令进行卸载。

1.8 安全性测试

安全性是指信息安全，是指计算机系统或网络保护用户数据隐私、完整，保护数据正常传输和抵御黑客、病毒攻击的能力。安全性测试属于非功能性测试很重要的一个方面，系统常见的安全漏洞和威胁如下：

输入域，如输入恶性或者带有病毒的脚本或长字符串；
代码中的安全性问题，如SQL/XML注入
不安全的数据存储或者传递
数据文件，邮件文件，系统配置文件等里面有危害系统的信息或者数据；
有问题的访问控制，权限分配等
假冒ID：身份欺骗
篡改，对数据的恶意修改，破坏数据的完整性

安全性测试的方法有代码评审，渗透测试，安全运维等，常用的静态安全测试工具有， Coverity ， IBM Appscan Source， HPFortify ，常用的动态安全测试有 OWASP 的 ZAP ， HP WebInspect 等。其中静态安全测试是常用的安全性测试的方法。

1.9 性能测试

我们在使用软件的时候有时会碰到软件网页打开时越来越慢，查询数据时很长时间才显示列表，软件运行越来越慢等问题，这些问题都是系统的性能问题引起的。常见的性能问题如下：

资源泄露
资源瓶颈
线程死锁，线程阻塞
查询速度慢或效率低
受外部系统影响越来越大

衡量一个系统性能好坏的关键性指标有：用户响时间、事务平均响应时间（TPS）、吞吐率、每秒点击次数、内存和CPU使用率等。

1.10 内存泄漏测试

造成内存泄露的原因有很多，最常见的有以下几种：

分配完内存之后忘了回收
程序写法有问题，造成没办法回收（如死循环造成无法执行到回收步骤）
某些API函数的使用不正确，造成内存泄露

内存泄漏的检测方法：

人工静态法：代码走读，人工查找未被回收的内存
自动工具法：借助相应测试内存泄漏的工具，如Visual Leak Detector，记录每次内存分配，清楚告诉用户内存是如何泄漏的

2. 按是否查看代码划分

2.1 黑盒测试（Black-box Testing）

黑盒测试不关心内部代码实现，而是通过一些科学的手段，给测试系统发起测试数据，如果预期结果和执行结果一样，此时说明测试通过。黑盒测试又称之为数据驱动测试，只注重软件的功能。

黑盒测试用到的测试方法有：等价类、边界值、判定表、正交表、场景设计法、错误猜测法。

优点

不需要了解程序内部的代码以及实现，不关注软件内部的实现。
从用户角度出发设计测试用例，很容易的知道用户会用到哪些功能，会遇到哪些问题，锻炼测试人员的产品思维
测试用例是基于软件需求开发文档，不容易遗漏软件需求文档中需要测试的功能。

缺点

黑盒测试的缺点是不可能覆盖所有代码，即代码覆盖率较低。

2.2 白盒测试（White-box Testing）

白盒测试又称为结构测试或逻辑测试，它一般用来分析程序的内部结构，针对程序的逻辑结构来设计测试用例进行测试。

白盒测试的测试目的是：通过检查软件内部的逻辑结构，对软件中的逻辑路径进行覆盖测试；在程序不同地方设立检查点，检查程序的状态，以确定实际运行状态与预期状态是否一致。

白盒测试主要包含六种测试方法：语句覆盖、判定覆盖、条件覆盖、判定条件覆盖、条件组合覆盖、路径覆盖。

语句覆盖：一行代码就是一条语句，测试的时候需要走完所有的语句。

判定覆盖：根据判定语句，执行判定结果为真的语句（ACE、ABD）。

条件覆盖：所有的条件为真为假都需要遍历到。

判定条件覆盖：判定覆盖和条件覆盖的结合。

条件组合覆盖：判定条件的任意组合。

路径覆盖：将所有路径覆盖到（ABD、ABE、ACD、ACE）。

练习：针对冒泡排序代码进行测试

1. 参数数量、参数类型、数组长度

2. 循环遍历到、条件遍历到、语句都得覆盖到

3. 异常捕获

4. 代码编写风格

优点

代码覆盖率比较高。

缺点

由于白盒测试只是针对某个单元进行测试，当每个单元测试无误时，并不能保证整合在一起的最终业务也测试无误，即白盒测试业务功能覆盖不高。

在介绍完黑盒测试和白盒测试后，有一个问题，白盒测试和黑盒测试哪个好呢？

=> 没有哪个好哪个不好，只要符合当前业务能够保证软件质量的测试方法，就是一个好的测试方法。

2.3 灰盒测试（Gray-box Testing）

灰盒测试是介于白盒测试和黑盒测试之间的一种测试。灰盒测试多用于集成测试阶段，不仅关注输出输入的正确性，同时也关注程序内部的情况。

3. 按开发阶段划分

3.1 单元测试

单元测试是对软件组成单元进行测试。其目的是检验软件基本组成单位的正确性。测试的对象是软件设计的最小单位：模块，又称为模块测试。

测试阶段：编码后或者编码前（TDD）

测试对象：最小模块

测试人员：白盒测试工程师或开发工程师

测试依据：代码和注释 + 详细设计文档

测试方法：白盒测试

测试内容：模块接口测试、局部数据结构测试、路径测试、错误处理测试、边界测试

3.2 集成测试（Integration Testing）

集成测试也称联合测试（联调）、组装测试，将程序模块采用适当的集成策略组装起来，对系统的接口及集成后的功能进行正确性检测的测试工作。集成主要目的是检查软件单位之间的接口是否正确。

测试阶段：一般单元测试之后进行

测试对象：模块间的接口

测试人员：白盒测试工程师或开发工程师

测试依据：单元测试的模块 + 概要设计文档

测试方法：黑盒测试与白盒测试相结合

测试内容：模块之间数据传输、模块之间功能冲突、模块组装功能正确性、全局数据结构、单模块

缺陷对系统的影响

3.3 系统测试

将软件系统看成是一个系统的测试。包括对功能、性能以及软件所运行的软硬件环境进行测试。

测试阶段：集成测试通过之后

测试对象：整个系统（软、硬件）

测试人员：黑盒测试工程师

测试依据：需求规格说明文档

测试方法：黑盒测试

测试内容：功能、界面、可靠性、易用性、性能、兼容性、安全性等

3.4 回归测试

回归测试是指修改了旧代码后，重新进行测试以确认修改没有引入新的错误或导致其他代码产生错误 。在整个软件测试过程中占有很大的工作量比重，软件开发的各个阶段都会进行多次回归测试。随着系统的庞大，回归测试的成本越来越大，通过选择正确的回归测试策略来改进回归测试的效率和有效性是很有意义的。

3.5 冒烟测试

冒烟测试的对象是每一个新编译的需要正式测试的软件版本，目的是确认软件主要功能和核心流程正常，在正式进行系统测试之前执行。冒烟测试一般在开发人员开发完毕后提交给测试人员来进行测试时，先进行冒烟测试，保证基本功能正常，不阻碍后续的测试。

如果冒烟测试通过，则测试人员开始进行正式的系统测试，如果不通过，则测试人员可以让开发人员重新修复代码直到冒烟测试通过，再开始进行系统测试。

回归测试和冒烟测试都属于系统测试。

需求 -> 设计测试用例 ->（包含冒烟测试用例） -> 测试用例评审 -> 开发提测（开始测试） -> 执行测试（执行冒烟测试） -> 正式测试 -> ...

3.6 验收测试

验收测试是部署软件之前的最后一个测试操作。它是技术测试的最后一个阶段，也称为交付测试。验收测试的目的是确保软件准备就绪，按照项目合同、任务书、双方约定的验收依据文档，向软件购买都展示该软件系统满足原始需求。

测试阶段：系统测试通过之后

测试对象：整个系统（包括软硬件）

测试人员：主要是最终用户或者需求方

测试依据：用户需求、验收标准

测试方法：黑盒测试

测试内容：同系统测试 ( 功能 ... 各类文档等 )

4. 按照实施组织划分

4.1 α测试

α 测试是由一个用户在开发环境下进行的测试，也可以是公司内部的用户在模拟实际操作环境下进行的测试。

α测试的目的是评价软件产品的FLURPS(即功能、局域化、可使用性、可靠性、性能和支持)。

大型通用软件，在正式发布前，通常需要执行 Alpha 和 Beta 测试。 α 测试不能由程序员或测试员完成。

4.2 β测试

Beta 测试是一种验收测试。 Beta 测试由软件的最终用户们在一个或多个场所进行。

α测试与Beta测试的区别

测试的场所不同：Alpha测试是指把用户请到开发方的场所来测试，beta测试是指在一个或多个用户的场所进行的测试。
Alpha测试的环境是受开发方控制的，用户的数量相对比较少，时间比较集中。beta测试的环境是不受开发方控制的，用户数量相对比较多，时间不集中。
alpha测试先于beta测试执行。通用的软件产品需要较大规模的beta测试，测试周期比较长。

4.3 第三方测试

介于开发和用户方间的组织的测试。

5. 按照是否运行代码划分

5.1 静态测试

所谓静态测试（ static testing ）就是 不实际运行 被测软件，而只是 静态地检查程序代码、界面或文档 中可能存在的错误的过程。不以测试数据的执行而是对测试对象的分析过程 ，仅通过分析或检查源程序的设计、内部结构、逻辑、代码风格和规格等来检查程序的正确性。

5.2 动态测试

动态测试（ dynamic testing ），指的是 实际运行被测程序，输入相应的测试数据，检查实际输出结果 和预期结果是否相符 的过程，所以判断一个测试属于动态测试还是静态的，唯一的标准就是看是否运行程序。

大多数软件测试工作都属于动态测试。

6. 按照是否手工划分

6.1 手工测试

手工测试就是由人去一个一个的输入用例，然后观察结果，和机器测试相对应，属于比较原始但是是必须的一个步骤。总结优缺点：

优点：自动化无法替代探索性测试、发散思维结果的测试。

缺点：执行效率慢，量大易错。

6.2 自动化测试

就是在预设条件下运行系统或应用程序，评估运行结果，预先条件应包括正常条件和异常条件。简单说自动化测试是把以人为驱动的测试行为转化为机器执行的一种过程。

自动化测试比如功能测试自动化、性能测试自动化、安全测试自动化。

自动化测试按照测试对象来分，还可以分为接口测试、 UI 测试等。

接口测试的 ROI （产出投入比）要比 UI 测试高。

自动化实施步骤：

1.完成功能测试，版本基本稳定

2.根据项目特性，选择适合项目的自动化工具，并搭建环境

3.提取手工测试的测试用例转化为自动化测试的用例

4.通过工具、代码实现自动化的构造输入，自动检测输出结果是否符合预期

5.生成自动测试报告

6.持续改进，脚本优化。

7. 按照地域划分

7.1 国际化测试

软件的国际化和软件的本地化是开发面向全球不同地区用户使用的软件系统的两个过程。

本地化和国际化测试与其他类型的测试存在很多不同之处。

下面是本地化和国际化测试的一些要点：

1 、本地化后的软件在外观上与原来版本是否存在很大的差异，外观是否整齐、不走样。

2 、是否对所有界面元素都进行了本地化处理，包括对话框、菜单、工具栏、状态栏、提示信息（包括声音的提示）、日志等。

3 、在不同的屏幕分辨率下界面是否正常显示。

4 、是否存在不同的字体大小，字体设置是否恰当。

5 、日期、数字格式、货币等是否能适应不同国家的文化习俗。例如，中文是年月日，而英文是月日年。

6 、排序的方式是否考虑了不同语言的特点。例如，中文按照第一个字的汉语拼音顺序排序，而英文按照首字母排序。

7 、在不同的国家采用不同的度量单位，软件是否能自适应和转换。

8 、软件是否能在不同类型的硬件上正常运行，特别是在当地市场上销售的流行硬件上。

9 、软件是否能在 Windows 或者其他操作系统的当地版本上正常运行。

10 、联机帮助和文档是否已经翻译，翻译后的链接是否正常。正文翻译是否正确、恰当，是否有语法错误。

软件本地化和国际化测试是一个综合了翻译行业和软件测试行业的测试类型。它要求测试人员具备一定的翻译能力、语言文化，同时具备测试人员的基本技能。

7.2 本地化测试

之前我们所讲的全是本地化测试。