- 一、软件测试的生命周期
- 软件测试的生命周期 & 软件开发的生命周期
- 二、如何描述一个 Bug
- 三、如何定义 Bug 的级别
- 四、Bug 的生命周期
- 五、发生争执了怎么办?
- Bug 评审
一、软件测试的生命周期
软件测试的生命周期:需求分析 → 测试计划 → 测试设计、测试开发 → 测试执行 → 测试评估。
软件测试的生命周期 & 软件开发的生命周期
- 需求阶段
测试人员了解需求、对需求进行分解,得出测试需求。 - 计划阶段
根据需求编写测试计划 / 测试方案。 - 设计阶段
测试人员适当的了解设计,对于设计测试用例是很有帮助的,测试人员搭建测试用例框架,根据需求和设计编写一部分测试用例。 - 编码阶段
测试人员一般是不需要编码的,但已经编码的模块,专业的白盒测试人员可以计划执行单元测试,完善、细化测试用例以及调整测试计划和方案。 - 测试阶段
测试阶段是软件测试人员最为重要的工作阶段,根据测试用例和计划执行测试,在执行的过程中记录、管理缺陷,测试完成后编写测试报告。 - 运行维护
测试人员需要参与项目的实施工作。测试人员对项目产品的业务和操作非常了解,加上测试人员的沟通表达能力一般都比较强,所以测试人员可以参与用户使用软件的培训,在试运行项目时收集问题并及时反馈给相关负责人。
二、如何描述一个 Bug
一个合格的 Bug 描述应该包括以下几个部分:
- 发现问题的版本
开发人员需要知道出现问题的版本,才能获取到对应版本的代码来重现故障。同时版本的标识也有利于统计和分析每个版本的质量。 - 出现问题的环境
环境分为硬件环境和软件环境。如果是 web 项目,需要描述浏览器版本,客户机操作系统等。如果是 app 项目,需要描述机型、分辨率、操作系统版本等。详细的环境描述有利于故障的定位。 - 错误重现的步骤
描述问题重现的最短步骤。 - 预期行为的描述
要让开发人员指导怎么样才是正确的,尤其是要以用户的角度来描述程序的行为是怎么样的。如果是依据需求提出的故障,能写明需求的来源是最好的。 - 错误行为的描述
描述错误的现象。crash 等可以上传 log,UI 问题可以截图。 - 其它
某些公司会给一些其它的要求,例如故障的分类:功能故障,界面故障,兼容性故障等。有些优先级的分类,严重影响测试需要开发人员优先修改的,可以设置优先级为高。 - 不要把多个 Bug 放到一起
无法确认是同一段代码造成的故障时,不要将 Bug 放在一起提交。
案例:
提交了如下 Bug:
1. 在短信列表,选择一条短信,进行删除,删除失败。
2. 在短信列表,选择一条短信,进行查看,在查看页面进行删除,删除失败。
故障发现版本:VPS123941248_01
故障类别:兼容性
故障优先级:中
故障标题:IE 下界面显示异常,界面文字有重叠。
故障描述:
测试环境:WIN10 + IE8
测试步骤:1. 打开首页,点击 “通知” 链接,进入通知页面。
预期结果:通知页面显示正确,一页显示 10 条通知,按时间顺序倒序排列。
实际结果:页面显示 10 条通知,通知顺序正确,但是页面文字有重叠。
附件:上传截图。
三、如何定义 Bug 的级别
Bug 的定义每个公司都不一致,定义级别之前需要查看公司规范。
以下为示例:
- Blocker(崩溃):
阻碍开发或者测试工作的问题;造成系统崩溃、死机、死循环,导致数据库数据丢失,与数据库连接错误,主要功能丧失,基本模块缺失等问题。如:代码错误、死循环、数据库发生死锁、重要的一级菜单功能不能使用等(该问题在测试中较少出现,一旦出现应立即中止当前版本测试)。 - Critical(严重):
系统主要功能部分丧失、数据库保存调用错误、用户数据丢失,一级功能菜单不能使用但是不影响其他功能的测试。功能设计与需求严重不符,模块无法启动或调用,程序重启、自动退出,关联程序间调用冲突,安全问题、稳定性等。如:软件中数据保存后数据库中显示错误,用户所要求的功能缺失,程序接口错误,数值计算统计错误等(该等级问题出现在不影响其他功能测试的情况下可以继续该版本测试)。 - Major(一般):
功能没有完全实现但是不影响使用,功能菜单存在缺陷但不会影响系统稳定性。如:操作时间长、查询时间长、格式错误、边界条件错误,删除没有确认框、数据库表中字段过多等(该问题实际测试中存在最多)。 - Minor(次要):
界面、性能缺陷,建议类问题,不影响操作功能的执行,可以优化性能的方案等。如:错别字、界面格式不规范,页面显示重叠、不该显示的要隐藏,描述不清楚,提示语丢失,文字排列不整齐,光标位置不正确,用户体验感受不好,可以优化性能的方案等(此类问题在测试初期较多,优先程度较低;在测试后期出现较少,应及时处理)。
四、Bug 的生命周期
每个公司对 Bug 的生命周期的定义都不一致,下面只是一个常见的例子。
New:新发现的 Bug,未经过评审决定是否指派给开发人员进行修改。
Open:确认是 Bug,并且认为需要进行修改,指派给相应的开发人员。
Fixed:开发人员进行修改后标识成修改状态,等待测试人员的回归测试验证。
Rejected:开发人员认为不是 Bug,拒绝修改。
Delay:如果认为暂时不需要修改或暂时不能修改,则延后修改。
Closed:修改状态的 Bug 经过测试人员的回归测试验证通过,则关闭 Bug。
Reopen:如果经过验证 Bug 仍然存在,则需要重新打开 Bug,让开发人员重新修改。
情景案例:发现 Bug 及处理 Bug 的流程
测试人员执行测试过程中发现 Bug,测试人员创建 Bug。→ new
开发人员收到 Bug,查看是否是 Bug,是Bug。→ open
开发人员不认为这是个 Bug,开发人员就把状态改为 rejected。→ rejected(拒绝)。
修复 Bug 好了之后,修改状态为已修复。→ fixed
等待测试人员回归测试。
测试人员回归测试发现确实修复了。→ closed
如果发现没有修复好,则重新修复该 Bug。→ reopen
开发人员觉得 Bug 不着急,可以选择延后修改。→ delay
Bug 状态转换图
测试人员应该跟踪一个 Bug 的整个生命周期,从 Open 到 Closed 的所有状态。
ps.
Bug 的跟踪以及状态变更应该遵循一些基本原则:
- 测试人员对每一个缺陷的修改必须重新取一个包含更改后的代码新版本进行回归测试,确保相同的问题不再出现,才能关闭缺陷。
- 对于拒绝修改和延迟修改的 Bug,需要经过包含测试人员代表和开发人员代表、用户方面的代表(或代表用户角度的人)的评审。
五、发生争执了怎么办?
能够让开发人员解决最多 Bug 的测试人员是最优秀的测试人员。
在工作中,经常遇到测试人员和开发人员 PK,测试经理和项目经理、产品经理 PK。
作为测试人员,一般会遇到以下几种情况:
- 这不是 Bug
- 这个 Bug 的级别定高了
- Bug 影响不大,暂时不改了
遇到争执不怕,记住批判性思维:清楚准确、切题深刻、有意义,有逻辑,公正、全面。
-
先检查自身,是否 Bug 描述不清楚。
如果能真正地、高质量地录入一个 Bug,那么基本上已经成功地与开发人员沟通了一大半的关于 Bug 的信息。但是总有 “书难达意” 的时候,这时候就需要测试人员主动与开发人员沟通。如果测试人员录入 Bug 之后,好像还有很多关于 Bug 的信息没有表达出来,或者很难用书面表达意思,就应该在提交 Bug 之后,马上找相关程序员解释刚刚录入的 Bug,确保程序员明白 Bug 描述的意思,而不要等待开发人员找自己了解更多的信息。 -
站在用户角度考虑问题,应该让开发人员了解到 Bug 对用户可能造成的困扰,这样才能促使开发人员更加积极地、高质量地修改 Bug。在争执的时候,可以问一句:如果你是用户,你可以接受么?
例如:需求要求可以上传图片作为头像。开发人员上传的时候限制只能传 png 格式,站在用户角度考虑一下:png,jpg 都会使用到,难道这个功能就需要用户自己进行格式转换再继续上传吗? -
Bug 定级要有理有据。
Bug 定级时,不仅仅要参考 Bug 级别,还要考虑 Bug 是否会影响到流程,往往用户的 Bug 级别和我们的是有区别的,需要站在用户的角度考虑定位级别。 -
提高自身的技术和业务水平,不光要提出问题,最好也能提出解决方案。
提高自身的业务和技术水平,不但要做到能提出问题,还能提出解决问题的思路。这样才能更加让人信服。
在工作中,你会发现同一个 Bug,资深测试工程师提出和初级测试工程师提出,两者的结果完全不同,两者最大的差别是资深工程师往往会提出解决方案。而长此以往,权威性渐渐地建立起来,那么开发人员看到 Bug 的第一反应,就是这确实是一个 Bug,而不会怀疑这是不是一个 Bug。
情景案例:
某网站经常隔几天访问时会出现500错误,但是之后就不会复现。
初级测试人员会提出问题:网站偶发性出现500错误。
开发人员回答:不常见,不影响使用,暂不修改
资深测试人员提出问题:网站偶发性500错误,查看日志,是由于mysql数据库8小时超时问题造成。需要修改连接池配置定期校验连接。
开发人员处理:修改xml,增加校验配置项
- 开发人员不接受时,不要争吵。
若是通过多轮沟通,开发人员还是不接受,此时可以发起 Bug 评审。
Bug 评审
Bug 评审要注意的问题,缺陷评审应该包括以下两个层面:①决定如何处理 Bug。②分析缺陷产生的原因,找出预防的对策。
① 决定如何处理 Bug。
这一方面评审需要项目组各个方面的代表参加,通常不可缺少的是测试代表、开发代表、产品代表。
测试代表:主要从 Bug 的具体表现、严重程度等方面提供信息,并提出自己对 Bug 的处理意见。需要注意的是,测试人员不应该一味地要求对 Bug 进行修改,因为修改可能带来回归的风险,同时带来的是回归测试的工作量,如果时间比较紧迫,修改后剩余的时间若不足够做一次有效的回归测试,可能不修改是个明智的选择。
开发代表:主要从修改缺陷的难度和风险出发,考虑缺陷修改需要付出的代价,以及可能影响的范围、可能引发的风险等,如果决定要修改,还要讨论出修改的初步方案。
产品代表:主要从产品的整体计划、用户的要求等方面对缺陷的修改必要性、缺陷修改的时间和版本提出自己的意见。
这在微软的做法叫 “Bug 三方讨论会”,参加者一般是测试人员、开发人员和项目经理。
②分析缺陷产生的原因,找出预防的对策。
缺陷评审还应该包括原因分析,找出 Bug 出现的原因,尤其是那些重复出现的 Bug。应该找出出现错误的根源,并且制定出相应的预防措施,确保同类型的 Bug 不再出现。例如:有些 Bug 出现的原因不是简单的 “引用为空” 之类,而是开发人员的编码不规范或者编程习惯不好而导致的,所以必须建立起正确的编程方式才能预防这种错误的发生。