学习目录
引言
标签tag
设置变量
随机执行顺序
设置监听器
输出日志目录和文件
引言
Robot Framework 提供了许多命令行选项,可用于控制测试用例的执行方式以及生成的输出。本节介绍一些常用的选项语法。
标签tag
之前文章我们介绍过,在测试套件或者测试用例中,可设置标签(tag),可以设置多个标签,它们支持AND, OR和NOT运算符,这些运算符可用于将两个或多个单独的标签或模式组合在一起通过添加参数--include(缩写为-i,指包含这些标签)或者--exclude(缩写为-e,指忽略这些标签)使用
- AND或者&
--include fooANDbar # 匹配包含标签“foo”和“bar”的测试。
--exclude x&y&z # 匹配包含标签“x”、“y”和“z”的测试。
- OR
--include fooORbar # 匹配包含标签“foo”或“bar”的测试。
--exclude xORyORz # 匹配包含任何标签“x”或“y”或“z”的测试。
- NOT
--include fooNOTbar # 匹配包含标签“foo”但不包含“bar”的测试。
--exclude xNOTyNOTz # 匹配包含标签“x”但不包含“y”或“z”的测试。
--include NOTfoo # 匹配不包含标签“foo”的测试
--include NOTfooANDbar # 匹配不包含标签 'foo' 和 'bar' 的测试
上述运算符也可以一起使用。运算符优先级从最高到最低依次为AND、OR和NOT:
--include xANDyORz # 匹配包含标签“x”和“y”或标签“z”的测试。
--include xORyNOTz # 匹配包含标签“x”或“y”但不包含标签“z”的测试。
--include xNOTyANDz # 匹配包含标签“x”的测试,但不匹配标签“y”和“z”。
举例:有四个用例,tags标签如下:
执行时添加参数--include xNOTz,匹配包含标签x,不包含标签z的用例,预期将执行CASE2。
执行后结果: 与预期结果一致
标签在实际项目中使用比较常见,可用于将一些用例归类,比如归类为功能测试、性能测试、UI测试、回归测试、冒烟测试等等一些特性方便挑选执行,也可标注一些日常版本号,比如version1.1、version1.2等区分版本号特性等等。
设置变量
可以使用--variable (缩写为-v)设置变量或者--variablefile (缩写为-V)设置变量文件。
比如在CASE1中传入变量${URL}
- 使用--variable
- 使用--variablefile
在工程test目录新建config目录,新建一个python文件,配置URL='/brotli',执行时添加参数-V config/url.py添加变量文件
随机执行顺序
可以使用选项--randomize随机化测试执行顺序
- tests
每个测试套件内的测试用例都按随机顺序执行。
- suites
所有测试套件都以随机顺序执行,但套件内的测试用例按照定义的顺序运行。
- all
测试用例和测试套件都以随机顺序执行。
- none
测试和套件的执行顺序都不是随机的。该值可用于覆盖之前使用--randomize设置的值。
举例:选中两个测试套件的用例,添加参数--randomize tests,随机执行测试用例
可以看到测试执行顺序与用例顺序不同
设置监听器
监听器可用于监视测试执行。使用--listener 命令行选项,该值可以是侦听器的路径或侦听器名称。
我们在ride中执行测试用例时,虽然没有指定监听器,但是执行命令中会包含一个监听器:
--listener D:\Python37\lib\site-packages\robotide\contrib\testrunner\TestRunnerAgent.py:65273:False
以下是上面的监听文件中定义的method:
Method | 说明 |
start_suite | 当测试套件启动时调用。传入的测试套件名和测试套件执行结果对象 |
end_suite | 当测试套件结束时调用,传入的参数与start_suite相同 |
start_test | 当测试用例开始时调用。传入的测试用例名和测试执行结果对象 |
end_test | 当测试用例结束时调用。传入的参数与start_test相同 |
output_file | 输出out_file时调用。 |
log_file | 输出log_file时调用。 |
report_file | 输出report_file时调用。 |
xunit_file | 输出xunit_file时调用。 |
debug_file | 输出debug_file时调用。 |
close | 当整个测试执行结束时调用。 |
我们自己定义一个监听文件:监听测试执行过程的一些日志ing输出到一个txt文件
import os.path
import tempfile
class PythonListener:
ROBOT_LISTENER_API_VERSION = 2
def __init__(self, filename='listen.txt'):
outpath = os.path.join(tempfile.gettempdir(), filename)
print(outpath)
self.outfile = open(outpath, 'w')
def start_suite(self, name, attrs):
self.outfile.write("%s '%s'\n" % (name, attrs['doc']))
def start_test(self, name, attrs):
tags = ' '.join(attrs['tags'])
self.outfile.write("- %s '%s' [ %s ] :: " % (name, attrs['doc'], tags))
def end_test(self, name, attrs):
if attrs['status'] == 'PASS':
self.outfile.write('PASS\n')
else:
self.outfile.write('FAIL: %s\n' % attrs['message'])
def end_suite(self, name, attrs):
self.outfile.write('%s\n%s\n' % (attrs['status'], attrs['message']))
def close(self):
self.outfile.close()
执行时添加--listener参数--listener config/PythonListener.py
执行后将会输出一些日志到上图中的listen.txt中。
输出日志目录和文件
执行时带上如下参数,定义输出日志的目录和文件名
-d, --outputdir <dir> |
-o, --output <file> |
-l, --log <file> |
-r, --report <file> |
-x, --xunit <file> |
-b, --debugfile <file> |
比如下面这些参数,执行后日志文件存放到指定的logs目录
共勉: 东汉·班固《汉书·枚乘传》:“泰山之管穿石,单极之绠断干。水非石之钻,索非木之锯,渐靡使之然也。”
-----指水滴不断地滴,可以滴穿石头;
-----比喻坚持不懈,集细微的力量也能成就难能的功劳