《2》智能性:测试控制Agent能够根据用户选择的测试目标,自动生成ECA规则表,并根据ECA规则,进行推理并采取相应的动作。测试控制Agent还能根据异常处理规则来处理测试过程中发身的异常,保障测试过程的自动,平稳进行。
3.5网络环境Agent
网络环境Agent 实现了对网络环境的模拟和控制。为了测试手机的射频性能,通常使用基站模拟系统来提供设备所处的无线网络环境,并且利用编程接口,通过软件对设备的环境进行控制,使得复杂网络环境下对目标设备的测试成为可能。
4系统评估
为了评价本系统的有效性,我们设计了一个比较实验。试验在信息产业部泰尔实验室真实的测试项目中进行。我们将测试工程师分为两组,第一组使用本文的系统MobileTest进行测试,第二组使用业界著名的TestQuest Pro 进行测试。测试的依据是中国通讯行业标准的数字移动台测试部分。测试的内容是根据这两个系统各自已经建立好的回归测试用例对新的智能手机进行回归测试,从而比较这两个测试工具的测试效率和脚本的可维护性。
自动化的测试用例
的比例 TestQuest MobileTest
功能测试 71% 61%
压力测试 42% 47%
多状态测试 38% 68%
多任务测试 25% 35%
临界测试 29% 61%
自动化比例总计 38% 52%
测试时间(日) 18 15
实验度量了两个工具在测试不同种类的测试用例时,自动化执行的用例所占的百分比。从表中可见,虽然TestQuest 在功能测试上有更高的自动化率,在压力测试,多状态测试,多任务测试,临界测试和总计中,MobileTest有更好的测试覆盖率。这是因为在后四种测试中,测试用例需要不断追踪系统的状态,使用图片比对机制的TestQuest 很难完成这些工作,而MobileTest 却能使用Agent返回的敏感事件来进行处理。此外,MobileTest 完成测试任务的时间时15天,比TestQuest 的测试效率要高。