准确性。该框架在腾讯云多产品上得到了成功的应用和实践。Mozi采用多Agent模式,能够连接功能测试用例、大模型和自动化工具,从而实现高效的UI测试。
Mozi利用大模型的多模态能力,让模型根据功能测试用例步骤、封装的自动化工具函数描述以及经过处理的页面截图,生成Mozi可识别执行的伪代码并驱动自动化执行。执行结果页面和用例断言在反馈给大模型,让模型给出用例步骤断言判断,进而实现自动化的UI测试。此外,Mozi还提供了一个谷歌插件,帮助用户快速将历史功能测试用例通过录制方式转换成大模型能够准确识别和执行的用例,通过RAG构建了断言知识库,使大模型能够更好地进行功能测试用例断言优化和实际执行判断。
通过这些手段,Mozi显著提高了大模型在UI自动化测试中的表现,实现通过用例描述驱动UI自动化执行,无需编写代码。对比传统UI自动化,显著降低了写用例的门槛和维护用例的成本,断言更加全面。