摘要
近年来，创新的生成式人工智能软件已成为重要的辅助工具，使用户能够快速生成内容并获取灵感。文本到图像（Text-to-Image, T2I）软件是最广泛使用的此类软件之一，它通过跨模态过程将文本输入转换为图像。然而，尽管T2I引擎取得了显著进展，但在生成复杂或非真实的场景时，T2I软件仍会出现错误，例如遗漏关键元素、图像真实感较低以及文本与图像信息不匹配等问题。T2I软件的跨模态特性使得传统测试方法难以检测错误，而缺乏测试“预言机”（即用于验证结果的工具）进一步增加了测试的复杂性。为了解决这一难题，我们提出了ACTesting——一种针对文本到图像软件的自动化跨模态测试方法，这是首个专为T2I软件设计的测试方法。ACTesting利用变形测试（Metamorphic Testing）原理来解决“预言机”问题，并通过实体关系（Entity-relationship, ER）三元组来识别跨模态语义一致性作为其核心的变形关系（Metamorphic Relation, MR）。在MR的指导下，我们设计了三种变异操作符，并结合适应性密度约束来生成新的输入文本。基于生成的图像，ACTesting通过检测两种模态之间的ER三元组来验证MR是否得到满足，从而发现T2I软件的错误。在针对五种流行T2I软件的实验中，ACTesting有效生成了能够揭示错误的测试用例，与基线相比，文本与图像的一致性降低了多达20%。此外，消融研究进一步证明了所提出的变异操作符的有效性。实验结果验证了ACTesting能够可靠地识别T2I软件中的错误。
