ARAFA：LLM生成的阿拉伯语事实核查数据集

arXiv:2609.25833v1 公告类型：新发布 摘要：由于数据集和资源稀缺，自动事实核查在阿拉伯语自然语言处理领域面临重大挑战。在本手稿中，我们介绍了 Arafa，这是一个用于现代标准阿拉伯语事实核查的新型大规模数据集，通过利用大语言模型（LLM）的自动化框架构建而成。该数据集的构建采用三步流水线：（1）从阿拉伯语维基百科页面生成声明并附带支持性文本证据，（2）对声明进行变异以生成具有反驳证据的挑战性反事实声明，以及（3）自动验证步骤，以验证生成的声明是否被其伴随证据支持或反驳，或者证据是否未提供足够信息来判断声明的有效性。最终数据集包含 181,976 个声明-证据对，标注为支持、反驳或信息不足。对数据集测试样本进行的人工评估显示，使用 Cohen's Kappa 计算，支持性声明的标注者间一致性很高（kappa = 0.89），反驳性声明的标注者间一致性也很高（kappa = 0.94）。基于人工评估样本的自动验证对支持性声明达到了 86% 的准确率，对反驳性声明达到了 88% 的准确率。为展示 Arafa 作为阿拉伯语自动事实核查资源的价值，我们使用 Arafa 对四个开源的基于 Transformer 的模型进行了微调，表现最佳的模型在测试数据上达到了 77% 的 Macro F1-score。除了 Arafa 是首个阿拉伯语事实核查大规模数据集之外，我们的框架还为其他低资源语言开发类似资源提供了一种可扩展的方法。