灾难社交感知还可信吗？AI生成社交媒体帖检测实证研究

arXiv:2609.35821v1 公告类型：新发布 摘要：灾害社会感知将公众在社交媒体上的帖子转化为态势感知与人道主义需求评估的证据，但生成式人工智能（AI）可以制造出看似目击者报告的、貌似合理的信息。本研究探讨基于文本的 AI 检测器能否可靠地区分人类撰写的灾害帖子与 AI 生成的灾害帖子。我们构建了一个包含 12,000 条文本的数据集，组织为来自九场灾害的 3,000 组语义匹配单元：原始人类帖子（H0）、经 LLM 最低限度润色的人类帖子（H1）、基于相同已核实事实的 AI 生成事实性帖子（A0），以及这些 AI 帖子的情感化框架版本（A1）。另有一个来自 42 起事件的 6,000 条文本语料库，用于模型选择与阈值校准。我们在五个模型家族上评估了 OSM-Det、Fast-DetectGPT、Binoculars 以及直接采用大语言模型（LLM）作为评判器的方法，随后测试了灾害领域校准、冻结编码器线性读出、配对变换敏感性以及数据集伪影控制。在十四种冻结跨家族配置中，AUROC 为 0.402-0.517，在校准导出的低误报工作点下，最佳的前瞻性召回率仅为 3.6%；OSM-Det 在实测 6.7% 误报率下达到 AUROC 0.521 和 10.4% 召回率。一个经灾害数据训练的线性头达到 AUROC 0.817，但一个基于七个表层特征的分类器在 H0 与 A0 的对比上也能达到 0.784，且中和已识别的表层不对称性后，该线性头的表现从 0.733 降至 0.594。即便出处未变，该线性头仍能区分 A0 与 A1。结果表明，基于文本的检测尚不足以可靠地充当运营层面的信任闸门；应转而依赖多模态声明、可问责的来源及其他情境证据，以维护对灾害社会感知的信任。