C
ChaoBro

PreScam:用对话早期阶段预测诈骗进程,圣母大学的反诈骗基准

PreScam:用对话早期阶段预测诈骗进程,圣母大学的反诈骗基准

电信诈骗和网上情感诈骗正在成为全球性的社会问题。和"你中了大奖"这种一次性骗局不同,这类诈骗通过多轮对话逐步推进——先建立信任,再引导转账,每一步都有精心设计的心理操纵。

圣母大学(University of Notre Dame)这篇 PreScam 论文回答了一个关键问题:AI 能不能在对话早期就识别出这是诈骗,而不是等受害者已经被骗了才事后分析?

数据是怎么来的

PreScam 从用户提交的真实诈骗报告中提取数据:

  • 原始报告:177,989 份
  • 过滤后的对话诈骗实例:11,573 个
  • 覆盖 20 种诈骗类别

每个实例按照"诈骗杀伤链"(scam kill chain)分层结构化,并在每个对话回合标注了诈骗者的"心理行为"和受害者的"响应"。

这个数据规模和质量在诈骗研究领域算是头一份。过去的工作要么用合成数据,要么只做静态检测(判断一条消息是不是诈骗),PreScam 是第一个关注诈骗进程的基准。

两个测试任务

  1. 实时终止预测:根据当前对话,判断是否即将进入"终止阶段"(即诈骗者准备收网、受害者准备转账的关键时刻)
  2. 诈骗者行为预测:预测诈骗者下一步会采取什么心理操纵手段

结果

关键发现:监督编码器(supervised encoders)在实时终止预测上远超零样本 LLM

这意味着:

  • 现有的通用大模型在没有专门训练的情况下,不太擅长识别诈骗进程
  • 但用专门训练过的模型(哪怕不是大模型),效果可以很好
  • 诈骗者行为预测即使在强 LLM 上也"只是中等成功"——连 GPT-4o 这个级别都做不到很好

为什么这事重要

全球每年因电信诈骗损失的金额以百亿美元计。如果能在对话早期(前几轮)就识别出诈骗信号,可以大幅降低受害者损失。

但 PreScam 的结果说明:这不是丢给 GPT 就能解决的问题。需要专门训练、专门的数据、专门的评测。

我的判断

PreScam 的数据集本身就有很高价值——11,573 个真实标注的多轮诈骗对话实例,覆盖了 20 种诈骗类型,这对安全研究社区是一个重要资源。

但论文也揭示了一个不太令人舒服的事实:当前的通用 LLM 在诈骗检测上并没有我们想象的那么聪明。它们能写出漂亮的分析,但在实时、多轮、渐进式诈骗场景中,表现不如专门训练的监督模型。

如果反诈团队能看到这篇论文,应该会考虑把 PreScam 的思路用到实际系统中:不是靠通用大模型"凭感觉"判断,而是用专门的诈骗进程模型来做实时预警。

主要来源: