在金融行业竞相发布最新的人工智能应用，试图彻底解决欺诈问题、革新反洗钱（AML）和了解你的客户（KYC）流程时，一个残酷的现实是：大模型（LLMs）正以前所未有的规模助力欺诈者，而非公司。欺诈者利用生成式AI策划和执行非对称攻击，少数人就能对客户、公司乃至公共机构造成严重影响。这种不对称性，源于欺诈者无需遵守合规、法律、隐私等限制，使其能够更快、更灵活地利用AI技术作恶。
TBCE攻击模型：欺诈的四阶段演进
传统的欺诈攻击往往遵循一个四阶段模型，我将其定义为TBCE攻击：Targeting (目标锁定)、Build Trust (建立信任)、Compromise (信息窃取) 和 Execute (执行欺诈)。
- 目标锁定 (Targeting)：与公司一样，欺诈者也需要精心选择目标，最大化欺诈成功的概率。
- 建立信任 (Build Trust)：攻击者伪装成受害者信任的实体，例如银行或政府机构，利用欺骗和社交工程获取信任。
- 信息窃取 (Compromise)：获得信任后，欺诈者利用网络钓鱼等手段窃取个人身份信息 (PII) 或安全凭证。
- 执行欺诈 (Execute)：最终，欺诈者可能采用复杂技术，或简单地诱骗受害者自行支付款项。
TBCE攻击可以是同步的，如高额的爱情或投资诈骗，也可以是异步的，由犯罪团伙的不同成员处理不同阶段。例如，执行阶段可能推迟到以后，或在盗取支付数据后委托给他人。
生成式AI赋能欺诈：四大关键领域
生成式AI极大地增强了欺诈者的能力，尤其是在建立信任和信息窃取阶段，主要体现在四个关键领域：
1. 加速恶意软件和攻击工具的生产
大模型日益强大的编码能力使黑客能够更快、更大量地生产、修改和修复恶意软件。研究表明，通过利用思维链步骤中提供的信息，可以“越狱”某些LLM的防护栏，从而编写恶意代码。欺诈者不仅使用流行的LLM，还使用修改后的版本，例如删除了道德和安全保障的ChatGPT越狱版 GhostGPT。可以预见，生成式AI的能力将继续快速增长，使个人攻击者能够开发出能够规避最复杂防病毒系统的软件。
例如，安全研究人员已经展示了如何利用大模型生成多态恶意软件，这些软件能够不断改变自身代码，从而逃避基于签名的检测技术。这使得安全软件的查杀变得更加困难，同时也极大地提高了欺诈者进行大规模攻击的效率。
2. 大规模生成欺骗性内容（网站、广告、虚假商店）
同样的后端和前端编码技能使欺诈者能够生成虚假的电子商务网站和欺诈性的社交广告，这些网站和广告与知名品牌和广泛使用的结账页面非常相似，从而捕获个人和支付数据。AI使得内容能够以比过去更高的速度生成，使得区分真假变得越来越困难。英国金融机构报告称，2022年78%的诈骗源于线上，社交媒体是主要的分发渠道。欺诈者利用紧迫感和基本的营销技巧来促使客户回应不容错过的交易，结果却发现他们永远无法收到商品，或者收到的商品质量低劣。另一方面，支付数据的收集被用于稍后阶段或在暗网论坛上出售。
试想一下，一个虚假的耐克官方网站，使用生成式AI快速生成了数千个不同的版本，每个版本都针对不同的用户群体进行了优化。这些网站通过虚假广告在社交媒体上广泛传播，诱骗用户输入信用卡信息。由于网站外观与真实网站几乎没有区别，用户很难辨别真伪。
3. 聊天机器人和“杀猪盘”诈骗的低成本化
《经济学人》在最近一份题为《诈骗公司》的精彩报告中揭示了“杀猪盘”行业的运作机制。“杀猪盘”是一种复杂的欺诈技术，利用社交工程来执行爱情或投资诈骗。它是一种“慢煮”欺诈，通过与受害者建立情感联系，通常会发展成远程恋爱关系或商业伙伴关系，从而执行高额欺诈，造成重大的经济和心理损害。受害者在信息、社交媒体和约会应用程序上被一群低薪诈骗工人接触，这些人通常被犯罪组织奴役。大模型卓越的聊天、上下文和记忆能力为诈骗者提供了一种强大的工具，可以扩大他们的运营规模，提高对话质量，并且可以以比过去大大降低的成本进行多语言对话。
生成式AI驱动的聊天机器人可以24小时不间断地与潜在受害者互动，模拟真实的对话，并根据受害者的反应调整策略。这意味着欺诈者可以同时与成百上千人建立联系，大大提高了成功率。甚至可以根据目标人群生成特定风格的对话，比如针对老年人使用更怀旧的措辞，针对年轻人使用更流行的网络语言。
4. Deepfakes模糊了真假之间的界限
Deepfakes能够模仿真实人物（家庭成员或权威人物）的声音和面孔，也通过生成式AI得到了增强，这使得它们的创建变得快速且廉价：根据FBI的数据，仅需三秒钟的WhatsApp音频就足以克隆声音。最近发生的一起引人注目的事件中，欺诈者克隆了意大利国防部长Guido Crosetto的声音，冒充他在电话中向知名商界领袖索要紧急资金，以确保被绑架记者的获释。香港公司Arup在一次“CEO诈骗”案件中遭受了更大的损失，欺诈者使用Deepfake视频通话冒充高级管理人员，诱骗一名员工将约2500万美元转移到欺诈账户。诸如“孩子遇到麻烦”之类的令人痛苦的诈骗或各种加密货币诈骗，其中虚假的名人影响社交媒体上的人，都因Deepfakes而变得容易得多。此外，更令人不安的是，音频和视频Deepfakes可以绕过KYC/AML检查。克隆的声音可以绕过许多金融机构呼叫中心仍然使用的语音识别身份验证，而银行已经报告了使用被盗文件生成视频的案例，这些视频可以从文件图片中通过活跃度检查。当然，银行和金融机构需要加强对Deepfake的抵抗协议，并重新思考他们的KYC流程。
例如，欺诈者可以利用生成式AI创建银行员工的Deepfake视频，诱骗客户相信他们正在与银行官方代表进行交流，从而泄露敏感信息。更进一步，他们甚至可以使用Deepfake技术伪造身份证件和银行对账单，从而绕过银行的身份验证流程。
金融机构的困境：滞后的AI安全防御
面对生成式AI驱动的欺诈浪潮，金融机构面临着严峻的挑战。尽管他们也在积极探索大模型在欺诈检测和预防方面的应用，但由于合规、法律、隐私等限制，其部署速度和灵活性远不及欺诈者。
传统的欺诈检测系统依赖于规则和历史数据，难以识别新型的、由AI驱动的欺诈行为。此外，金融机构往往将大部分资源投入到执行阶段的防御，例如交易监控和支付拦截，而忽略了对欺诈攻击早期阶段的预防。
生态系统层面的反击：共同抵御AI欺诈
恶意代码包、虚假广告、虚假帖子、未经请求的虚假电话、虚假图片和虚假视频。隐藏在AI生成的“洪水泛滥”内容的深水中，潜伏着，等待着暴露数字原生（最重要的是数字原生）时刻。生成式AI将非对称的超级能力赋予了攻击者，他们没有任何中大型公司的合规、法律、隐私和官僚限制。
打击诈骗的大部分繁重工作由银行和金融机构承担，它们主要在TBCE计划的执行阶段运作。他们还承担了大部分与欺诈相关的成本、监管审查和投资压力。Telco、社交媒体和搜索引擎（主要的诈骗传播媒介）的情况并非如此。尤其是后两者，正在从用于更多恶意广告或虚假品牌网站SEO的诈骗资金再投资中获利，这使得他们几乎没有动力认真快速地删除欺诈内容，尽管他们拥有所有资源和技术这样做。打击诈骗的斗争只能在生态系统层面赢得。还有很长的路要走。
仅仅依靠银行和金融机构的反击是不够的。我们需要一个生态系统层面的方法，包括：
- 加强跨行业合作：银行、电信公司、社交媒体平台和搜索引擎需要加强合作，共享欺诈信息，共同打击欺诈行为。
- 提高公众意识：通过教育活动提高公众对AI驱动欺诈的认识，帮助人们识别和避免欺诈陷阱。
- 开发先进的AI安全工具：需要开发更先进的AI安全工具，例如能够检测和拦截Deepfakes的图像和音频分析技术，以及能够识别虚假网站和广告的网络安全工具。
- 建立更严格的监管框架：政府需要建立更严格的监管框架，规范生成式AI的使用，并对滥用AI进行欺诈的行为进行严厉打击。
总之，大模型时代的欺诈风险日益严峻，需要金融机构、科技公司、政府和公众共同努力，才能有效应对这一挑战。只有通过生态系统层面的合作，才能建立一个更安全、更可信的数字环境。面对AI的超级能力，我们需要更强大的安全防御能力，才能保护我们的金融安全和个人信息安全。