导语： 大模型（LLM）技术的飞速发展在提高开发效率的同时，也带来了新的安全隐患。本文将深入探讨一种名为“Slopquatting”的由大模型幻觉导致的威胁，分析其原理、危害，并提供相应的防范措施，帮助开发者在享受 AI 带来的便利的同时，规避潜在的风险。
一、大模型幻觉：Slopquatting 的温床
“大模型幻觉”是指大型语言模型（LLM）生成不真实或不准确信息的能力。这种幻觉并非简单的错误，而是模型在理解和生成语言的过程中，由于训练数据、算法限制等原因产生的内在缺陷。在代码生成领域，幻觉表现为模型生成不存在的函数、类、库或依赖项。
文章作者在使用 LLM 生成 Node.js 应用的 package.json 文件时，发现模型引入了一个不存在于 NPM 上的依赖项。更令人担忧的是，这个依赖项的命名看起来非常合理，很容易让人误以为是真实存在的。这就是 Slopquatting 的典型表现：LLM 幻觉出一个看似合理但实际上不存在的依赖包名称。
幻觉的存在并非新鲜事，但 Slopquatting 的特殊之处在于其欺骗性和潜在的危害性。模型幻觉出的包名通常与现有包名相似，或者使用了常见的技术术语，例如 “http-secure-ssl” 或 “mongo-db-connector”。这种高度的相似性使得开发者在快速浏览代码时，很容易忽略这些虚假的依赖项。
二、Slopquatting：一种潜在的安全威胁
Slopquatting 的危害远不止于编译错误或程序崩溃。如果恶意行为者利用 Slopquatting，后果将不堪设想。
1. 恶意代码注入： 攻击者可以预先注册 LLM 容易幻觉出的虚假包名，并上传包含恶意代码的软件包。当开发者使用 LLM 生成的代码，并且没有仔细审查依赖项时，就可能无意中安装了这些恶意软件包。
2. 数据泄露： 恶意软件包可以收集用户的敏感信息，例如 API 密钥、数据库凭据等，并将这些信息发送到攻击者的服务器。
3. 供应链攻击： 通过 Slopquatting，攻击者可以控制应用程序的某些组件，从而影响整个软件供应链。
举例： 假设某个 LLM 频繁幻觉出一个名为 “redis-cache-pro” 的软件包。攻击者可以注册这个包名，并上传一个包含后门的软件包。当开发者使用 LLM 生成的代码，并且安装了这个软件包时，攻击者就可以远程控制应用程序的缓存系统，甚至获得服务器的访问权限。
三、Slopquatting 与 Typosquatting 的对比
Slopquatting 容易与另一种安全威胁混淆：Typosquatting（域名抢注）。Typosquatting 是指攻击者注册与知名网站域名拼写相似的域名，例如 “gooogle.com” 或 “amazom.com”。当用户不小心输入错误的域名时，就会被重定向到攻击者的网站，从而遭受钓鱼攻击或恶意软件感染。
虽然 Slopquatting 和 Typosquatting 都是利用拼写错误或相似性进行攻击，但两者存在明显的区别：
| 特征 | Slopquatting | Typosquatting |
|—|—|—|
| 攻击目标 | 软件依赖项 | 网站域名 |
| 利用方式 | LLM 幻觉 | 拼写错误 |
| 攻击载体 | 恶意软件包 | 恶意网站 |
| 潜在危害 | 恶意代码注入、数据泄露、供应链攻击 | 钓鱼攻击、恶意软件感染 |
Typosquatting 主要针对用户，而 Slopquatting 主要针对开发者和使用 LLM 生成代码的应用程序。Slopquatting 的攻击链更长，需要攻击者预先注册虚假包名并上传恶意软件包，但也因此更具有隐蔽性和潜在的危害性。
四、预测性与可利用性：Slopquatting 的关键特征
Slopquatting 威胁的关键在于其预测性。LLM 的幻觉并非完全随机，而是受到训练数据和算法的限制。这意味着，攻击者可以通过分析 LLM 的输出，预测其容易幻觉出的虚假包名。
文章作者指出，LLM 幻觉出的包名往往看起来“合理、可信，甚至让开发者觉得熟悉”。这是因为 LLM 在训练过程中学习了大量的代码和文档，从而掌握了常见的命名模式和技术术语。攻击者可以利用这些信息，设计出 LLM 容易幻觉出的包名。
例如，如果某个 LLM 经常使用 “helper”、”utils”、”connector” 等后缀来命名软件包，攻击者就可以注册类似的包名，例如 “string-helper-pro” 或 “database-connector-lite”。
这种预测性使得 Slopquatting 成为一种可利用的安全漏洞。攻击者可以预先注册 LLM 容易幻觉出的虚假包名，并等待开发者无意中安装这些恶意软件包。
五、防范 Slopquatting：开发者和平台的责任
防范 Slopquatting 需要开发者和平台共同努力。
1. 开发者：
- 代码审查： 始终仔细审查 LLM 生成的代码，特别是依赖项声明。确保所有依赖项都真实存在，并且来自可信的来源。
- 依赖项锁定： 使用版本控制工具锁定依赖项的版本，防止意外升级到恶意软件包。
- 安全扫描： 使用安全扫描工具检查应用程序是否存在已知的安全漏洞。
- 教育和培训： 提高开发者对 Slopquatting 等安全威胁的认识，培养良好的安全编码习惯。
2. 平台：
- 包名验证： 在软件包发布前，对包名进行验证，防止攻击者注册与知名软件包相似的包名。
- 信誉系统： 建立软件包信誉系统，根据软件包的开发者、代码质量、安全漏洞等信息，对软件包进行评分。
- 监控和预警： 监控 NPM 等软件包仓库，及时发现和报告可疑的软件包。
- LLM 改进： 改进 LLM 的算法和训练数据，减少幻觉的发生。
具体措施示例：
- 使用 npm audit 或 yarn audit： 这些命令可以扫描项目的依赖项，并报告已知的安全漏洞。
- 使用 Snyk 或 Sonatype Nexus Lifecycle： 这些工具可以自动化安全扫描，并提供依赖项风险评估。
- 配置 npm 的 scope 功能： 使用 scope 可以限制软件包的访问权限，防止未经授权的软件包被安装。
数据支撑： 根据 Sonatype 的《2023 年软件供应链安全状况报告》，开源软件供应链攻击在过去几年中呈上升趋势。2022 年，开源软件供应链攻击数量同比增长 633%。这些数据表明，开发者需要高度重视软件供应链安全，采取有效的防范措施。
六、AI 的双刃剑：信任与验证
文章作者在结尾强调了 AI 的双刃剑效应。AI 技术在提高开发效率的同时，也带来了新的安全风险。过度信任 AI 生成的代码可能会导致严重的安全问题。
Slopquatting 只是 AI 安全风险的一个缩影。随着 AI 技术的不断发展，我们将会面临更多新的安全挑战。因此，我们需要保持警惕，不断学习新的安全知识，并采取有效的防范措施。
结论： Slopquatting 是由大模型幻觉引发的一种潜在安全威胁，它利用 LLM 生成的看似合理但实际上不存在的依赖包名，诱导开发者安装恶意软件包。防范 Slopquatting 需要开发者和平台共同努力，通过代码审查、依赖项锁定、安全扫描等措施，降低安全风险。在享受 AI 带来的便利的同时，我们必须时刻保持警惕，确保应用程序的安全。