随着政府、企业和个人对生成式人工智能技术安全性的担忧与日俱增，人工智能和网络安全行业正在加速推进和完善人工智能相关网络安全配套标准和框架的拟定。

最近，谷歌宣布推出 Secure AI Framework (SAIF)，这是谷歌首个用于保护人工智能系统的概念框架。

谷歌是生成式 AI 聊天机器人 Bard 的开发者和所有者，也是 AI 研究实验室 DeepMind 的母公司。该公司表示，跨公共和私营部门的框架对于 AI 技术健康发展至关重要，其新的框架概念是朝着这个方向迈出的重要一步。

谷歌指出，SAIF 旨在帮助减轻 AI 系统特有的风险，例如模型盗窃、训练数据中毒、通过即时注入进行恶意输入以及从训练数据中提取机密信息。谷歌在博客中写道：“随着 AI 功能越来越多地融入全球科技产品中，负责任的（安全）框架将变得更加重要。”

SAIF 基于六大 AI 安全原则

谷歌的 SAIF 安全框架基于其开发网络安全模型的经验之上，例如软件工件的协作供应链级别 (SLSA) 框架和 BeyondCorp 零信任框架，后者已经被许多组织采用。谷歌表示，SAIF 基于六大核心安全原则：

将强大的安全基础扩展到 AI 生态系统，包括利用默认安全的基础设施保护。

通过监控生成式 AI 系统的输入和输出来检测异常，并使用威胁情报来预测攻击，将扩展检测和响应（XDR）的防护范围扩展到覆盖 AI 系统。

利用自动化防御技术跟上现有和新威胁的步伐，提高安全事件响应的规模和速度。

协调平台级控制以确保一致的安全性，包括将默认安全保护扩展到 Vertex AI 和 Security AI Workbench 等 AI 平台，并将控制和保护整合到软件开发生命周期中。

通过基于事件和用户反馈的强化学习等技术，加快 AI 系统威胁的缓解措施，并创建更快的反馈循环。

将 AI 系统风险与业务流程相关联，包括评估端到端业务风险，例如数据归属、验证和某些类型应用程序的行为监控。

推动其他 AI 风险管理框架和标准

除了 SAIF 以外，谷歌还列出了它正在参与和推动的其他 AI 安全框架和标准。其中包括帮助开发 NIST AI 风险管理框架和 ISO/IEC 42001 AI 管理系统标准（行业首个 AI 认证标准）。谷歌还表示将直接与包括客户和政府在内的组织合作，帮助他们了解如何评估人工智能安全风险并减轻这些风险。

此外，谷歌将分享其威胁情报团队（如 Mandiant 和 TAG）对涉及 AI 系统的网络活动的见解，同时扩大其漏洞猎人计划（包括其漏洞赏金计划）以激励 AI 安全和保障的相关研究。最后，谷歌将继续与 GitLab 和 Cohesity 等合作伙伴一起提供安全的 AI 产品，并进一步开发新功能以帮助客户开发安全的 AI 系统。

大语言模型的十大漏洞

在谷歌发布 SAIF 之前不久，开放式全球应用程序安全项目 (OWASP) 上周发布了大型语言模型 (LLM) 的 10 大严重漏洞列表，OWASP 指出大多数生成式 AI 都存在这些漏洞，潜在威胁巨大且易于利用和流行。十大漏洞列表如下：

1. 提示词注入

提示词注入指绕过过滤器或使用精心设计的提示词来操纵 LLM，使模型忽略先前的指令或执行意外操作。这些漏洞可能导致意想不到的后果，包括数据泄露、未经授权的访问或其他安全漏洞。常见的即时注入漏洞包括通过使用特定的语言模式或标记来绕过过滤器或限制，利用 LLM 标记化或编码机制中的弱点，以及通过提供误导性上下文误导 LLM 执行意外操作。

预防措施：

对用户的提示词实施严格的输入验证和清理。

使用上下文感知过滤和输出编码来防止提示词操纵。

定期更新和微调 LLM，以提高其对恶意输入和边缘情况的理解。

2. 数据泄露

LLM 的输出结果（响应）存在意外泄露（用户或第三方的）敏感信息、专有算法或其他机密细节。这可能导致未经授权访问敏感数据或知识产权、侵犯隐私和其他安全漏洞。

LLM 响应中敏感信息的不完整或不当过滤、LLM 训练过程中敏感数据的过度拟合 / 记忆以及由于 LLM 误解或错误导致的机密信息的意外泄露是常见的数据泄漏漏洞。

攻击者可能会使用精心设计的提示词故意探测 LLM，试图提取 LLM 从其训练数据中记住的敏感信息，或者合法用户可能会无意中向 LLM 提出一个会泄露敏感 / 机密信息的问题。

预防措施：

实施严格的输出过滤和上下文感知机制，以防止 LLM 泄露敏感信息。

在 LLM 的训练过程中使用差分隐私技术或其他数据匿名化方法来降低过拟合或记忆的风险。

定期审计和审查 LLM 的回复，以确保敏感信息不会被无意中泄露。

3. 沙盒隔离不充分

如果 LLM 在访问外部资源或敏感系统时未正确隔离，则可能导致 LLM 潜在的利用、未经授权的访问或意外操作。LLM 环境与其他关键系统或数据存储的分离不足、允许 LLM 访问敏感资源以及 LLM 执行系统级操作 / 与其他进程交互是常见的 LLM 沙盒不足漏洞。

一个攻击示例是恶意行为者通过制作指示 LLM 提取和泄露机密信息的提示来利用 LLM 对敏感数据库的访问权限。

预防措施：

将 LLM 环境与其他关键系统和资源隔离开来。

限制 LLM 对敏感资源的访问，并将其能力限制在其预期目的所需的最低限度。

定期审核和审查 LLM 的环境和访问控制，以确保适当的隔离。

4. 未经授权的代码执行

当攻击者通过自然语言提示利用 LLM 在底层系统上执行恶意代码、命令或操作时，就会发生未经授权的代码执行。常见的漏洞包括未经净化或受限的用户输入，允许攻击者制作触发未授权代码执行的提示，对 LLM 功能的限制不足，以及无意中将系统级功能或接口暴露给 LLM。

OWASP 引用了两个攻击示例：攻击者制作了一个提示，指示 LLM 执行在底层系统上启动反向 shell 的命令，授予攻击者未授权访问权限，并且 LLM 无意中被允许与系统级 API 交互，攻击者操纵它在系统上执行未经授权的操作。

预防措施：

实施严格的输入验证和清理流程，以防止 LLM 处理恶意或意外提示。

确保充分的沙盒隔离并限制 LLM 与底层系统交互的能力。

5. 服务器端请求伪造漏洞

当攻击者利用 LLM 执行意外请求或访问受限资源（如内部服务、API 或数据存储）时，会出现服务器端请求伪造 (SSRF) 漏洞。OWASP 表示，输入验证不充分，允许攻击者操纵 LLM 提示以发起未经授权的请求和网络或应用程序安全设置中的错误配置，将内部资源暴露给 LLM，这些都是常见的 SSRF 漏洞。

要执行攻击，攻击者可以制作一个提示，指示 LLM 向内部服务发出请求，绕过访问控制并获得对敏感信息的未授权访问。他们还可以利用应用程序安全设置中的错误配置，允许 LLM 与受限 API 交互，访问或修改敏感数据。

预防措施：

实施严格的输入验证和清理，以防止恶意或意外提示发起未经授权的请求。

定期审核和审查网络 / 应用程序安全设置，以确保内部资源不会无意中暴露给 LLM。

6. 过度依赖 LLM 生成的内容

过度依赖 LLM 生成的内容会导致误导性或不正确信息的传播，减少决策制定中的人力投入，并减少批判性思维。组织和用户可能会在未经验证的情况下信任 LLM 生成的内容，从而导致错误、误解或意外后果。与过度依赖 LLM 生成的内容相关的常见问题包括在未经验证的情况下接受 LLM 生成的内容作为事实，以及在没有人工输入或监督的情况下依赖 LLM 生成的内容做出关键决策。

例如，如果一家公司依赖 LLM 生成安全报告和分析，而 LLM 生成的报告包含公司用来做出关键安全决策的不正确数据，则可能会因依赖 LLM 生成的不准确内容而产生重大影响。Omdia 网络安全高级首席分析师 Rik Turner 将此称为 LLM 幻觉。

7.AI 对齐不足

当 LLM 的目标和行为与预期用例不一致时，就会出现 AI 对齐不足，从而导致不良后果或漏洞。目标（参数）定义不当导致 LLM 优先考虑不良 / 有害行为、激励函数失准或训练数据产生意外模型行为，以及 LLM 行为的测试和验证不足是常见问题。如果设计用于协助系统管理任务的 LLM 未对齐，它可能会执行有害命令或优先执行会降低系统性能或安全性的操作。

预防措施：

在设计和开发过程中定义 LLM 的目标和预期行为。

确保奖励函数和训练数据与预期结果一致，并且不鼓励不良或有害行为。

定期测试和验证 LLM 在各种场景、输入和上下文中的行为，以识别和解决一致性问题。

8. 访问控制不足

当访问控制或身份验证机制未正确实施时，会出现访问控制不足，从而允许未经授权的用户与 LLM 交互并可能利用漏洞。未能对访问 LLM 执行严格的身份验证要求，基于角色的访问控制 (RBAC) 实现不充分允许用户执行超出其预期权限的操作，以及未能为 LLM 生成的内容和操作提供适当的访问控制都是常见的例子。

OWASP 给出的一个攻击示例是恶意行为者由于身份验证机制薄弱而获得对 LLM 的未授权访问权限，从而允许他们利用漏洞或操纵系统。

预防措施：

实施强大的身份验证机制，例如多因素身份验证 (MFA)，以确保只有授权用户才能访问 LLM。

对 LLM 生成的内容和操作实施适当的访问控制，以防止未经授权的访问或操纵。

9. 错误处理不当

当错误消息或调试信息以可能向攻击者泄露敏感信息、系统详细信息或潜在攻击向量的方式公开时，就会发生错误处理不当漏洞。常见的错误处理漏洞包括通过错误消息暴露敏感信息或系统详细信息、泄露可帮助攻击者识别潜在漏洞或攻击向量的调试信息，以及未能妥善处理错误，从而可能导致意外行为或系统崩溃。

例如，攻击者可以利用 LLM 的错误消息来收集敏感信息或系统详细信息，从而发起有针对性的攻击或利用已知漏洞。或者开发人员可能会不小心将调试信息暴露在生产环境中，从而使攻击者能够识别系统中潜在的攻击媒介或漏洞。

缓解措施：

实施适当的错误处理机制以确保错误被捕获、记录和处理。

确保错误消息和调试信息不会泄露敏感信息或系统详细信息。考虑为用户使用通用错误消息，同时为开发人员和管理员记录详细的错误信息。

10. 训练数据中毒

训练数据中毒是指攻击者操纵 LLM 的训练数据或微调程序以引入可能损害模型安全性、有效性或道德行为的漏洞、后门或偏差。常见的训练数据中毒问题包括通过恶意操纵训练数据将后门或漏洞引入 LLM，以及向 LLM 注入偏差，导致其产生有偏差或不适当的响应。

预防措施：

通过从可信来源获取训练数据并验证其质量来确保训练数据的完整性。

实施强大的数据清理和预处理技术，以消除训练数据中的潜在漏洞或偏差。

使用监控和警报机制来检测 LLM 中的异常行为或性能问题，出现这些问题可能意味着训练数据中毒。