2024年初,一家金融服务公司发现其AI客服代理在用户使用特定提示词技术时,访问并可能泄露了敏感账户信息。此次泄露数周未被察觉,因为无人明确界定该代理应该访问或不应该访问哪些数据。该事件揭示了一个关键现实:随着AI嵌入企业架构,问题不在于是否应保护AI,而在于如何在风险升级前确保其安全。
身份即AI的新边界。
正如身份成为数字化转型的控制平面,它现在正成为AI系统的安全锚点。身份不再仅验证人类;它管理着机器、模型和智能体如何访问数据、做出决策并与世界交互。

从用户到智能体:扩大的身份危机

从用户到智能体:扩大的身份危机
传统身份管理专注于人:员工、合作伙伴和客户。但现在身份的范畴已急剧扩展至包括:
代表用户自主行事的智能体AI——在没有直接人工监督的情况下做出决策、处理交易和访问敏感系统
AI驱动的业务流程自动化——基于智能分析自动批准交易、流转文档或触发工作流而无需人工验证的系统
嵌入企业平台的Copilot和AI助手——以继承的用户权限访问公司数据、生成内容并在多个系统中执行操作
与物理基础设施交互的数字孪生——连接虚拟和物理安全边界
代表用户自主行事的智能体AI——在没有直接人工监督的情况下做出决策、处理交易和访问敏感系统
AI驱动的业务流程自动化——基于智能分析自动批准交易、流转文档或触发工作流而无需人工验证的系统
嵌入企业平台的Copilot和AI助手——以继承的用户权限访问公司数据、生成内容并在多个系统中执行操作
与物理基础设施交互的数字孪生——连接虚拟和物理安全边界
每个实体都需要经过验证的身份、认证、授权和治理。如果没有适当的控制措施,每个实体都可能成为潜在的攻击载体,并在相互连接的系统中蔓延。
这一转变既是技术性的,也是哲学性的。AI系统不再仅仅是后端组件,它们是决策者、行为者和自主参与者,必须在安全架构中被视为首要身份。
治理AI访问:价值488万美元的问题
治理AI访问:价值488万美元的问题
AI的安全性仅取决于其能触及的数据。现代AI集成涉及机密文档、客户个人身份信息(PII)、财务记录、源代码和专有算法。没有强大的身份治理,错误的用户或错误的AI实例在错误的时间访问错误的数据将变得异常容易。
身份治理和智能体AI生命周期管理必须成为AI的核心安全推动力。正如我们对员工执行访问策略一样,我们也需要为AI智能体及其使用模式定义权限、审批工作流和审计追踪。
每个组织都应回答的关键问题:谁批准了此智能体的部署?它可以访问哪些具体数据及原因?其访问权限上次审核是何时?我们如何将决策追溯到授权身份?
通过身份控制缓解AI滥用和数据泄露
通过身份控制缓解AI滥用和数据泄露
AI系统,尤其是大语言模型(LLM),面临独特的攻击途径:提示词注入、越狱和恶意输入,这些都可能操纵输出结果或暴露敏感信息。它们还可能生成虚假信息,从而造成声誉、法律或运营方面的损害。
身份控制需提供多层保护:
模型溯源——确保模型或智能体源自可信来源
模型级问责——分配明确所有权,以便有问题的AI响应可追溯至特定身份和配置
集成级认证——监控哪些应用和服务调用AI模型,确保其在定义的安全边界内运行
用户级控制——确定谁可以在何种情况下提示AI系统,防止未经授权的操纵企图
模型溯源——确保模型或智能体源自可信来源
模型级问责——分配明确所有权,以便有问题的AI响应可追溯至特定身份和配置
集成级认证——监控哪些应用和服务调用AI模型,确保其在定义的安全边界内运行
用户级控制——确定谁可以在何种情况下提示AI系统,防止未经授权的操纵企图
通过将每次AI交互与已验证身份绑定,从而获得对意图、范围和结果的可见性,将AI从黑盒转变为可审计系统。
为智能体AI做准备:身份作为协调层
为智能体AI做准备:身份作为协调层
随着智能体AI的兴起,多个智能体自主协调任务,在没有直接人工监督的情况下,跨互联的企业系统进行协商、委托和行动,使得身份变得更加关键。
早期实践表明,AI智能体能够管理供应商关系、处理金融交易并与其他自动化系统协调。没有适当的身份框架,这将成为无法治理的安全风险。
在智能体世界中,身份成为协调层,管理智能体间的信任关系,确保与企业策略一致,提供自主交互的全面审计追踪,并在智能体行为异常时实现快速事件响应。
没有身份,智能体AI将陷入混乱。拥有身份,它就会成为有组织的智能。
不作为的代价
不作为的代价
延迟实施AI身份治理,企业将面临日益增长的风险。据IBM数据泄露报告显示,数据泄露成本平均达488万美元,且53%的组织受到AI相关事件影响,财务风险巨大且不断增长。而2025年开始实施的欧盟《人工智能法案》的罚款更是高达3500万欧元或全球营业额的7%。
不受监管的人工智能可能会在相互关联的系统中引发连锁故障,使安全事件的范围超出传统数据泄露的范畴。拥有成熟AI治理的企业可以更快速、更自信地部署AI,而缺乏适当控制的企业则面临部署延迟和风险管理开销。
为AI时代重新构想IAM
为AI时代重新构想IAM
这一演变需要从将身份视为人力资源职能转变为将其视为适用于人员、机器、代理和自主系统的通用安全框架。
面向AI的IAM必备能力包括:针对AI智能体和LLM的细粒度访问控制与动态策略执行、对AI生成操作的持续认证和风险评估、人类可理解的授权机制、以及涵盖自动上线、监控和退役的AI身份生命周期治理。
安全领导者必须在每项AI计划启动之初就倡导以身份为中心的设计,而非事后补救。
身份是AI信任的基石
身份是AI信任的基石
随着AI能力和自主性的增长,我们的治理能力必须相应发展。随着67%的企业已部署安全AI和自动化技术,身份管理不再是后台职能,它已成为AI信任的前线。
身份有助于我们控制访问权限、追踪行为、规范行为并确保责任落实。它将责任与自动化相连接,并让我们有信心不仅更快地部署人工智能,而且更智能、更安全地部署。
因为在AI时代,问题不仅仅是"我们能构建它吗?"更是"我们能信任它吗?"而信任,一如既往,始于身份。
主动进行AI治理的时间窗口正在关闭,需要在12到18个月的时间建立强健的身份框架,否则未受治理的AI将成为竞争劣势和监管风险。
参考链接:https://informationsecuritybuzz.com/governing-ai-in-the-age-of-autonomy/
参考链接:https://informationsecuritybuzz.com/governing-ai-in-the-age-of-autonomy/

京公网安备 11010802033237号
