AI与安全：生产力与风险伴生 发展的问题要在发展中解决

自以ChatGPT为代表的AI技术及应用迅速席卷人类的生产生活，网络安全也成为积极拥抱AI技术、挖掘AI应用价值的产业之一。如今，凡谈论网络安全未来的风险趋势、技术创新或发展方向，已经无法回避AI可能带来的双刃剑影响，在近日召开的2024北京网络安全大会，围绕“AI驱动安全”的主题，主峰会与多个分论坛都呈现了多方观点探讨和研究成果展示。据安全419观察，众多议题可归结为两大方向，一是辨析AI引发的安全风险的本质以及应对方案，二是探索AI在提升安全能力上应该如何实现工程化、企业级的落地和商用。在此，安全419将结合自身理解，总结在会议中观察到的部分前沿观点，帮助业界同仁多视角更全面地认知AI与安全的关系及影响。

 

 

 

AI的发展其实已经经历了漫长的时间，但直到ChatGPT在相当程度上实现了对“语义”的把握，空前地拓展了AI的应用面，才将其推向了所有人。犹记得，这股出乎意料的强大力量伴随着伦理、公平、隐私等方面的威胁，让全球多位名人联名呼吁暂停相关技术的研发，以防止其失控或超越人类。但事实上，非但没有停止，反而是在加速发展，更智能的应用迭代出现，逐渐成为新一轮科技革命和产业变革的战略性技术。

 

来自先进计算与关键软件 （信创）海河实验室主任、中国新一代人工智能发展战略研究院的专家对此提出了一个鲜明的观点，纵观历史进程，人类总是不断创造出新的工具以提升自身能力，即生产力，从体力到脑力都是如此，发展AI，是代表先进生产力的发展要求，AI可能会带来很多风险，但是不发展才是最大的不安全，会丧失新的生产力革命的机遇，因此要发展AI促安全。

 

同时其指出，AI风险产生的根源，并不是其过于强大，恰是其技术存在弱点和不足导致。AI的输出基于概率，就不可能百分之百正确，对于AI研发而言，需要进一步解决可解释性问题，才能有效控制错误概率，真正走向可信。对于AI应用而言，需要具备对AI生成的“半成品”进行事实审视、伦理审视、逻辑和科学原理审视，以及风险判断的能力。AI的输出同样基于概率，就会“从众”而人云亦云，难以标新立异、独出心裁。这些问题通过实事求是地分析，靠发展创新去解决，才能引导AI健康发展。

 

另一方面，AI的风险还在于使用者对AI的滥用和恶意使用，以及依赖而非驾驭AI。据巴基斯坦NCERT主席、国际工程技术学会会士、英国计算机学会会士海德尔·阿巴斯介绍，使用AI既可以生成网络仿冒等各种攻击工具包，同时又可以使用AI规避传统安全系统的检测。滥用AI朝武器化方向进化的网络犯罪带来的潜在威胁包括：大规模攻击，AI可协助网络犯罪同时针对多个受害目标发起攻击，并自动进行复杂攻击；复杂程度提升，即AI可执行更加复杂、更加难以检测和抵御的攻击策略；快速适应能力，AI可以迅速适应并绕过新防御系统，使威胁不断演进。
 

值得注意的是，本届会议期间，两位来自奇安信的安全专家从刚刚落幕的RSA2024大会中梳理了AI安全的相关议题，从中分析总结出值得我们关注的几点安全趋势。AI的普及带来新兴的攻击面，从训练数据到云基础设施，AI系统的每个组成部分都可能成为攻击的目标，大语言模型在架构分层中更类似人的角色，对人的社工、诈骗手段也能用在对生成式AI的攻击中。

 

他们还特意关注了生成式AI的数据安全问题。首先是理解和控制数据接口，将大语言模型视为黑箱，重点关注其数据接口的安全识别并保护这些接口，以确保数据在传输和处理过程中的隐私和保密性。其次，大语言模型的自然语言理解和指令跟随功能使其容易受到对抗性提示和提示注入攻击，可能导致敏感数据泄露或模型行为偏差，因此需要特别关注防御这类攻击的方法。再者，与人类不同，大语言模型没有责任感和可信度，因此需要建立机制来模拟人类的行为规范和责任感，确保大语言模型在处理敏感数据时能够遵循一定的安全政策和行为准则。最后，需关注影子大语言模型，发现并追踪组织内所有相关服务，建立清单，避免合规性等问题的产生。

 

那么，AI引发的安全风险应如何解决，两位专家认为，不能孤立地看待AI风险及解决方案，要把它集成到现有的安全体系中发挥作用。一方面是全面集成AI安全运营流程，将生成式AI安全无缝集成到企业安全框架策略中，通过实时监控和威胁检测，利用威胁情报研究和自动化响应机制，确保AI应用的安全性和企业整体安全；另一方面是全面集成AI安全标准，通过实施SD3(Secure By Design, Secure By Default, Secure By Deployment)指导原则，将AI安全标准融入企业的整体安全策略，确保所有产品团队在开发和部署AI系统时遵循统一的安全标准和流程。

 

 

说完AI风险的根因、表现及应对原则，我们继续观察AI如何有效驱动安全能力提升甚至质变。全国政协委员、全国工商联副主席、奇安信集团董事长齐向东指出，安全人员数量和资源不足，是失陷的主要原因，AI的应用，是为了解决有限的安全资源和100%的安全追求之间的矛盾，表现在单点检测中AI可以对人工漏掉的告警进行全量研判，实现安全能力十倍级提升，体系化防御中通过AI赋能的综合分析和全局联动，实现安全能力百倍级提升，溯源和反制中，从威胁发现到攻击溯源环节，依托AI的智能化、自动化可实现响应能力的千倍级提升。

 

AI驱动安全是大势所趋，怎么有效实践有三大必要条件。首先，高质量的数据是高水平AI的基础。高质量的数据有两个特点，一是全、二是新，要有足够多的基础安全数据用于训练安全大模型，安全设备覆盖越广，得到的数据量越大越丰富，要有足够贴近实战的一手原始语料用于大模型推理，只有丰富的实战经验，才能磨炼出专业的原始语料。

 

其次，体系化的网络安全建设是AI发挥效率的平台。从俄乌战场上可以看出，现代战争的核心是多系统之间的协同联动，从雷达感知情报，送回指挥部，再送到海陆空前线部队，迅速启动火力系统，锁定并打击目标，这是一个整体作战体系，更是高效运转的闭环。

 

再者，统一的标准为AI驱动安全实现体系化落地扫除障碍。训练好的安全大模型，能否取得好效果取决于设备和体系是否有统一的标准。当前，不同厂商、不同设备读不懂彼此的数据，有时候仿佛鸡同鸭讲，实现标准统一迫在眉睫。需要统一数据输入标准，让AI读懂“多国语言”，完成体系化分析。同时需要统一指令输出标准，让AI实现跨设备、跨系统的能力协同和全局联动。

 

 

纵观大会释放的观点，AI渗透各行各业势不可挡，发展与风险都无法避免，但机遇和忧虑并不在于AI对人类智力或劳力的覆盖，尽管AI展示出惊艳卓越的能力和难以估量的威胁，但其仍是尚处于发展初级的新兴技术，存在很多本征性弱点，不用过度神话也不必妖魔化，其融合安全引发的生产力跃迁畅想，也尚在探索实践过程中，需要反复地在不同业务场景中验证与打磨。总的来说，无论是AI的安全还是安全的AI，都是AI产业发展和安全产业发展中总会到来的问题，坚持用发展的眼光看问题，在推动发展中解决问题，在解决问题中推动发展，或许就是AI与安全良性循环的开端。