AIGC专题：生成式 AI时代的网络安全

报告共计：20页

《AIGC专题：生成式AI时代的网络安全》探讨了生成式AI给网络安全带来的挑战与机遇，包括网络罪犯的使用方式、AI在网络安全中的作用以及保护AI的相关建议。

一、简介

网络安全领导者面临着生成式AI的挑战，虽然它能提高企业生产力，但也带来了潜在风险，如数据泄露和黑客攻击等。全球数据泄露成本高昂，企业需降低风险。黑客可能利用生成式AI创建更具针对性的网络钓鱼电子邮件、模仿声音、创建恶意软件和窃取数据，而网络安全领导者可利用AI进行反击，保护数据和用户。

二、网络罪犯会如何使用生成式AI

- 攻击您的组织：

- AI设计的网络钓鱼：网络犯罪分子可利用大型语言模型更快地进行更多网络钓鱼攻击，如创建逼真的网络钓鱼电子邮件，增加用户错误点击的可能性，还可进行目标式网络钓鱼，模仿受害者语言风格。

- 深度伪造的音频：犯罪分子可将说话者声音录音输入到语言模型中，生成想要的音频，如模仿公司首席执行官声音指示财务官支付伪造发票，还可进行“音频插孔”呼叫，实时克隆说话者声音并获取敏感信息。

- 攻击您的AI：

- 对您的AI“投毒”：黑客可通过将恶意训练数据注入AI模型，使其出现故障或恶意行为，如制造虚假信息或对关键基础设施发动网络攻击，但这要求黑客能访问训练数据，若数据安全，则攻击难以进行，但若AI模型在开源数据集上训练，攻击门槛会降低。

- 破解您的LLM：攻击者可使用自然语言提示命令语言模型做他们想做的事，绕过或破解安全和审核功能，如泄露机密财务信息、创建易受攻击的恶意代码和提供较差的安全建议。

三、AI如何充分发挥投入网络安全的时间和人才的作用

网络安全领导者面临人手和技能短缺、敏感数据激增、基础设施复杂性增加和攻击面扩大等内部挑战，导致SOC分析师时间浪费和工作效率低下。传统AI解决方案使用机器学习帮助评估风险和推荐应对措施，具有缩短发现和遏制泄露时间、监控网络通信和节省成本等优点。生成式AI将改变这一局面，64%的高管已将网络安全确定为生成式AI用例的首要任务，84%的人计划优先考虑生成式AI网络安全解决方案。生成式AI可代表分析师管理和执行任务，提升安全专业人员能力，具体用例包括自动化报告、加速威胁搜寻、解释机器生成的数据和整理威胁情报等，未来还将能够学习和创建主动响应并优化。

四、保护AI：风险和建议

- 对组织的潜在影响：

- 软件供应链风险：工程师和分析师使用生成式AI创建代码和开发软件脚本时，可能增加AI未接受安全代码和实践训练的风险，企业可能在错误代码上构建和创新，导致新的风险暴露。

- 仓促的数据安全实践：企业急于使用语言模型，可能忽略数据安全最佳实践和标准，如加密、驻留和特权访问控制。

- 幻觉：使用语言模型生成的代码构建的软件可能包含错误或幻觉，损害源代码的完整性和安全性，应使用在多样化、平衡且结构良好的数据上训练的AI模型，给出具体提示并严格评估代码输出质量。

- 数据泄露：若对第三方AI引擎监督和治理不当，组织有将机密数据暴露给未授权用户的风险，新的提示注入和提示泄漏攻击可能暴露敏感信息并削弱模型性能。

- 黑匣效应：部分AI处理发生在黑匣中，缺乏可见性、透明度和可解释性，组织应建立AI治理方法，跟踪模型生命周期中的性能并解释模型结果。

- 保护AI的建议：

- 保护数据：使用数据发现和分类检测敏感数据，实施数据安全控制和防止数据丢失技术。

- 保护模型：持续扫描AI和ML管道中的漏洞、恶意软件和损坏，强化API和插件与第三方模型的集成，实施策略和访问控制。

- 确保使用安全：监控恶意输入，实施AI安全解决方案，检测和响应特定于AI的攻击，开发响应运行手册。

- 保护基础架构：在底层AI基础架构中扩展现有的网络安全策略和解决方案，部署基础架构安全控制措施，利用现有专业知识优化安全性、隐私性和合规性标准，围绕AI环境加强网络安全、访问控制、数据加密以及入侵检测和防御，投资新安全防御措施。

-

以下为报告节选内容