2025 RSAC|大语言模型应用风险与厂商攻防新策略

RSA大会全球影响力及2025年LLM热议概览

作为全球规模最大、影响力最深远的网络安全盛会之一,RSA大会每年汇聚数万名业界人士共商安全趋势。在2025 RSAC上,生成式人工智能(Generative AI)尤其是大型语言模型(LLM)相关话题成为瞩目焦点。继过去几年对AI安全的持续关注后,今年大会更是聚焦于“Agentic AI”等新概念,探讨具备自主决策能力的AI系统带来的机遇与挑战。围绕LLM的研讨会和新品发布层出不穷,表明业界正将LLM视为新时代网络安全的关键议题之一。

LLM业务应用场景与攻击面扩张

如今LLM广泛融入各种业务场景,在提升效率的同时也显著扩张了企业的攻击面。典型的应用包括:

  • 智能客服与助手:许多企业使用LLM驱动的聊天机器人为客户提供即时问答服务。然而,如果训练数据中混入了敏感信息,攻击者可能操纵对话提示来诱使模型泄露内部机密,从而将一个友好的助手变成安全隐患。同时,不法分子还能利用客服机器人生成的回复实施社交工程或定向钓鱼攻击。

  • 代码生成与审计:开发者借助LLM加速编程和代码审查。但模型可能在毫无戒备的情况下生成含漏洞的代码片段,或者攻击者通过特殊输入诱导其输出恶意代码。由此,软件供应链出现了全新的风险点。

  • 安全分析:安全运营中心开始引入LLM协助日志分析、威胁情报汇总。尽管AI可以减轻人力负担,但如果攻击者投喂模型伪造的日志或威胁数据,可能导致错误的结论或漏报/误报。同时,过于依赖AI决策也带来风险,一旦模型被干扰,安全决策链就可能受影响。

  • 文档处理与决策支持:LLM用于解析合同、报告等文档并给出摘要或建议。这提升了办公效率,但也意味着文档内容成为新的攻击载体。例如,攻击者在文档中嵌入精心构造的提示,可能欺骗模型输出对其有利的结论,甚至执行未授权的操作。

随着LLM渗透业务流程,这些场景下的潜在攻击路径大幅增加。大型企业往往构建了复杂的AI生态系统,包括模型、Agent代理、工具插件、第三方API等组件。这种复杂性带来了许多以前没有考虑到的风险点。正如Palo Alto Networks所指出的:“AI的爆炸式增长创造了全新的动态攻击面,黑客开始利用模型篡改、数据投毒、提示词注入等手法在各层面发起攻击”。企业必须正视这些因LLM应用而扩张的攻击面,将其纳入整体安全策略。

新型LLM安全风险:OWASP Top 10视角

面对LLM带来的全新威胁,OWASP于近日发布了大型语言模型应用Top 10风险列表,为开发者和安全团队提供指导。Top 10涵盖了LLM应用中最关键的漏洞类别。从中可以看出,与传统应用安全相比,LLM应用既有共性风险也有独特挑战。下面是LLM应用中几个典型的新型风险:

  • 提示词注入:提示词注入是排名首位的风险类别。攻击者通过构造恶意输入提示,诱导LLM产生偏离预期的行为或泄露信息。例如,向客服机器人输入看似正常却包含隐藏指令的内容,迫使其绕过安全限制。这种利用模型对提示过度信任的攻击,类似于传统Web中的代码注入,会直接危及模型输出的可靠性。

  • 敏感信息泄露:LLM可能在对话或生成内容时意外吐露训练数据中包含的机密信息。如果应用未对模型回答进行严格过滤,用户提问就可能套出本应保密的内部数据(如个人隐私、商业秘密)。这一风险提醒我们,应谨慎选择训练语料并实行严格的输出审查,否则模型将无意中充当“泄密者”。

  • 工具与Agent管控问题:这一类风险在OWASP清单中被称为“过度代理”(Excessive Agency)。当LLM应用被赋予过多自动化权限,例如可以调用系统命令或外部插件时,攻击者就有机可乘。如果模型收到恶意指令,可能利用其过高权限执行超出预期的操作。典型场景是,某AI助手本应只读邮件内容,却意外拥有发送邮件的功能。攻击者通过隐藏指令诱使助手发送大量垃圾邮件,就是Agent权限滥用的体现。

综合来看,LLM应用安全既涉及传统问题在新环境下的变种,也引入了AI特有的新风险。企业在部署LLM时,必须参考这些新兴威胁模型,提前构筑防线。

2025 RSAC上的LLM安全议题与厂商攻防策略

在2025 RSAC大会上,围绕LLM安全的讨论不仅体现在演讲研讨,也反映在众多厂商的新产品和解决方案中。各大安全厂商纷纷发布针对LLM风险的防护策略和工具模块。以下精选几家备受瞩目的厂商及其在大会上的动态:

  • Protect AI:作为AI安全领域的新锐,Protect AI专注于提供AI/ML系统的安全保障。本次RSA大会上,Protect AI展示了其用于保护模型生命周期的综合方案,包括模型文件安全扫描、LLM运行时防护以及自动化生成式AI红队工具等。这些解决方案帮助企业从模型开发阶段到部署运行阶段实现端到端的AI安全。此外,大会期间Palo Alto Networks宣布将收购Protect AI,以整合其技术加强自身AI安全能力。可以预见,Protect AI团队的加入将加速业界推出面向LLM的扫描、监测与防护产品。

  • Cloudflare:作为知名的网络基础设施和安全服务提供商,Cloudflare此次推出了专门针对LLM应用的防护模块——Firewall for AI。该产品集成在Cloudflare现有的WAF(Web应用防火墙)平台上,可自动发现企业在用的LLM应用,并为其提供即插即用的安全防护。除此以外Cloudflare还在AI Gateway产品中新增了“AI护栏”(Guardrail),专门为LLM应用提供提示词防护和内容审查能力。

  • Microsoft:微软在大会上强调了“安全助力AI创新”的主题,展示了其端到端的AI安全方案来帮助企业放心地采用LLM等技术。每个Agent都在微软安全平台上运行,遵循统一的安全和合规策略,确保AI决策透明可控。此外,微软还发布了一系列AI治理工具,涵盖模型输出内容审核、数据合规管理和使用审计等方面,帮助企业在满足法规要求的前提下部署AI。

  • Cisco:老牌网络安全厂商思科在本届RSA大会上提出了“为AI时代重新构想安全”的主张。思科高层在演讲中指出,AI的兴起给网络安全带来了前所未有的复杂挑战。为此,思科今年早些时候推出了行业首个专门面向AI风险的解决方案——Cisco AI Defense。该平台为企业提供统一视图来管理AI资产:自动发现企业内部有哪些AI模型在被使用,持续验证这些模型是否遭到篡改,并在模型使用全过程中施加安全和合规护栏(Guardrail)。

结语:构建可信AI刻不容缓

随着2025 RSAC系列深度解读陆续推出,我们已从多维度、全流程地勾勒出 AI 驱动下的安全新图景。无论是赋能安全运营中心的智能Agent、还是革新安全运维的AI-SOC,亦或是深入剖析行业风向与LLM应用风险,这一切都指向同一个核心:在 AI 浪潮中,唯有不断创新并构建可信可控的安全体系,才能真正让技术红利为企业所用。

未来已来,机遇与挑战并存。我们期待与各方同行者携手,围绕 GenAI 智能体、AIOps 及 LLM 安全等焦点,共建开放协同的生态,共同书写下一段智能防御的新篇章。让我们把握行业趋势,抢先布局,赢得下一轮安全与创新的双重红利!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/904467.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

网页版部署MySQL + Qwen3-0.5B + Flask + Dify 工作流部署指南

1. 安装MySQL和PyMySQL 安装MySQL # 在Ubuntu/Debian上安装 sudo apt update sudo apt install mysql-server sudo mysql_secure_installation# 启动MySQL服务 sudo systemctl start mysql sudo systemctl enable mysql 安装PyMySQL pip install pymysql 使用 apt 安装 My…

Transformer数学推导——Q55 证明跨层残差跳跃(Cross-Layer Skip Connections)的信息融合效率

该问题归类到Transformer架构问题集——残差与归一化——残差连接。请参考LLM数学推导——Transformer架构问题集。 1. 引言 在深度学习的发展历程中,网络结构的不断创新推动着模型性能的持续提升。跨层残差跳跃(Cross-Layer Skip Connections&#xf…

41.寻找缺失的第一个正数:原地哈希算法详解

文章目录 引言问题描述方法思路:原地哈希算法算法步骤 完整代码实现关键代码解析复杂度分析示例说明总结 引言 在算法面试和数据处理中,寻找缺失的第一个正数是一个经典问题。题目要求给定一个未排序的整数数组,找到其中缺失的最小正整数&am…

matlab 中function的用法

matlab 中function的用法 前言介绍1. 基本语法示例(1)可以直接输出(2)调用函数 2.输入参数和输出参数示例多输入参数和输出参数定义一个函数,计算两个数的和与差:调用该函数: 3. 默认参数示例 4…

HarmonyOS开发之基于子窗口实现应用内悬浮窗

鸿蒙开发:基于子窗口实现应用内悬浮窗(含完整代码示例) 在现代移动应用中,悬浮窗/悬浮球是一种非常实用的交互方式,常用于展示快捷入口、实时通知、视频播放等场景。例如: 聊天应用中的小助手按钮视频应用的画中画功能游戏或工具类…

可以下载blender/fbx格式模型网站

glbxz.com glbxz.com可以下载blender/fbx格式模型。当然里面有免费的

250505_HTML

HTML 1. HTML5语法与基础标签1.1 HTML5特性1.1.1 空白折叠现象1.1.2 转义字符 1.2 HTML注释1.3 基础标签1.3.1 div标签1.3.2 标题标签1.3.3 段落标签1.3.4 title1.3.5 meta 1.4 html骨架1.4.1 DTD1.4.2 html标签1.4.3 head与body标签 1.5 div标签详解1.5.1 常见class类名 1.6 列…

数据封装的过程

数据的封装过程 传输层 UDP 直接将数据封装为UDP数据报​,添加UDP头部(8B)。 要点: UDP首部简单,无连接不可靠、无重传、无拥塞控制,适用于实时性要求较高的通讯;不需要源端口或不想计算检…

面向AGI的语言认知操作系统形式化模型

邹晓辉融智学语言数据库体系的数学表达 ——面向AGI的语言认知操作系统形式化模型 1. 基础定义与符号系统 设语言宇宙 L 为所有语言要素的集合,其结构可分解为: LY(言)U(语)A(用) 其中: YPGS (音/形/义三元组) U⋃…

基于 Spring Boot 瑞吉外卖系统开发(十)

基于 Spring Boot 瑞吉外卖系统开发(十) 修改菜品 修改菜品是在原有的菜品信息的上对菜品信息进行更新,对此修改菜品信息之前需要将原有的菜品信息在修改界面进行展示,然后再对菜品信息进行修改。 修改菜品分为回显菜品信息和更…

Three.js和WebGL区别、应用建议

Three.js 和 WebGL 是用于在浏览器中创建 3D 图形的两种技术,它们之间有明显的区别和适用场景。 对于一般数据展示和模型展示而言,应用更多的是three.js,毕竟相对学习成本来说webGL跟高,需要投入更多的精力和基础功能的开发和验证上。而three.js封装了webGL的功能,开发相对…

【Vue】移动端开发(Uni-app、Taro)

个人主页:Guiat 归属专栏:Vue 文章目录 1. Uni-app 与 Taro 简介1.1 什么是 Uni-app?1.2 什么是 Taro?1.3 Uni-app vs Taro(对比图) 2. 项目初始化与目录结构2.1 初始化 Uni-app 项目2.2 初始化 Taro 项目&…

自定义SpringBoot Starter-笔记

SpringBoot Starter的介绍参考: Spring Boot Starter简介-笔记-CSDN博客。这里介绍如何自定义一个springBoot Starter。 1. 项目结构 创建一个 Maven 项目,结构如下: custom-spring-boot-starter-demo/ ├── custom-hello-jdk/ # jdk模…

linux >!

Linux 中 >! 符号的含义与用法 ‌基本定义‌在 Linux Shell 中,>! 是由 > 和 ! 组合的特殊符号,主要用于 ‌强制覆盖文件‌。其行为与常规的 > 类似,但额外添加了忽略潜在限制的功能。 ‌典型场景‌绕过 noclobber 限制‌: 若 Shell 启用了 noclobber 选项(默…

共铸价值:RWA 联合曲线价值模型,撬动现实资产生态

摘要 本文提出了一种针对真实资产(RWA)产业的联合曲线激励模型,将劳动与数据贡献映射为曲线价值,并基于固定档位与指数衰减奖励发放总计 2.1亿积分。该模型结合了去中心化定价与平滑递减机制,不仅为早期贡献者提供更高…

java安全入门

文章目录 java基础知识this变量方法可变参数构造方法继承的关键字protected super阻止继承方法重载向上转型和向下转型多态抽象接口static静态字段default方法 包final内部类 java序列化与反序列化反射urldns链动态代理类加载器(ClassLoader)双亲委派模型…

前端基础之《Vue(14)—组件通信(1)》

一、什么是组件通信 1、通信是组件或模块之间的数据交互。 2、组件多重通信就形成了数据流,数据流管理的优劣决定了产品能否上线,返工是否频繁的问题。 3、Vue中有哪些常见的通信方案? 组件树的概念: 在Vue中,组件…

el-row el-col

参考layout布局 Element - The worlds most popular Vue UI frameworkElement,一套为开发者、设计师和产品经理准备的基于 Vue 2.0 的桌面端组件库https://element.eleme.cn/#/zh-CN/component/layout#row-attributes 一行可以看做24个 Element UI 中的 el-row 是…

Socket-TCP

在TCP/ip协议中,用源IP、源端口号、目的IP、目的端口号、协议号这样一个五元组来标识一个通信! 端口号范围划分 0 - 1023: 知名端口号,HTTP,FTP,SSH 等这些广为使用的应用层协议,他们的端口号都是固定的。…

大数据Spark(五十八):Spark Pi介绍

文章目录 Spark Pi介绍 Spark Pi介绍 Spark Pi是Apache Spark官方提供的一个示例程序,该案例使用 Spark 进行分布式计算,通过蒙特卡罗方法估算圆周率(π)的值,其估算π原理如下: 上图中,正方形…