真正的风险在于工作流安全而非模型安全

随着AI副驾驶和智能助手被嵌入到日常工作中,安全团队仍然专注于保护模型本身。但最近的事件表明,更大的风险在别处:围绕这些模型的工作流程。

最近发现两个伪装成AI助手的Chrome扩展程序从90多万用户那里窃取了ChatGPT和DeepSeek的聊天数据。另外,研究人员演示了隐藏在代码库中的提示注入如何欺骗IBM的AI编程助手在开发者机器上执行恶意软件。

这两种攻击都没有破坏AI算法本身。它们利用的是AI运行的环境。这是值得关注的模式。当AI系统被嵌入到真正的业务流程中,总结文档、起草邮件、从内部工具提取数据时,仅仅保护模型是不够的。工作流程本身成为了攻击目标。

为了理解这为什么重要,我们来看看AI今天是如何被实际使用的:

现在企业依靠AI来连接应用程序和自动化过去手动完成的任务。AI写作助手可能从SharePoint提取机密文档并在邮件草稿中总结。销售聊天机器人可能交叉引用内部CRM记录来回答客户问题。这些场景都模糊了应用程序之间的边界,动态创建了新的集成路径。

风险在于智能体的运作方式。它们依靠概率决策而不是硬编码规则,基于模式和上下文生成输出。精心编写的输入可以诱导AI做设计者从未想过的事情,AI会遵从,因为它没有原生的信任边界概念。

这意味着攻击面包括模型接触到的每一个输入、输出和集成点。

当攻击者可以简单地操纵模型看到的上下文或它使用的通道时,攻击模型代码就变得不必要了。前面描述的事件说明了这一点:隐藏在代码库中的提示注入在日常任务中劫持AI行为,而恶意扩展程序则从AI对话中窃取数据,完全不需要接触模型。

这些工作流威胁暴露了传统安全的盲点。大多数传统防御都是为确定性软件、稳定的用户角色和清晰的边界而构建的。AI驱动的工作流打破了这三个假设。

大多数通用应用程序区分可信代码和不可信输入。AI模型不会。对它们来说一切都只是文本,所以隐藏在PDF中的恶意指令与合法命令看起来没有区别。传统的输入验证没有帮助,因为有效载荷不是恶意代码,它只是自然语言。

传统监控捕获明显的异常,如大量下载或可疑登录。但作为例行查询一部分读取千条记录的AI看起来像正常的服务对服务流量。如果数据被总结并发送给攻击者,技术上没有违反任何规则。

大多数通用安全策略指定允许或阻止的内容:不让这个用户访问那个文件,阻止到这个服务器的流量。但AI行为取决于上下文。你如何编写一个说"永远不要在输出中泄露客户数据"的规则?

安全程序依赖定期审查和固定配置,如季度审计或防火墙规则。AI工作流不会保持静态。集成可能在更新后获得新功能或连接到新数据源。等到季度审查时,令牌可能已经泄露了。

因此,更好的方法是将整个工作流视为要保护的对象,而不仅仅是模型。

首先了解AI实际在哪里被使用,从Microsoft 365 Copilot等官方工具到员工可能自己安装的浏览器扩展程序。了解每个系统可以访问什么数据以及可以执行什么操作。许多组织惊讶地发现整个业务中运行着数十个影子AI服务。

如果AI助手只用于内部总结,就限制它发送外部邮件。在输出离开你的环境之前扫描敏感数据。这些护栏应该存在于模型本身之外,在检查动作的中间件中。

像对待任何其他用户或服务一样对待智能体。如果AI只需要对一个系统的读取访问权限,不要给它对所有东西的全面访问权限。将OAuth令牌限制在所需的最小权限,并监控异常情况,如AI突然访问以前从未接触过的数据。

最后,教育用户关于未经审查的浏览器扩展程序或从未知来源复制提示的风险也很有用。在部署第三方插件之前进行审查,并将任何接触AI输入或输出的工具视为安全边界的一部分。

在实践中,手动完成所有这些工作无法扩展。这就是为什么出现了新的工具类别:动态SaaS安全平台。这些平台充当AI驱动工作流之上的实时护栏层,学习正常行为的样子并在出现异常时标记。

Reco是一个领先的例子。

如上所示,该平台为安全团队提供了整个组织AI使用情况的可见性,显示正在使用哪些生成式AI应用程序以及它们如何连接。从那里,你可以在工作流级别实施护栏,实时捕获风险行为,并在不减慢业务速度的情况下保持控制。

申请演示:开始使用Reco。

Q&A

Q1:为什么传统安全防护在AI工作流中会失效?

A:传统安全防护是为确定性软件、稳定用户角色和清晰边界设计的,而AI工作流打破了这三个假设。AI模型无法区分可信代码和不可信输入,一切都只是文本;AI读取大量数据看起来像正常流量,难以被传统监控发现;AI行为依赖上下文,难以用固定规则管控。

Q2:AI工作流安全威胁主要来自哪里?

A:威胁主要来自工作流程本身而非模型算法。攻击者通过恶意浏览器扩展窃取AI对话数据,或在代码库中隐藏提示注入来劫持AI行为。由于AI依靠概率决策,精心编写的输入可以诱导AI执行设计者未预期的操作,攻击面包括模型接触的每个输入、输出和集成点。

Q3:如何建立有效的AI工作流安全防护?

A:需要将整个工作流视为保护对象。首先盘点所有AI使用情况,包括官方工具和影子AI服务;设置工作流级别的护栏,如限制AI的外部通信能力;采用最小权限原则管理AI访问权限;教育用户识别风险;部署动态SaaS安全平台作为实时护栏层。


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/1170148.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

本周网络安全威胁通报:AI语音克隆漏洞等多起事件

互联网从未平静过。每周都有新的黑客攻击、诈骗和安全问题在某个地方出现。本周的安全事件显示了攻击者改变策略的速度有多快,小错误如何演变成重大风险,以及相同的老工具如何不断找到新的突破方式。请继续阅读,在下一波攻击到来之前了解最新…

Anaconda+CUDA+PyTorch下载教程

@目录前言工具介绍1.Anaconda2.PyTorch3.CUDA4.整体工作关系图Anaconda安装(推荐)1.概述2.下载安装包3.下载步骤4.修改虚拟环境位置5.删除AnacondaCUDA安装(可选)1.概述2.版本匹配3.确认显卡型号4.获取CUDA安装包5…

设备一离线任务就挂?我在鸿蒙分布式项目中踩过的失败恢复坑

摘要 在鸿蒙系统(HarmonyOS / OpenHarmony)中,分布式能力已经从“概念阶段”进入了实际落地阶段。 手机、平板、智慧屏、车机、穿戴设备之间的协同已经非常常见,但在真实环境下,一个绕不开的问题是:失败随时…

有关平衡树

本篇将详细介绍FHQ-Treap的核心思想以及代码实现 一:BST BST是二叉搜索树,说白了就是一颗二叉树,它满足这样的性质: 对于任意节点x,它的左子树中的所有值都比x小,右子树中的所有值都比x大 (…

关于DAG定向问题的一些补充

DAG 定向是一个经典的集合划分容斥问题,我们想要做到每次删去一个 极大 的出度为零的点集,这个东西没有办法直接做到,所以我们考虑给每个集合分配一个容斥系数去做到,通过各种方式都可以得到 \((-1)^{|S|-1}\) 的容…

51单片机_DS1302

实时时钟芯片 DS1302DS1302时钟 main.c #include <REGX52.H> #include "LCD1602.h" #include "DS1302.h"void main() {LCD_Init();DS1302_Init();LCD_ShowString(1,1," - - ")…

工具Cursor(三)MCP(2)自定义mcp tools集成到cursor中的demo

借助 Cursor 对 MCP Servers 的支持&#xff0c;我们可以灵活定制 MCP 工具&#xff0c;有效提升整体工作效率。一、demo ①——调用系统接口你有没有遇到过&#xff1a;通过postman调用本地接口&#xff0c;需要携带token&#xff0c;这就需要登录到系统中抓取token&#xff1…

Playwright处理验证码的自动化解决方案

验证码&#xff08;CAPTCHA&#xff09;一直是自动化测试中最让人头疼的环节之一。每次碰到那些扭曲的文字、点选图片的挑战&#xff0c;自动化脚本就像撞上了一堵墙。我负责的电商项目最近就卡在了登录自动化这个环节——那个该死的滑动验证码让我们的回归测试屡屡失败。 经过…

20260116紫题训练总结 - Link

A - 算术天才⑨与等差数列 简单题,切了。考虑用线段树维护 \(\max\)、\(\min\)、\(\gcd\) 和每个数字前面最后一个等于祂的数字的位置,判断是简单的。 B - Building Bridges 由于 \(T1\) 写+调了一整场,根本没看题。…

【2026目标检测】高质量模型汇总

目标检测模型选型指南&#xff1a;从高精度慢模型到实用型算法全盘点 在目标检测领域&#xff0c;模型的速度与效果往往难以两全&#xff0c;有一批模型虽运行速度较慢&#xff0c;但凭借出色的检测效果占据一席之地&#xff0c;同时还有各类实用型算法和框架可供选择&#xff…

工具Cursor(三)MCP(1)介绍

一、在哪里添加McpServers 1、位置 Cursor是一个很好的Mcp Client&#xff0c;可以通过Cursor Setting--Tools & MCP --New Mcp Server来管理mcp tools。 添加之后都会展示在tools列表&#xff1a; 2、mcpServers 与 MCP 协议的边界 这是很多人会混淆的地方&#xff1a;…

拥有AI员工,才发现误会了领导

人工智能爆火三年&#xff0c;大模型和AI工具好用之后&#xff1a;职场从个人单刷模式&#xff0c;转变成带几个AI助手打团战&#xff0c;可以更高效的干活&#xff0c;但节奏却慢不下来。打工人成领导&#xff0c;不知薪水涨多少&#xff1f;虽说只是几个AI助手&#xff0c;但…

阿里千问落地谷歌UCP+A2UI,中国率先进入AI办事时代

刚刚&#xff0c;阿里千问App上线千问任务助理1.0&#xff0c;目前可以通过客户端申请邀测。千问打通了淘宝、支付宝等核心业务&#xff0c;标志着中国互联网正式进入AI办事时代。AI从单纯的对话框聊天&#xff0c;迈向了真正的办事助手。前不久&#xff0c;谷歌在大洋彼岸联合…

浙大陆展团队突破铁催化难题,实现高效氢联硅化反应 | 乐研试剂

在有机硅化学与合成化学的前沿领域&#xff0c;如何在不破坏关键Si–Si键的前提下&#xff0c;实现联硅前体的高选择性官能团化&#xff0c;一直是困扰研究人员的重大挑战。近日&#xff0c;浙江大学化学系陆展教授及其合作团队在联硅化学领域取得里程碑式突破。他们创新性地设…

P3349 [ZJOI2016] 小星星 - Link

先枚举一个集合 \(S\),设状态 \(f_{i,j}\) 表示树上 \(i\) 号点对应图上 \(j\) 号点 \((j\in S)\) 的方案数(可以多个树上的点对应一个图上的点)。转移是简单的。最后对于集合 \(S\),有容斥系数 \((-1)^{\left|S\r…

企业如何破解业法财融合痛点?AI风控探针的 4 个落地步骤

本文由幂律智能团队发布&#xff0c;核心探讨了 2026 年法律科技的关键技术——AI 风控探针。文章详细拆解了 AI 如何通过多 Agent 协作模式解决业法财深度融合中的数据割裂难题。重点涵盖&#xff1a;1. 如何通过拆解任务解决大模型幻觉&#xff0c;使合同审查准确率提升至 95…

【RAG召回排序】2025最全排序模型梳理

2025年检索重排模型全景盘点&#xff1a;从顶尖榜单到实用工具 在检索增强生成&#xff08;RAG&#xff09;和智能搜索领域&#xff0c;检索与重排模型的性能直接决定了系统的最终效果。今天我们就从权威排行榜出发&#xff0c;盘点当前最受关注的模型与工具。 一、权威检索重…

Nature发表、Science点赞!清华揭秘AI让科学家走捷径却让科学走窄路

AlphaFold获得诺贝尔奖标志着人工智能工具已深入科学的核心地带。清华大学一项基于41,298,433篇论文的深度研究揭示了一个令人深思的悖论。AI显著提升了科学家的个人产出与职业进程&#xff0c;却导致整个科学探索的领域变得狭窄且固化。该研究发表在Nature上&#xff0c;而且被…

AI技术唾手可得的时代,挖掘新需求是产品突围的关键——某知名聚合DNS管理系统的需求洞察

a.内容描述 核心功能定位&#xff1a;该项目是一个聚合DNS管理系统&#xff0c;旨在为用户提供一个统一的Web界面&#xff0c;集中管理分布在多个主流云服务商和DNS服务平台的域名解析记录。其核心定位是解决用户在多平台间切换管理DNS解析的繁琐问题。关键应用场景&#xff1a…

编程已终结!AI时代的原生智能软件架构长啥样?Claude给了个指南

近期&#xff0c;完全由 Claude code 自主编程开发软件已经成为现实&#xff0c;人们惊呼编程已经终结&#xff0c;该领域的奇点已至&#xff1a;革了程序员再革打工人&#xff1a;Anthropic 发布 Cowork&#xff0c;Claude Code 走进数字办公自动化。 那AI时代的软件应该如何…