【论文笔记】advPattern

【论文题目】
advPattern: Physical-World Attacks on Deep Person Re-Identification via Adversarially Transformable Patterns

Abstract

本文首次尝试对深度reID实施鲁棒的物理世界攻击。提出了一种新颖的攻击算法,称为advPattern,用于在衣服上生成对抗模式,它通过学习不同相机之间图像对的变化来拉近来自同一相机的图像特征,同时将来自不同相机的特征推得更远。通过穿着本文设计的"隐形斗篷",敌手可以逃避人员搜索,或者假冒目标人员来欺骗物理世界中的深度身份识别模型。
使用Market1501和本文建立的PRCS数据集评估本文的可变换模式在对手服装上的有效性。实验结果表明,在逃避攻击下,reID模型匹配对手的rank-1准确率从87.9%下降到27.1%。此外,在模拟攻击下,敌手可以以47.1%的1级准确率和67.9 %的mAP模拟目标人物。结果表明,深度reID系统容易受到我们的物理攻击。

3 System Model

在这一部分中,我们首先介绍了威胁模型,然后介绍了我们的设计目标。

3.1 Threat Model

工作主要集中在对基于DNN的reID系统的物理可实现的攻击上,该系统可以实时捕获行人,并在非重叠的摄像机中自动搜索感兴趣的人。
通过将探测图像(probe image, 查询的图像)提取的特征与从其他相机实时采集的一组不断更新的画廊图像(gallery image)的特征进行比较,reID系统从图库中输出被认为与查询图像最相似的图像。

假设攻击者对训练好的深度reID模型具有白盒访问权限,因此他具有模型结构和参数的知识,并且只在推理阶段对reID模型实施攻击。不允许对手操纵数字查询图像或从相机收集的图库图像。 此外,对手在攻击reID系统时不得改变自己的物理外观,以免引起人类监督者的怀疑。这些合理的假设使得在reID系统上成功实现物质世界攻击具有一定的挑战性。

3.2 Design Objectives

提出两种攻击情境,逃避攻击(Evading Attack)和冒充攻击(Impersonation Attack)。

逃避攻击:躲避攻击是一种无针对性的攻击:reID模型被愚弄,将对手比作一个除自己之外的任何人,看起来好像对手穿着隐形斗篷。形式上,一个reID模型 f θ ( ⋅ , ⋅ ) f_\theta(\cdot,\cdot) fθ(,)输出一对图像的相似度分数,其中 θ \theta θ是模型参数。给定对手的探测图像 p a d v p_{adv} padv,对手的画廊图像 g a d v g_{adv} gadv,尝试找到一个贴到对手衣服上的图案 δ \delta δ,通过下面的优化问题,使得reID模型错误识别:
max ⁡ D ( δ ) , s . t . R a n k ( f θ ( p a d v + δ , g a d v + δ ) ) > K (1) \max D(\delta), s.t. Rank(f_\theta(p_{adv+\delta},g_{adv+\delta}))>K\tag{1} maxD(δ),s.t.Rank(fθ(padv+δ,gadv+δ))>K(1)
其中 D ( ⋅ ) D(\cdot) D()用于测量生成的图案的真实性。与以往的工作旨在生成视觉上不明显的扰动不同,本文尝试为摄像头传感生成可见图案,同时使生成的图案与衣服上的自然装饰图案无法区分。只有当图像对 ( p a d v + δ , g a d v + δ ) (p_{adv+\delta},g_{adv+\delta}) (padv+δ,gadv+δ)排在top-K结果后面时,对抗模式才能成功构建,这意味着reID系统无法实现对手的跨相机图像匹配。

冒充攻击:是一种目标攻击(targetted attack),可以看作是逃避攻击的一种扩展:对手试图欺骗身份识别模型,使其将自己识别成目标身份。
给定目标身份图像 I t I_t It,形式上冒充攻击是优化下面的优化过程:
max ⁡ D ( δ ) , s . t . { R a n k ( f θ ( p a d v + δ , g a d v + δ ) ) > K R a n k ( f θ ( p a d v + δ , I t ) ) < K (2) \max D(\delta), s.t. \begin{equation} \left\{ \begin{aligned} Rank(f_\theta(p_{adv+\delta},g_{adv+\delta}))>K \\ Rank(f_\theta(p_{adv+\delta}, I_t)) < K \end{aligned} \right. \end{equation}\tag{2} maxD(δ),s.t.{Rank(fθ(padv+δ,gadv+δ))>KRank(fθ(padv+δ,It))<K(2)

4 Adversarial Pattern Generation

4.1 Transformable Patterns across Camera Views

对于逃避攻击,给定由对手构建的生成集 X = ( x 1 , x 2 , ⋯ , x m ) X=(x_1,x_2,\cdots,x_m) X=(x1,x2,,xm),包含了从 m m m个不同的摄像机捕捉的对手图片。对于每张 X X X中图像 x i x_i xi,计算对抗图像 x i ′ = o ( x i , T i ( δ ) ) x_i'=o(x_i,T_i(\delta)) xi=o(xi,Ti(δ))。这表示将变换后的 x i x_i xi对应区域 T i ( ⋅ ) T_i(\cdot) Ti()与生成的图案 δ δ δ进行叠加。这里 T i ( δ ) T_i(\delta) Ti(δ)是对 δ \delta δ的透视变换操作。

通过优化下面的问题生成可转移的对抗性图案 δ \delta δ
argmin ⁡ δ ∑ i = 1 m ∑ j = 1 m f θ ( x i ′ , x j ′ ) , s . t . i ≠ j (3) {\underset{\delta}{\operatorname{arg min}}}\sum_{i=1}^m\sum_{j=1}^m f_\theta(x_i',x_j'),s.t. i\neq j\tag{3} δargmini=1mj=1mfθ(xi,xj),s.t.i=j(3)
迭代地最小化来自不同摄像机的对手图像的相似度分数,以通过生成的对抗模式逐渐进一步提取来自不同摄像机的对手图像的特征。

对于冒充攻击,给定目标行人图像 I t I_t It,优化下面问题:
argmin ⁡ δ ∑ i = 1 m ∑ j = 1 m f θ ( x i ′ , x j ′ ) − α ( f θ ( x i ′ , I t ) + f θ ( x j ′ , I t ) ) , s . t . i ≠ j (4) {\underset{\delta}{\operatorname{arg min}}}\sum_{i=1}^m\sum_{j=1}^m f_\theta(x_i',x_j')-\alpha(f_\theta(x_i',I_t)+f_\theta(x_j',I_t)),s.t. i\neq j\tag{4} δargmini=1mj=1mfθ(xi,xj)α(fθ(xi,It)+fθ(xj,It)),s.t.i=j(4)
其中 α \alpha α控制不同项的强度。通过在Eq.4中加入第二项,额外最大化敌手图像与目标人物图像的相似性分数,以生成一个更强大的对抗模式来拉近敌手图像与目标人物图像的提取特征。

4.2 Scalable Patterns in Varying Positions

对抗模式应该能够在任何位置实施成功的攻击,这意味着攻击应该与位置无关。为了实现这一目标,本文进一步改进了对抗模式在不同位置上的可扩展性。

由于无法精确捕捉视角变换的分布,因此采用多位置采样策略增加生成集的体量,以近似生成可扩展对抗性图案的图像分布。对抗者的扩展生成集 X C X^C XC是通过收集从各个摄像机视角拍摄的不同距离和角度的对抗者图像,并对原始收集的图像进行平移和缩放等图像变换合成实例构建的。

对于逃避攻击,从 X C X^C XC中给定三元组 t r i k = < x k o , x k + , x k − > tri_k=<x_k^o,x_k^+,x_k^-> trik=<xko,xk+,xk>,其中 x k o x_k^o xko x k + x_k^+ xk+是同一摄像机下的行人图像,和 x k − x_k^- xk是不同摄像机下的行人图像。对于 t r i k tri_k trik中的每个图像 x k x_k xk,计算对抗图像 x k ′ x_k' xk o ( x k , T k ( δ ) ) o(x_k,T_k(\delta)) o(xk,Tk(δ))。每次迭代时随机选择一个三元组来求解下列优化问题:
argmin ⁡ δ E t r i k ∼ X C f θ ( ( x k o ) ′ , ( x k − ) ′ ) − β f θ ( ( x k o ) ′ , ( x k + ) ′ ) (5) {\underset{\delta}{\operatorname{arg min}}} \mathbb{E}_{tri_k\sim X^C} f_\theta((x_k^o)',(x_k^-)')-\beta f_\theta((x_k^o)',(x_k^+)')\tag{5} δargminEtrikXCfθ((xko),(xk))βfθ((xko),(xk+))(5)
其中 β \beta β是权衡不同项的超参数。式中:目标式Eq.5是最小化 x k o x_k^o xko x k − x_k^- xk的相似度得分,以区分跨摄像机视角的行人图像,而最大化 x k o x_k^o xko x k + x_k^+ xk+的相似度得分,以保持同一摄像机视角下行人图像的相似性。
在优化过程中,生成模式从增广生成集 X C X^C XC中学习可伸缩性,以拉近从同一相机中提取的人物图像特征,同时将来自不同相机的特征推得更远,如图4所示。

在这里插入图片描述

图4:可扩展对抗模式如何工作的说明。通过添加生成的对抗模式,将来自同一相机视图的对抗图像在特征空间中聚集在一起。同时,来自不同摄像头的对抗图像的距离变得更远。

对于冒充攻击,给定目标的图像集合 I t I^t It,每个迭代选择一个四元组 q u a d k = < x k o , x k + , x k − , t k > quad_k=<x_k^o,x_k^+,x_k^-,t_k> quadk=<xko,xk+,xk,tk>,由 t r i k tri_k trik和从 I t I^t It中选择的 t k t_k tk组成。迭代地优化下面的问题:
argmax ⁡ δ E q u a d k ∼ { X C , I t } f θ ( ( x k o ) ′ , t k ) + λ 1 f θ ( ( x k o ) ′ , ( x k + ) ′ ) − λ 2 f θ ( ( x k o ) ′ , ( x k − ) ′ ) (6) {\underset{\delta}{\operatorname{arg max}}}\mathbb{E}_{quad_k\sim \{X^C,I^t\}}f_\theta((x_k^o)',t_k)+\lambda_1 f_\theta((x_k^o)',(x_k^+)')-\lambda_2 f_\theta((x_k^o)',(x_k^-)')\tag{6} δargmaxEquadk{XC,It}fθ((xko),tk)+λ1fθ((xko),(xk+))λ2fθ((xko),(xk))(6)
其中 λ 1 \lambda_1 λ1 λ 2 \lambda_2 λ2是控制不同目标的强度的超参数。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/13686.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

文本转语音软件-TTSMaker

一、TTSMaker介绍 TTSMaker&#xff08;马克配音&#xff09;是一款免费的文本转语音工具&#xff0c;提供语音合成服务&#xff0c;支持多种语言&#xff0c;包括中文、英语、日语、韩语、法语、德语、西班牙语、阿拉伯语等50多种语言&#xff0c;以及超过300种语音风格。 可…

C语言指针相关知识(第四篇章)(非常详细版)

文章目录 前言一、什么是回调函数二、qsort函数的介绍(默认升序排序)三、qsort函数的模拟实现&#xff08;通过冒泡排序&#xff09;总结 前言 本文介绍了回调函数&#xff0c;qsort函数的使用&#xff0c;以用冒泡排序来模拟实现qsort函数 提示&#xff1a;以下是本篇文章正文…

持续总结中!2024年面试必问 20 道 Redis面试题(四)

上一篇地址&#xff1a;持续总结中&#xff01;2024年面试必问 20 道 Redis面试题&#xff08;三&#xff09;-CSDN博客 七、Redis过期键的删除策略&#xff1f; Redis 过期键的删除策略主要涉及以下几种方式&#xff1a; 1. 定时删除&#xff08;Timed Expiration&#xff…

面试的内容

1.C的三大特性&#xff1a;封装&#xff0c;继承&#xff0c;多态 2.C11的特性 3.NULL与Nullptr的区别: nullptr是一个特殊的空指针常量&#xff0c;不能被隐式转换为其他类型。 NULL 在一些情况下可能会发生隐式类型转换 4.智能指针 5.stl/Qt stl stl容器包含哪些&…

如何在没有密码或Face ID的情况下解锁iPhone

iPhone 是一款以其一流的安全功能而闻名的设备&#xff0c;包括面容 ID 和密码。但是&#xff0c;你有没有想过&#xff0c;如果没有这些安全措施&#xff0c;你是否可以解锁iPhone&#xff1f;无论您是忘记了密码&#xff0c;Face ID不起作用&#xff0c;还是只是对其他方法感…

5.23-

回顾 I0多路复用的原理? 程序首先向操作系统发起一个IO多路复用请求&#xff0c;告诉操作系统需要监视哪些IO通道。这些IO通道可以包括网络套接字、文件描述符等操作系统随后会将这些IO通道放入一个队列中&#xff0c;并在某个IO通道就绪时&#xff08;如数据到达、文件可读…

「YashanDB迁移体验官」Mysql生产环境迁移至YashanDB数据库深度体验

「YashanDB迁移体验官」Mysql生产环境迁移至YashanDB数据库深度体验 1. 前言1.1 产品介绍1.2 产品架构1.3 产品规格1.3.1 数据库版本支持1.3.2 数据类型支持 2. YMP安装2.1 环境说明2.2 执行安装2.3 访问YMP2.3.1 YMP登录界面2.3.2 YMP迁移流程 3. YMP数据迁移3.1 创建数据源3.…

离线模式下载安装gcc-4.8.5

目录 一,下载gcc离线安装包 二,下载gcc依赖包 三,安装gcc 1, 解压 2, 将依赖库放置环境 3, 安装 3.1自动安装 3.1.1 执行依赖库的编译 3.1.2 新建编译目录 3.1.3 配置编译环境 3.1.4 编译 3.1.5 安装 3.2 手动安装 3.2.1 安装GMP-4.3.2 3.2.2 安装mpf…

【pytorch】 Win11下cuda,cudnn以及pytorch环境安装

Win11下cuda&#xff0c;cudnn以及pytorch环境安装 CUDA环境安装1. 查看CUDA版本1.1 打开NVIDIA控制面板&#xff0c;可以点右下角的NVIDIA设置1.2 点击系统信息&#xff0c;选择组件查看CUDA版本 2. 下载对应的CUDA版本3. 安装3.1 启动exe文件安装 4. 验证安装结果 CUDNN 环境…

【MySQL精通之路】InnoDB-启动选项和系统变量

系统变量可以在服务器启动时设置TRUE或FALSE启用禁用&#xff0c;也可以通过使用--skip前缀来禁用 例如&#xff1a; 要启用或禁用InnoDB自适应哈希索引&#xff0c;可以在命令行中使用--skip-innodb-adaptive-hash-index或--innodb-adaptive-hash-index&#xff0c;或者在配置…

JavaSE : 注解 Annotation

注解 Java中的注解&#xff08;Annotation&#xff09;是一种元数据形式&#xff0c;用于向编译器或JVM提供有关程序元素&#xff08;如类、方法、变量、参数和包&#xff09;的附加信息。注解不会直接影响程序的行为或结构&#xff0c;但它们可以被编译器、开发工具或运行时环…

Apache CXF Aegis databinding SSRF 高危漏洞修复

一、漏洞修复 Apache CXF Aegis databinding SSRF漏洞 Spring Web UriComponentsBuilder URL解析不当漏洞 二、修复步骤 1、Apache CXF Aegis databinding SSRF漏洞修复 步骤&#xff1a; 进入服务器搜索 databinding find -name *databinding* 发现版本是3.1.6 果断…

数据结构~~带环链表的环开始的节点位置**两种方法

1.带环链表环开始的位置 &#xff08;1&#xff09;上面的这个测试用例使用的是包含了4个节点的带环链表&#xff0c;我们要找的就是链表里面的环开始的节点的位置&#xff0c;拿这个测试用例而言&#xff0c;就是2这个节点&#xff0c;从这个节点开始&#xff0c;我们的链表就…

【第16章】MyBatis-Spring之SqlSession

文章目录 前言一、SqlSessionTemplate1. 创建2. 使用3. 批量操作3.1 创建SqlSessionTemplate3.2 service3.3 controller 二、SqlSessionDaoSupport总结 前言 在 MyBatis 中&#xff0c;你可以使用 SqlSessionFactory 来创建 SqlSession。 一旦你获得一个 session 之后&#xf…

源码部署EFK

目录 资源列表 基础环境 关闭防护墙 关闭内核安全机制 修改主机名 添加hosts映射 一、部署elasticsearch 修改limit限制 部署elasticsearch 修改配置文件 单节点 集群(3台节点集群为例) 启动 二、部署filebeat 部署filebeat 添加配置文件 启动 三、部署kiban…

单点登录【demo】

前言 2023-07-29 15:44:56 公开发布于 2024-5-22 00:04:56 单点登录【demo】 以下是 Java 实现单点登录的示例代码&#xff1a; 单点登录&#xff08;Single Sign-On&#xff0c;SSO&#xff09;是一种身份认证和授权机制&#xff0c;可以使用户在多个应用程序或系统之间使…

SQL常用基础语句(一)-- FGHIJ开头

GROUP BY GROUP BY语法可以根据给定数据列的每个成员对查询结果进行分组统计&#xff0c;最终得到一个分组汇总表。在GROUP BY子句后面包含了一个HAVING子句&#xff0c;HAVING类似于WHERE&#xff0c;&#xff08;唯一的差别是WHERE过滤行&#xff0c;HAVING过滤组&#xff0…

【C/C++笔试练习】TCP、IP广播、ARP协议、IP路由器、MAC协议、三次握手、TCP/IP、子网划分年、会抽奖、抄送列表

文章目录 C/C笔试练习选择部分&#xff08;1&#xff09;TCP&#xff08;2&#xff09;IP广播&#xff08;3&#xff09;ARP协议&#xff08;4&#xff09;IP路由器&#xff08;5&#xff09;MAC协议&#xff08;6&#xff09;三次握手&#xff08;7&#xff09;TCP/IP&#xf…

PHP在线制作表白网源码

PHP在线制作表白网源码&#xff0c;送女友个惊喜吧&#xff0c;无数据库&#xff0c;上传就能用&#xff0c;后台/admin&#xff0c;账号密码都是admin 百度网盘&#xff1a;https://pan.baidu.com/s/1rbD2_8IsP9UPLK-cdgEXfA?pwdre59

AWS安全性身份和合规性之Secrets Manager

AWS Secrets Manager是一项AWS托管的服务&#xff0c;用于安全地存储、管理和轮转敏感信息&#xff0c;如数据库密码、API密钥、OAuth令牌等。AWS Secrets Manager助您在整个生命周期内轻松管理、检索和轮换数据库凭证、API密钥和其他密钥。 关键词&#xff1a;集中管理、加密…