对抗攻防学习

深度神经网络目前已经获得了突破式发展,并且在多个领域得到了广泛应用。 然而,深度神经网络同样面临着被攻击的威胁,也就是“对抗样本”: 攻击者通过在源数据上增加难以通过感官辨识到的细微改变,让神经网络模型做出错误的分类决定。
本团队通过研究对抗样本的生成原理和算法实现,有助于分析基于深度学习的系统存在的安全漏洞, 并针对此类攻击建立更好的防范机制,加速机器学习领域的进步。 相关链接:
1. FaceBook AI:对抗攻防学习研究鲁棒性分析
2. 对抗攻防学习综艺节目:《燃烧吧!天才程序员》


Cyclical Adversarial Attack Pierces Black-box Deep Neural Networks



简介: 深度神经网络 (DNN) 已显示出抵抗对抗性攻击的脆弱性。通过利用对抗样本的可迁移性, 攻击者可以在不访问底层黑盒模型信息的情况下欺骗人工智能系统。然而,大部分对抗样本迁移到防御模型时往往表现不佳, 这可能会给人一种虚假的安全感。在本文中,我们提出了循环对抗攻击(CA2),这是一种通用且直接的方法, 可提高可转移性以攻破防御模型。我们首先从优化的角度重新审视基于动量的方法,发现它们通常存在可迁移性饱和困境。 为了解决这个问题,CA2执行循环优化算法来生成对抗样本。与累积速度以不断更新解决方案的标准动量策略不同, 我们将生成过程分为多个阶段,并将前一阶段的速度向量视为适当的知识,以指导更大步长的新对抗性攻击。 此外,CA2在每次优化时以循环方式应用一种新颖且兼容的增强算法,以进一步增强黑盒可迁移性,称为循环增强。 在各种模型上进行的大量实验不仅验证了每个设计算法在 CA2中的有效性,而且还说明了我们的方法与现有迁移对抗攻击相比的优越性。

Pattern Recognition (PR), 2022
[代码]

Enhancing Adversarial Examples Via Self-Augmentation

Lifeng Huang, Wenzi Zhuang, Chengying Gao, Ning Liu

简介: 最近,对抗性攻击对深度神经网络的安全性提出了挑战,这促使研究人员建立各种防御方法。 然而,目前的防御措施是否足以实现真正的安全? 为了回答这个问题,我们提出了一种自我增强方法(SA)来规避防御者到可迁移的对抗样本。 具体而言,自增强包括两种策略: (1)自身集成,将额外的卷积层应用于现有深度神经网络以构建各种虚拟模型, 再将这些虚拟模型的输出层融合在一起以实现集成模型效果并防止过度拟合; (2)偏差增强,它基于对防御模型的观察,即输入数据被高度弯曲的损失面包围, 从而启发我们将偏差向量添加于输入数据,使其逃离局部的空间。 值得注意的是,我们可以自然地将自我增强与现有的迁移攻击方法相结合, 以建立更多更强的可迁移的对抗性攻击。 我们对四种普通模型和十种防御方法进行了大量实验, 结果表明与最先进的可迁移攻击相比我们的方法具有较大优越性。

International Conference on Multimedia & Expo (ICME), 2021 (*oral)
[论文] [代码]

一种基于进化策略和注意力机制的黑盒对抗攻击算法

黄立峰,庄文梓,廖泳贤,刘宁

简介: 深度神经网络在许多计算机视觉任务中都取得了优异的结果,并在不同领域中得到广泛应用。 然而研究发现,在面对对抗样本攻击时,深度神经网络表现得较为脆弱,严重威胁着各类系统的安全性。 在现有的对抗样本攻击中,由于黑盒攻击具有模型不可知性质和查询限制等约束,更接近实际的攻击场景, 但现有的黑盒攻击方法存在攻击效率较低与隐蔽性弱的缺陷。因此,本文提出了一种基于进化策略的黑盒对抗攻击方法, 充分考虑了攻击过程中梯度更新方向的分布关系,自适应学习较优的搜索路径,提升攻击的效率。 在成功攻击的基础上,结合注意力机制,基于类间激活热力图将扰动向量分组和压缩优化, 减少在黑盒攻击过程中积累的冗余扰动,增强优化后的对抗样本的不可感知性。 通过与其他四种最新的黑盒对抗攻击方法(AutoZOOM,QL-Attack,FD-Attak,D-based Attack) 在七种深度神经网络上进行对比,验证了本文提出方法的有效性与鲁棒性。

软件学报, 2020

Universal Physical Camouflage Attacks on Object Detectors

Lifeng Huang, Chengying Gao, Yuyin Zhou, Changqing Zou, Cihang Xie, Alan Yuille, Ning Liu

简介: 论文提出了一种物理场景下对抗攻击检测模型的方法。现有的方法通常只能生成个体级别的伪装图案, 且约束物体需具备刚体或平面的特征(如路牌、车等),难以在实际中应用。针对这些缺陷, 该工作提出了一种通用级别的伪装攻击框架,可以对一类中所有实例物体进行有效的攻击, 且在非刚体与非平面的攻击场景下保持了较高的鲁棒性。该方法的主要思路包括两部分:
(1)数据生成阶段,即通过同时对复杂对象的内在性质(如形变、遮挡等)与外在环境(如光照、角度等) 进行物理仿真,生成拟真数据集;
(2)联合攻击阶段,即基于生成的数据集对RPN网络和分类网络同时展开攻击, 结合语义约束降低攻击目标的置信度。两个阶段以迭代优化的方式生成伪装图案。 此外,针对该领域缺少评估环境的困境,该工作构建了一个参数可控的合成数据库(AttackScenes)。 通过大量的实验证明,该工作提出的方法不仅能在虚拟场景和现实世界中对目标检测模型进行有效的攻击, 还展现出较好的泛化性与迁移性。

Computer Vision and Pattern Recognition (CVPR), 2020
[论文] [项目主页]

G-UAP: Generic Universal Adversarial Perturbation that Fools RPN-based Detectors

Xing wu, Lifeng Huang, Chengying Gao*

简介: Our paper proposed the G-UAP which is the first work to craft universal adversarial perturbations to fool the RPN-based detectors. G-UAP focuses on misleading the foreground prediction of RPN to background to make detectors detect nothing.

Asian Conference on Machine Learning (ACML), 2019
[论文]

Back to top

人群计数

行人检测与属性分析通过视频分析,实现对监控区域中的人群人数分布、人群外观属性、行人运动轨迹进行精确分析, 该研究在安防监控、自动驾驶及线下商业领域具有重要的意义。
相关链接:
1. 香港城市大学 人群计数研究:资料1资料2


Scale-aware Progressive Optimization Network

Ying Chen, Lifeng Huang, Chengying Gao, Ning Liu

简介: 人群计数由于广阔的应用前景而引起了越来越多地关注。 该领域最大的挑战之一是人群尺度的巨大变化,其严重影响了密度估计的准确性。 为此,本文提出了一种用于人群计数的尺度感知渐进优化网络(SPO-Net), 该网络可以克服高度拥挤场景中的尺度变化问题以实现高质量的密度图估计。 具体而言,SPO-Net的第一阶段(BPS)主要集中于对输入图像进行预处理, 并从分离的多层特征中融合高级语义信息和低级空间信息。 SPO-Net的第二阶段(RGS),旨在从多尺度特征和循环训练方式中学习一个尺度适应的网络。 此外,为了更好地学习多尺寸区域的局部相关性并减少冗余计算,网络在每次循环中引入了具有类比目标的不同监督, 称为渐进优化策略。 本文在三个具有挑战性的人群计数数据集上进行的广泛实验不仅证明了SPO-Net中每个部分的有效性, 而且证明了本文提出的方法与以往方法相比的优越性。

ACM MultiMedia (ACM MM), 2020
[论文]

Self-Bootstrapping Pedestrian Detection in Downward-Viewing Fisheye Cameras Using Pseudo-Labeling

Kaishi Gao, Qun Niu, Haoquan You, Chengying Gao

简介: 垂直鱼眼摄像头由于其大视角、避免了遮挡等优点被广泛应用于视频监控领域。 然而由于缺乏具有实例标注的行人数据集,基于垂直鱼眼视频的行人分析研究受到严重制约。 针对于此,本文创新地提出一种基于区域分割的垂直鱼眼行人自动标注方法,可实现具有实例标注的垂直鱼眼行人数据集的自动构造。 本文首先根据入射光线与摄像头的光轴形成的夹角将垂直鱼眼镜头的监控区域分为斜照和垂直两个区域,然后分别对两个区域中行人进行标注: 在斜照区域,利用斜照区域行人与现有数据集中行人存在一定相似程度的特点,使用微调后的全监督行人检测网络对该区域行人进行标注; 在垂直区域,通过利用监控视频中行人存在时间和空间连贯性的特点,使用视觉跟踪算法,结合斜照区域的行人检测的结果,对该区域行人进行标注。 本文方法生成具有实例标注的垂直鱼眼行人数据集可直接用于训练垂直鱼眼行人检测网络,也为其它垂直鱼眼视频分析领域提供数据支持。

International Conference on Multimedia & Expo (ICME), 2020
[论文]

Scale-Aware Rolling Fusion Network for Crowd Counting

Ying Chen, Chengying Gao, Zhuo Su, Xiangjian He, Ning Liu

简介: 在人群计数的任务中,存在遮挡,背景干扰和人群大尺度变化等因素,影响人群计数的精度,其中人群尺度的变化对计数的影响最大。 本文提出了一个两阶段的尺度感知循环融合网络用于解决人群计数中存在的挑战。 首先第一阶段使用一个有非对称的编码-解码结构,在尽可能保留图片中提取的信息的同时排除了部分干扰信息。 其次第二阶段的循环监督网络,不同于以往通过多列或多分支的结构,使用循环结构逐步提取多尺度特征并在循环中使用监督渐进优化提取的特征。 与以往的方法相比,循环监督网络的优势是不需要通过增加参数却能够通过循环极大地丰富感受野,从而更好地解决人群尺度变化的问题。 本文的方法在三个广泛使用的公开的人群计数数据集上进行了测试并取得了最优的结果。

International Conference on Multimedia & Expo (ICME), 2020
[论文]

ADCrowdNet: An Attention-Injective Deformable Convolutional Network for Crowd Understanding

Ning Liu, Yongchao Long, Changqing Zou, Qun Niu, Li Pan, and Hefeng Wu

简介: 人群计数中背景干扰和尺度变化会对密度回归的准确度造成巨大的影响, 本研究通过设计一个注意力图生成器,将网络注意力集中在人群从而大大减少背景干扰。 同时,利用可变形卷积设计了一个多尺度特征提取的网络。 最终将两者结合预测高质量的密度图实现更精确的人群计数。

Computer Vision and Pattern Recognition (CVPR), 2019
[论文]

Weak-structure-aware visual object tracking with bottom-up and top-down context exploration

Liu Ning, Liu Chang, Wu Hefeng*, and Zhu Hengzheng

简介: 由于运动、形状变形、遮挡和周围环境的影响,物体的外观会发生很大的变化,影响物体检测和跟踪的结果。 研究提出了一种利用目标及其周围环境的弱结构对目标进行建模和定位的方法, 并通过与现有方法的对比验证了所提出方法的优越性。

Signal Processing: Image Communication (SPIC), 2018
[论文]

Hierarchical Ensemble of Background Models for PTZ-based Video Surveillance

简介: 研究了一种适用于PTZ摄像机的视频监控分层背景模型,在此基础上实现了由背景建模、 观测帧配准和目标跟踪三个关键部分构成的跟踪系统,并且在多个具有挑战性的场景中取得了优异的跟踪效果。

IEEE Transactions on Cybernetics (TCYB), 2015
[论文]

Back to top