Black-box Adversarial Attack on License Plate Recognition System
-
摘要:
深度神经网络(Deep neural network, DNN)作为最常用的深度学习方法之一, 广泛应用于各个领域. 然而, DNN容易受到对抗攻击的威胁, 因此通过对抗攻击来检测应用系统中DNN的漏洞至关重要. 针对车牌识别系统进行漏洞检测, 在完全未知模型内部结构信息的前提下展开黑盒攻击, 发现商用车牌识别系统存在安全漏洞. 提出基于精英策略的非支配排序遗传算法(NSGA-II)的车牌识别黑盒攻击方法, 仅获得输出类标及对应置信度, 即可产生对环境变化较为鲁棒的对抗样本, 而且该算法将扰动控制为纯黑色块, 可用淤泥块代替, 具有较强的迷惑性. 为验证本方法在真实场景的攻击可复现性, 分别在实验室和真实环境中对车牌识别系统展开攻击, 并且将对抗样本用于开源的商业软件中进行测试, 验证了攻击的迁移性.
Abstract:Deep neural network (DNN) is one of the most commonly used deep learning methods and is widely used in various fields. However, DNN is vulnerable to adversarial attacks, so it is crucial to detect the vulnerabilities of DNN in the application system by adversarial attacks. In this paper, the vulnerability detection of the license plate recognition system is carried out. Under the premise of completely unknown internal structure information of the model, a black-box adversarial attack is launched, and security vulnerabilities in commercial license plate recognition system are found. The paper first proposes a black-box attack method for license plate recognition based on NSGA-II. Only by obtaining the output class label and corresponding confidence can produce a robust attack against environmental changes, and the algorithm controls the perturbation as a pure black block, which can be replaced by a silt block and has strong confusion. In order to verify the reproducibility of the attack of this method in real scenes, the license plate recognition system was attacked in the laboratory and the real environment, and the adversarial examples were tested in open source commercial software to verify the transferability of the attack.
-
Key words:
- Deep learning /
- license plate recognition /
- adversarial attack /
- black-box attack /
- physical attack
-
随着多样化信息获取技术的发展, 人们可以从不同途径或不同角度来获取对象的特征数据, 即多视角数据. 多视角数据包含了同一对象不同角度的信息. 例如: 网页数据中既包含网页内容又包含网页链接信息; 视频内容中既包含视频信息又包含音频信息; 图像数据中既涉及颜色直方图特征、纹理特征等图像特征, 又涉及描述该图像内容的文本. 多视角学习能有效地对多视角数据进行融合, 避免了单视角数据数据信息单一的问题[1-4].
多视角模糊聚类是一种有效的无监督多视角学习方法[5-7]. 它通过在多视角聚类过程中引入各样本对不同类别的模糊隶属度来描述各视角下样本属于该类别的不确定性程度. 经典的工作有: 文献[8]以经典的单视角模糊C均值(Fuzzy C-means, FCM)算法作为基础模型, 利用不同视角间的互补信息确定协同聚类的准则, 提出了Co-FC (Collaborative fuzzy clustering)算法; 文献[9]参考文献[8]的协同思想提出Co-FKM (Multiview fuzzy clustering algorithm collaborative fuzzy K-means)算法, 引入双视角隶属度惩罚项, 构造了一种新型的无监督多视角协同学习方法; 文献[10]借鉴了Co-FKM和Co-FC所使用的双视角约束思想, 通过引入视角权重, 并采用集成策略来融合多视角的模糊隶属度矩阵, 提出了WV-Co-FCM (Weighted view colla-borative fuzzy C-means) 算法; 文献[11]通过最小化双视角下样本与聚类中心的欧氏距离来减小不同视角间的差异性, 基于K-means聚类框架提出了Co-K-means (Collaborative multi-view K-means clustering)算法; 在此基础上, 文献[12]提出了基于模糊划分的TW-Co-K-means (Two-level wei-ghted collaborative K-means for multi-view clustering)算法, 对Co-K-means算法中的双视角欧氏距离加入一致性权重, 获得了比Co-K-means更好的多视角聚类结果. 以上多视角聚类方法都基于成对视角来构造不同的正则化项来挖掘视角之间的一致性和差异性信息, 缺乏对多个视角的整体考虑.
一致性和差异性是设计多视角聚类算法需要考虑的两个重要原则[10-14]. 一致性是指在多视角聚类过程中, 各视角的聚类结果应该尽可能保持一致. 在设计多视角聚类算法时, 往往通过协同、集成等手段来构建全局划分矩阵, 从而得到最终的聚类结果[14-16]. 差异性是指多视角数据中的每个视角均反映了对象在不同方面的信息, 这些信息互为补充[10], 在设计多视角聚类算法时需要对这些信息进行充分融合. 综合考虑这两方面的因素, 本文拟提出新型的低秩约束熵加权多视角模糊聚类算法(Entropy-weighting multi-view fuzzy C-means with low rank constraint, LR-MVEWFCM), 其主要创新点可以概括为以下3个方面:
1)在模糊聚类框架下提出了面向视角一致性的低秩约束准则. 已有的多视角模糊聚类算法大多基于成对视角之间的两两关系来构造正则化项, 忽视了多个视角的整体一致性信息. 本文在模糊聚类框架下从视角全局一致性出发引入低秩约束正则化项, 从而得到新型的低秩约束多视角模糊聚类算法.
2) 在模糊聚类框架下同时考虑多视角聚类的一致性和差异性, 在引入低秩约束的同时进一步使用面向视角差异性的多视角香农熵加权策略; 在迭代优化的过程中, 通过动态调节视角权重系数来突出具有更好分离性的视角的权重, 从而提高聚类性能.
3)在模糊聚类框架下首次使用交替方向乘子法(Alternating direction method of multipliers, ADMM)[15]对LR-MVEWFCM算法进行优化求解.
在本文中, 令
$ N $ 为样本总量,$ D $ 为样本维度,$ K $ 为视角数目,$ C $ 为聚类数目,$ m $ 为模糊指数. 设$ {\boldsymbol{x}}_{j,k} $ 表示多视角场景中第$ j $ 个样本第$ k $ 个视角的特征向量,$ j = 1,\cdots{},N $ ,$ k = 1,\cdots{},K $ ;$ {\boldsymbol{v}}_{i,k} $ 表示第$ k $ 个视角下, 第$ i $ 个聚类中心,$ i = 1,\cdots{},C $ ;$ U_k = \left[{\mu{}}_{ij,k}\right] $ 表示第$ k $ 个视角下的模糊隶属度矩阵, 其中$ {\mu{}}_{ij,k} $ 是第$ k $ 个视角下第$ j $ 个样本属于第$ i $ 个聚类中心的模糊隶属度,$ i = 1,\cdots{},C $ ,$ j = 1,\cdots{},N. $ 本文第1节在相关工作中回顾已有的经典模糊C均值聚类算法FCM模型[17]和多视角模糊聚类Co-FKM模型[9]; 第2节将低秩理论与多视角香农熵理论相结合, 提出本文的新方法; 第3节基于模拟数据集和UCI (University of California Irvine)数据集验证本文算法的有效性, 并给出实验分析; 第4节给出实验结论.
1. 相关工作
1.1 模糊C均值聚类算法FCM
设单视角环境下样本
${\boldsymbol{x}}_1,\cdots{},{\boldsymbol{x}}_N\in{}{\bf{R}}^{D}$ ,$ U = [{\mu{}}_{i,j}] $ 是模糊划分矩阵,$ V = [{\boldsymbol{v}}_1,{\boldsymbol{v}}_2,\cdots{},{\boldsymbol{v}}_C] $ 是样本的聚类中心. FCM算法的目标函数可表示为$$ \begin{split} &J_{{\rm{FCM}}}=\sum\limits_{i=1}^C\sum\limits_{j=1}^N{\mu{}}_{ij}^m{\left\Vert{}{\boldsymbol{x}}_j-{\boldsymbol{v}}_i\right\Vert{}}^2\\ &\sum\limits_{i=1}^C{\mu{}}_{ij}=1,\;\;0 < {\mu{}}_{ij}\leq{}1,\;\;m>1 \end{split}$$ (1) 可得到
$J_{{\rm{FCM}}}$ 取得局部极小值的必要条件为$$ {\boldsymbol{v}}_i = \frac{\sum\limits_{j = 1}^N{\left({\mu{}}_{ij}\right)}^mx_j}{\sum\limits_{j = 1}^N{\left({\mu{}}_{ij}\right)}^m}\;\; \qquad\qquad$$ (2) $$ {\mu{}}_{ij} = \frac{1}{\sum\limits_{s = 1}^c{\left(\frac{{\left\Vert{}{\boldsymbol{x}}_j-{\boldsymbol{v}}_i\right\Vert{}}^2}{{\left\Vert{}{\boldsymbol{x}}_j-{\boldsymbol{v}}_s\right\Vert{}}^2}\right)}^{\frac{1}{m-1}}} \; \;\;\;$$ (3) 根据式(2)和式(3)进行迭代优化, 使目标函数收敛于局部极小点, 从而得到样本属于各聚类中心的模糊划分矩阵
$ U $ .1.2 多视角模糊聚类Co-FKM模型
在经典FCM算法的基础上, 文献[9]通过引入视角协同约束正则项, 对视角间的一致性信息加以约束, 提出了多视角模糊聚类Co-FKM模型.
多视角模糊聚类Co-FKM模型需要满足如下条件:
$$ \begin{split} &\sum\limits_{i=1}^C{\mu{}}_{ij,k}=1,\\ &\quad{\mu{}}_{ij,k}\leq{}1,\;i=1,2,\cdots{},C;\;j=1,2,\cdots{},N\end{split}$$ (4) 多视角模糊聚类Co-FKM模型的目标函数
$J_{{\rm{Co}}\text{-}{\rm{FKM}}}$ 定义为$$ J_{{\rm{Co}}\text{-}{\rm{FKM}}} = \sum\limits_{k = 1}^K\sum\limits_{i = 1}^C\sum\limits_{j = 1}^N{\mu{}}_{ij,k}^m{\left\Vert{}{\boldsymbol{x}}_{j,k}-{\boldsymbol{v}}_{i,k}\right\Vert{}}^2+\eta{}{\Delta{}}_k $$ (5) $$ {\Delta{}}_k = \frac{1}{K - 1} \sum\limits_{ k = 1,k\not = \tilde{k}}^K\sum\limits_{i = 1}^C\sum\limits_{j = 1}^N \left({\mu{}}_{ij,\tilde{k}}^m - {\mu{}}_{ij,k}^m \right){ \left\Vert{}{\boldsymbol{x}}_{j,k} - {\boldsymbol{v}}_{i,k} \right\Vert{}}^2 $$ (6) 式(5)中,
$ \eta{} $ 表示协同划分参数;$ \Delta{} $ 表示视角一致项, 由式(6)可知, 当各视角趋于一致时,$ \Delta{} $ 将趋于0.迭代得到各视角的模糊隶属度
$ {\mu{}}_{ij,k} $ 后, 为了最终得到一个具有全局性的模糊隶属度划分矩阵, Co-FKM算法对各视角下的模糊隶属度采用几何平均的方法, 得到数据集的整体划分, 具体形式为$$ {\hat{\mu{}}}_{ij} = \sqrt[K]{\prod\limits_{k\in{}K}{\mu{}}_{ij,k}} $$ (7) 其中,
$ {\hat{\mu{}}}_{ij} $ 为全局模糊划分结果.2. 基于低秩约束的熵加权多视角模糊聚类算法
针对当前多视角模糊聚类算法研究中存在的不足, 本文提出一种基于低秩约束的熵加权多视角模糊聚类新方法LR-MVEWFCM. 一方面通过向多视角模糊聚类算法的目标学习准则中引入低秩约束项, 在整体上控制聚类过程中各视角的一致性; 另一方面基于香农熵理论, 通过熵加权机制来控制各视角之间的差异性. 同时使用交替方向乘子法对模型进行优化求解.
设多视角隶属度
$U_1,\cdots,U_K$ 融合为一个整体的隶属度矩阵$ U $ , 将矩阵$ U $ 的秩函数凸松弛为核范数, 通过对矩阵$ U $ 进行低秩约束, 可以将多视角数据之间的一致性问题转化为核范数最小化问题进行求解, 具体定义为$$ \Gamma{}(U) = {\left\Vert{}U\right\Vert{}}_* $$ (8) 其中,
$U = [ U_1\; \; \cdots{}\;\; U_K ]^{\rm{T}}$ 表示全局划分矩阵,$ {\left\Vert{}\cdot{}\right\Vert{}}_* $ 表示核范数. 式(8)的优化过程保证了全局划分矩阵的低秩约束. 低秩约束的引入, 可以弥补当前大多数多视角聚类算法仅能基于成对视角构建约束的缺陷, 从而更好地挖掘多视角数据中包含的全局一致性信息.目前已有的多视角的聚类算法在处理多视角数据时, 通常默认每个视角平等共享聚类结果[11], 但实际上某些视角的数据往往因空间分布重叠而导致可分性较差. 为避免此类视角的数据过多影响聚类效果, 本文拟对各视角进行加权处理, 并构建香农熵正则项从而在聚类过程中有效地调节各视角之间的权重, 使得具有较好可分离性的视角的权重系数尽可能大, 以达到更好的聚类效果.
令视角权重系数
$ \sum_{k = 1}^Kw_k = 1 $ 且$ w_k\geq{}0 $ , 则香农熵正则项表示为$$ f\left(w_k\right) = -\sum\limits_{k = 1}^Kw_k\ln{w_k} $$ (9) 综上所述, 本文作如下改进: 首先, 用本文提出的低秩约束全局模糊隶属度矩阵
$ U $ ; 其次, 计算损失函数时考虑视角权重$ w_k $ , 并加入视角权重系数的香农熵正则项. 设$U = [ U_1\;\; \cdots{}\;\; U_K ]^{\rm{T}}$ ;${\pmb w} = [w_1,\cdots{},w_k, \cdots{}, w_K]$ 表示$ K $ 个视角下的视角权重. 本文所构建LR-MVEWFCM的目标函数为$$ \begin{split} J\left({\pmb w},U,V\right) =\;& \sum\limits_{k = 1}^Kw_k\sum\limits_{i = 1}^C\sum\limits_{j = 1}^N{\left({\mu{}}_{ij,k}\right)}^m{\left\Vert{}{\boldsymbol{x}}_{j,k} - {\boldsymbol{v}}_{i,k}\right\Vert{}}^2+ \\ &{\theta{}\left\Vert{}U\right\Vert{}}_*+\lambda{}\sum\limits_{k = 1}^Kw_k\ln{w_k}\\[-15pt] \end{split} $$ (10) 其中, 约束条件为
$$\left\{ \begin{aligned}& \sum\limits_{i = 1}^C {{\mu _{ij,k}}} = 1,&{\mu _{ij,k}} \in \left[ {0,1} \right]\\ &\sum\limits_{k = 1}^K {{w_k}} = 1,&{w_k} \in \left[ {0,1} \right]\;\;\; \end{aligned}\right.$$ (11) 本文取模糊指数
$ m = 2 $ .2.1 基于ADMM的求解算法
在本节中, 我们将使用ADMM方法, 通过交替方向迭代的策略来实现目标函数
$ \left(11\right) $ 的最小化.$$ \begin{aligned}[b] f({\boldsymbol{w}},U,V)=\;&\sum\limits_{k=1}^Kw_k\sum\limits_{i=1}^C\sum\limits_{j=1}^N{({\mu{}}_{ij,k})}^2\times\\ &{\Vert{}{\boldsymbol{x}}_{j,k}-{\boldsymbol{v}}_{i,k}\Vert{}}^2+ \lambda{}\sum\limits_{k=1}^Kw_k\ln{w_k} \\[-15pt]\end{aligned} $$ (12) $$ g\left(Z\right) = {\theta{}\left\Vert{}Z\right\Vert{}}_* $$ (13) 最小化式
$ \left(10\right) $ 可改写为如下约束优化问题:$$ \begin{split} &\min L\left({\boldsymbol{w}},U,V,Z\right)=f\left({\boldsymbol{w}},U,V\right)+g\left(Z\right)\\ &\;\;\;\;\;\;\;\;\;\;\;\;\;{\left\{\begin{aligned} &\sum\limits_{i=1}^C{\mu{}}_{ij,k}=1,\;\;{\mu{}}_{ij,k}\in{}\left[0,1\right] \\ &\sum\limits_{k=1}^Kw_k=1,\;\;\;\;w_k\in{}\left[0,1\right]\end{aligned}\right.} \\&Z =U \end{split}$$ (14) 其求解过程可分解为如下几个子问题:
1)
$ V $ -子问题. 固定$ {\boldsymbol{w}} $ 和$ U $ , 更新$ V $ 为$$ \begin{split}{\boldsymbol{v}}_{i,k}^{\left(t+1\right)} =\;& \arg\mathop { \min }\limits_{v_{i,k}^t} \sum\limits_{k = 1}^Kw_k^{\left(t\right)}\times\\ &\sum\limits_{i = 1}^C\sum\limits_{j = 1}^N{\left({\mu{}}_{ij,k}^{\left(t\right)}\right)}^2{\left\Vert{}{\boldsymbol{x}}_{j,k}-{\boldsymbol{v}}_{i,k}^{\left(t\right)}\right\Vert{}}^2 \end{split}$$ (15) 通过最小化式
$ \left(15\right) $ , 可得到$ {\boldsymbol{v}}_{i,k}^{\left(t+1\right)} $ 的闭合解为$$ {\boldsymbol{v}}_{i,k}^{\left(t + 1\right)} = \frac{\sum\limits_{j = 1}^N{\left({\mu{}}_{ij,k}^{\left(t\right)}\right)}^2{\boldsymbol{x}}_{j,k}}{\sum\limits_{j = 1}^N{\left({\mu{}}_{ij,k}^{\left(t\right)}\right)}^2} $$ (16) 2)
$ U $ -子问题. 固定$ {\boldsymbol{w}} $ ,$ Q $ 和$ Z $ , 更新$ U $ 为$$ \begin{split} U^{\left(t+1\right)}=\;& \arg\mathop { \min }\limits_{{U^{\left( t \right)}}} f\left({\boldsymbol{w}},U,V\right) + \alpha{}\left(\sum\limits_{k=1}^Kw_k^{\left(t\right)} - 1\right)+ \\ & \sum\limits_{j=1}^N\sum\limits_{k=1}^K{\beta{}}_{j,k}\left(\sum\limits_{i=1}^C{\mu{}}_{ij,k}^{\left(t\right)} - 1\right)+ \\ & \frac{\rho{}}{2}{\left\Vert{}U^{\left(t\right)}-Z^{\left(t\right)}+Q^{\left(t\right)}\right\Vert{}}_{\rm{F}}^2\\[-15pt] \end{split}$$ (17) 通过最小化式
$ \left(17\right) $ , 可得到$ U^{\left(t+1\right)} $ 的封闭解为$$ \begin{split} {\mu{}}_{ij,k}^{\left(t+1\right)}=\;& \dfrac{\rho{}z_{ij,k}^{\left(t\right)}-\rho{}q_{ij,k}^{\left(t\right)}}{2w_k^{\left(t\right)}{\left\Vert{}{\boldsymbol{x}}_{j,k}-{\boldsymbol{v}}_{i,k}^{\left(t+1\right)}\right\Vert{}}^2+\rho{}}- \\ &\left( \sum\limits_{i=1}^C\dfrac{\rho{}z_{ij,k}^{\left(t\right)}-\rho{}q_{ij,k}^{\left(t\right)}}{2w_k^{\left(t\right)}{\left\Vert{}{\boldsymbol{x}}_{j,k} - {\boldsymbol{v}}_{i,k}^{\left(t+1\right)}\right\Vert{}}^2 + \rho{}} - 1 \right)\;\times{} \\ &\left(\dfrac{1}{\sum\limits_{i=1}^C\frac{1}{2w_k^{\left(t\right)}{\left\Vert{}{\boldsymbol{x}}_{j,k}-{\boldsymbol{v}}_{i,k}^{\left(t+1\right)}\right\Vert{}}^2+\rho{}}}\right)\;\times{} \\ &\left(\dfrac{1}{2w_k^{\left(t\right)}{\left\Vert{}{\boldsymbol{x}}_{j,k}-{\boldsymbol{v}}_{i,k}^{\left(t+1\right)}\right\Vert{}}^2 + \rho{}}\right)\\[-15pt] \end{split}$$ (18) 3)
$ {{w}} $ -子问题. 固定$ V $ 和$ U $ , 更新$ {\boldsymbol{w}} $ 为$$ w_{k}^{(t+1)} = \frac{\exp \left(\frac{-\sum\limits_{i = 1}^{C} \sum\limits_{j = 1}^{N}\left(\mu_{i j, k}^{(t+1)}\right)^{2}\left\|{\boldsymbol{x}}_{j, k}-{\boldsymbol{v}}_{i, k}^{(t+1)}\right\|^{2}}{\lambda}-1\right)}{\sum\limits_{k = 1}^{K} \exp \left(\frac{-\sum\limits_{i = 1}^{C} \sum\limits_{j = 1}^{N}\left(\mu_{i j, k}^{(t+1)}\right)^{2}\left\|{\boldsymbol{x}}_{j, k} - {\boldsymbol{v}}_{i, k}^{(t+1)}\right\|^{2}}{\lambda}-1 \right) } $$ (19) 4)
$ {{Z}} $ -子问题. 固定$ Q $ 和$ U $ , 更新$ Z $ 为$$ \begin{split} Z^{\left(t+1\right)} =\;&\arg \mathop {\min }\limits_{{Z^{\left( t \right)}}} {Z^{\left(t\right)}} + \ \frac{\rho{}}{2}{\left\Vert{}U^{\left(t+1\right)}-Z^{\left(t\right)}+Q^{\left(t\right)}\right\Vert{}}_{\rm{F}}^2= \\&{\theta{}\left\Vert{}Z^{\left(t\right)}\right\Vert{}}_*+\frac{\rho{}}{2}{\left\Vert{}U^{\left(t+1\right)}-Z^{\left(t\right)}+Q^{\left(t\right)}\right\Vert{}}_{\rm{F}}^2 \end{split} $$ (20) 通过引入软阈值算子, 可得式
$ \left(20\right) $ 的解为$$ Z^{(t+1)} = D_{\frac{\theta} { \rho}}\left(U^{(t+1)}+Q^{(t)}\right) = A S_{\frac{\theta}{ \rho}}(\Sigma) B^{\mathrm{T}} $$ (21) 其中,
$U^{\left(t+1\right)}+Q^{\left(t\right)}=A{\Sigma{}B}^{\rm{T}}$ 为矩阵$U^{(t+1)}+Q^{(t)}$ 的奇异值分解, 核范数的近邻算子可由软阈值算子$S_{\theta / \rho}(\Sigma) = {\rm{diag}}(\{\max (0, \sigma_{i}-\theta / \rho)\})\;(i = 1,2, \cdots, N)$ 给出.5)
$ {{Q}} $ -子问题. 固定$ Z $ 和$ U $ , 更新$ Q $ 为$$ Q^{\left(t+1\right)} = Q^{\left(t\right)}+\frac{\rho{}}{2}\left(U^{\left(t+1\right)}-Z^{\left(t+1\right)}\right) $$ (22) 经过上述迭代过程, 目标函数收敛于局部极值, 同时得到不同视角下的模糊隶属度矩阵. 本文借鉴文献[10]的集成策略, 使用视角权重系数
$ {\boldsymbol{w}} =$ $ [w_1,\cdots{},w_k,\cdots{},w_K] $ 和模糊隶属度矩阵$ U $ 来构建具有全局特性的模糊空间划分矩阵$ \tilde{U} $ :$$ \tilde{U} = \sum\limits_{k = 1}^Kw_kU_k $$ (23) 其中,
$ w_k $ ,$ U_k $ 分别表示第$ k $ 个视角的视角权重系数和相应的模糊隶属度矩阵.LR-MVEWFCM算法描述如下:
输入. 包含
$ K\ \left(1\leq{}k\leq{}K\right) $ 个视角的多视角样本集, 其中任意一个视角对应样本集$X_k =\{{\boldsymbol{x}}_{1,k},\cdots{}, {\boldsymbol{x}}_{N,k}\}$ , 聚类中心$ C $ , 迭代阈值$ \epsilon{} $ , 最大迭代次数$ T $ ;输出. 各视角聚类中心
$ {\boldsymbol{v}}_{i,k}^{\left(t\right)} $ , 模糊空间划分矩阵$ \tilde{U} $ 和各视角权重$ w_k $ ;步骤1. 随机初始化
$ V^{\left(t\right)} $ , 归一化$ U^{\left(t\right)} $ 及$ {\boldsymbol{w}}^{\left(t\right)} $ ,$ t = 0 $ ;步骤2. 根据式
$ \left(21\right) $ 更新$ {\boldsymbol{v}}_{i,k}^{\left(t+1\right)} $ ;步骤3. 根据式
$ \left(23\right) $ 更新$ U^{\left(t+1\right)} $ ;步骤4. 根据式
$ \left(24\right) $ 更新$ w_k^{\left(t+1\right)} $ ;步骤5. 根据式
$ \left(26\right) $ 更新$ Z^{\left(t+1\right)} $ ;步骤6. 根据式
$ \left(27\right) $ 更新$ Q^{\left(t+1\right)} $ ;步骤7. 如果
$ \left\Vert{}L^{\left(t+1\right)}-L^{\left(t\right)}\right\Vert{}<\epsilon{} $ 或者$ t>T $ , 则算法结束并跳出循环, 否则, 返回步骤2;步骤8. 根据步骤7所获取的各视角权重
$ w_k $ 及各视角下的模糊隶属度$ U_k $ , 使用式$ \left(23\right) $ 计算$\tilde{U} $ .2.2 讨论
2.2.1 与低秩约束算法比较
近年来, 基于低秩约束的机器学习模型得到了广泛的研究. 经典工作包括文献[16]中提出LRR (Low rank representation)模型, 将矩阵的秩函数凸松弛为核范数, 通过求解核范数最小化问题, 求得基于低秩表示的亲和矩阵; 文献[14]提出低秩张量多视角子空间聚类算法(Low-rank tensor constrained multiview subspace clustering, LT-MSC), 在各视角间求出带有低秩约束的子空间表示矩阵; 文献 [18] 则进一步将低秩约束引入多模型子空间聚类算法中, 使算法模型取得了较好的性能. 本文将低秩约束与多视角模糊聚类框架相结合, 提出了LR-MVEWFCM算法, 用低秩约束来实现多视角数据间的一致性. 本文方法可作为低秩模型在多视角模糊聚类领域的重要拓展.
2.2.2 与多视角Co-FKM算法比较
图1和图2分别给出了多视角Co-FKM算法和本文LR-MVEWFCM算法的工作流程.
图 2 LR-MVEWFCM算法处理多视角聚类任务工作流程Fig. 2 LR-MVEWFCM algorithm for multi-view clustering task本文算法与经典的多视角Co-FKM算法在多视角信息的一致性约束和多视角聚类结果的集成策略上均有所不同. 在多视角信息的一致性约束方面, 本文将Co-FKM算法中的视角间两两约束进一步扩展到多视角全局一致性约束; 在多视角聚类结果的集成策略上, 本文不同于Co-FKM算法对隶属度矩阵简单地求几何平均值的方式, 而是将各视角隶属度与视角权重相结合, 构建具有视角差异性的集成决策函数.
3. 实验与分析
3.1 实验设置
本文采用模拟数据集和UCI中的真实数据集进行实验验证, 选取FCM[17]、CombKM[19]、Co-FKM[9]和Co-Clustering[20]这4个聚类算法作为对比算法, 参数设置如表1所示. 实验环境为: Intel Core i5-7400 CPU, 其主频为2.3 GHz, 内存为8 GB. 编程环境为MATLAB 2015b.
表 1 参数定义和设置Table 1 Parameter setting in the experiments算法 算法说明 参数设置 FCM 经典的单视角模糊聚类算法 模糊指数$m=\frac{\min (N, D-1)}{\min (N, D-1)-2}$,
其中, $N$表示样本数, $D$表示样本维数CombKM 组合${\rm{K}}\text{-}{\rm{means}}$算法 — Co-FKM 多视角协同划分的模糊聚类算法 模糊指数$m=\frac{\min (N, D-1)}{\min (N, D-1)-2}$, 协同学习系数$\eta{}\in{}\frac{K-1}{K}$,
其中, $K$为视角数, 步长$\rho{}=0.01$Co-Clustering 基于样本与特征空间的协同聚类算法 正则化系数$\lambda \in\left\{10^{-3}, 10^{-2}, \cdots, 10^{3}\right\}$,
正则化系数$\mu \in\left\{10^{-3}, 10^{-2}, \cdots, 10^{3}\right\}$LR-MVEWFCM 基于低秩约束的熵加权多视角模糊聚类算法 视角权重平衡因子$\lambda{}\in{}\left\{{10}^{-5}, {10}^{-4}, \cdots{}, {10}^5\right\}$, 低秩约束正则项系数$\theta{}\in{}\left\{{10}^{-3}, 10^{-2}, \cdots{}, {10}^3\right\}$, 模糊指数$m=2$ MVEWFCM LR-MVEWFCM 算法中低秩约束正则项系数$\theta{}=0$ 视角权重平衡因子$\lambda{}\in{}\left\{{10}^{-5}, {10}^{-4}, \cdots{}, {10}^5\right\}$, 模糊指数$m=2$ 本文采用如下两个性能指标对各算法所得结果进行评估.
1) 归一化互信息(Normalized mutual information, NMI)[10]
$$ N M I = \frac{\sum\limits_{i = 1}^{C} \sum\limits_{j = 1}^{C} N_{i, j} \log_{2} N \times \frac{N_{i, j}}{N_{i}} \times N_{j}}{\sqrt{\sum\limits_{i = 1}^{C} N_{i} \log_{2}\frac{ N_{i}}{N} \times \sum\limits_{j = 1}^{C} N_{j} \log_{2} \frac{N_{j}}{ N}}} $$ (24) 其中,
$ N_{i,j} $ 表示第$ i $ 类与第$ j $ 类的契合程度,$ N_i $ 表示第$ i $ 类中所属样本量,$ N_j $ 表示第$ j $ 类中所属样本量, 而$ N $ 表示数据的样本总量;2) 芮氏指标(Rand index, RI)[10]
$$ R I = \dfrac{f_{00}+f_{11}}{\tfrac{N(N-1)}{2}} $$ (25) 其中,
$ f_{00} $ 表示具有不同类标签且属于不同类的数据配对点数目,$ f_{11} $ 则表示具有相同类标签且属于同一类的数据配对点数目,$ N $ 表示数据的样本总量. 以上两个指标的取值范围介于$ \left[0,1\right] $ 之间, 数值越接近1, 说明算法的聚类性能越好. 为了验证算法的鲁棒性, 各表中统计的性能指标值均为算法10次运行结果的平均值.3.2 模拟数据集实验
为了评估本文算法在多视角数据集上的聚类效果, 使用文献[10]的方法来构造具有三维特性的模拟数据集A(
$x,y,z$ ), 其具体生成过程为: 首先在MATLAB环境下采用正态分布随机函数normrnd构建数据子集$A _{1} $ ($x,y,z$ ),$A _{2} $ ($x,y,z$ )和$ A_{3} $ ($x, y,z$ ), 每组对应一个类簇, 数据均包含200个样本. 其中第1组与第2组数据集在特征z上数值较为接近, 第2组与第3组数据集在特征x上较为接近; 然后将3组数据合并得到集合A($x,y,z$ ), 共计600个样本; 最后对数据集内的样本进行归一化处理. 我们进一步将特征x, y, z按表2的方式两两组合, 从而得到多视角数据.表 2 模拟数据集特征组成Table 2 Characteristic composition of simulated dataset视角 包含特征 视角 1 $x,y$ 视角 2 $y,z$ 视角 3 $x,z$ 将各视角下的样本可视化, 如图3所示.
通过观察图3可以发现, 视角1中的数据集在空间分布上具有良好的可分性, 而视角2和视角3的数据在空间分布上均存在着一定的重叠, 从而影响了所在视角下的聚类性能. 通过组合不同视角生成若干新的数据集, 如表3所示, 并给出了LR-MVEWFCM重复运行10次后的平均结果和方差.
表 3 模拟数据实验算法性能对比Table 3 Performance comparison of the proposed algorithms on simulated dataset编号 包含特征 NMI RI 1 视角1 1.0000 ± 0.0000 1.0000 ± 0.0000 2 视角2 0.7453 ± 0.0075 0.8796 ± 0.0081 3 视角3 0.8750 ± 0.0081 0.9555 ± 0.0006 4 视角1, 视角2 1.0000 ± 0.0000 1.0000 ± 0.0000 5 视角1, 视角3 1.0000 ± 0.0000 1.0000 ± 0.0000 6 视角2, 视角3 0.9104 ± 0.0396 0.9634 ± 0.0192 7 视角2, 视角3 1.0000 ± 0.0000 1.0000 ± 0.0000 对比LR-MVEWFCM在数据集1~3上的性能, 我们发现本文算法在视角1上取得了最为理想的效果, 在视角3上的性能要优于视角2, 这与图3中各视角数据的空间可分性是一致的. 此外, 将各视角数据两两组合构成新数据集4~6后, LR-MVEWFCM算法都得到了比单一视角更好的聚类效果, 这都说明了本文采用低秩约束来挖掘多视角数据中一致性的方法, 能够有效提高聚类性能.
基于多视角数据集7, 我们进一步给出本文算法与其他经典聚类算法的比较结果.
从表4中可以发现, 由于模拟数据集在某些特征空间下具有良好的空间可分性, 所以无论是本文的算法还是Co-Clustering算法、FCM算法等算法均取得了很好的聚类效果, 而CombKM算法的性能较之以上算法则略有不足, 分析其原因在于CombKM算法侧重于挖掘样本之间的信息, 却忽视了多视角之间的协作, 而本文算法通过使用低秩约束进一步挖掘了多视角之间的全局一致性, 因而得到了比CombKM算法更好的聚类效果.
表 4 模拟数据集7上各算法的性能比较Table 4 Performance comparison of the proposed algorithms on simulated dataset 7数据集 指标 Co-Clustering CombKM FCM Co-FKM LR-MVEWFCM A NMI-mean 1.0000 0.9305 1.0000 1.0000 1.0000 NMI-std 0.0000 0.1464 0.0000 0.0000 0.0000 RI-mean 1.0000 0.9445 1.0000 1.0000 1.0000 RI-std 0.0000 0.1171 0.0000 0.0000 0.0000 3.3 真实数据集实验
本节采用5个UCI数据集: 1) Iris数据集; 2) Image Segmentation (IS) 数据集; 3) Balance数据集; 4) Ionosphere数据集; 5) Wine数据集来进行实验. 由于这几个数据集均包含了不同类型的特征, 所以可以将这些特征进行重新分组从而构造相应的多视角数据集. 表5给出了分组后的相关信息.
表 5 基于UCI数据集构造的多视角数据Table 5 Multi-view data constructded based on UCI dataset编号 原数据集 说明 视角特征 样本 视角 类别 8 IS Shape 9 2 310 2 7 RGB 9 9 Iris Sepal长度 2 150 2 3 Sepal宽度 Petal长度 2 Petal宽度 10 Balance 天平左臂重量 2 625 2 3 天平左臂长度 天平右臂重量 2 天平右臂长度 11 Iris Sepal长度 1 150 4 3 Sepal宽度 1 Petal长度 1 Petal宽度 1 12 Balance 天平左臂重量 1 625 4 3 天平左臂长度 1 天平右臂重量 1 天平右臂长度 1 13 Ionosphere 每个特征单独
作为一个视角1 351 34 2 14 Wine 每个特征单独
作为一个视角1 178 13 3 我们在多视角数据集上运行各多视角聚类算法; 同时在原数据集上运行FCM算法. 相关结果统计见表6和表7.
表 6 5种聚类方法的NMI值比较结果Table 6 Comparison of NMI performance of five clustering methods编号 Co-Clustering CombKM FCM Co-FKM LR-MVEWFCM 均值 P-value 均值 P-value 均值 P-value 均值 P-value 均值 8 0.5771 ±
0.00230.0019 0.5259 ±
0.05510.2056 0.5567 ±
0.01840.0044 0.5881 ±
0.01093.76×10−4 0.5828 ±
0.00449 0.7582 ±
7.4015 ×10−172.03×10−24 0.7251 ±
0.06982.32×10−7 0.7578 ±
0.06981.93×10−24 0.8317 ±
0.00648.88×10−16 0.9029 ±
0.005710 0.2455 ±
0.05590.0165 0.1562 ±
0.07493.47×10−5 0.1813 ±
0.11720.0061 0.2756 ±
0.03090.1037 0.3030 ±
0.040211 0.7582 ±
1.1703×10−162.28×10−16 0.7468 ±
0.00795.12×10−16 0.7578 ±
1.1703×10−165.04×10−16 0.8244 ±
1.1102×10−162.16×10−16 0.8768 ±
0.009712 0.2603 ±
0.06850.3825 0.1543 ±
0.07634.61×10−4 0.2264 ±
0.11270.1573 0.2283 ±
0.02940.0146 0.2863 ±
0.061113 0.1385 ±
0.00852.51×10−9 0.1349 ±
2.9257×10−172.35×10−13 0.1299 ±
0.09842.60×10−10 0.2097 ±
0.03290.0483 0.2608 ±
0.025114 0.4288 ±
1.1703×10−161.26×10−08 0.4215 ±
0.00957.97×10−09 0.4334 ±
5.8514×10−172.39×10−08 0.5295 ±
0.03010.4376 0.5413 ±
0.0364通过观察表6和表7中的
$ {\rm{NMI}} $ 和${\rm{ RI }}$ 指标值可知, Co-FKM算法的聚类性能明显优于其他几种经典聚类算法, 而相比于Co-FKM算法, 由于LR-MVEWFCM采用了低秩正则项来挖掘多视角数据之间的一致性关系, 并引入多视角自适应熵加权策略, 从而有效控制各视角之间的差异性. 很明显, 这种聚类性能更为优异和稳定, 且收敛性的效果更好. 表6和表7中的结果也展示了在IS、Balance、Iris、Ionosphere和Wine数据集上, 其NMI和RI指标均提升3 ~ 5个百分点, 这也说明了本文算法在多视角聚类过程中的有效性.表 7 5种聚类方法的RI值比较结果Table 7 Comparison of RI performance of five clustering methods编号 Co-Clustering CombKM FCM Co-FKM LR-MVEWFCM 均值 P-value 均值 P-value 均值 P-value 均值 P-value 均值 8 0.8392 ±
0.00101.3475 ×10−14 0.8112 ±
0.03691.95×10−7 0.8390 ±
0.01150.0032 0.8571 ±
0.00190.0048 0.8508 ±
0.00139 0.8797 ±
0.00141.72×10−26 0.8481 ±
0.06672.56×10−5 0.8859 ±
1.1703×10−166.49×10−26 0.9358 ±
0.00373.29×10−14 0.9665 ±
0.002610 0.6515 ±
0.02313.13×10−4 0.6059 ±
0.03401.37×10−6 0.6186 ±
0.06240.0016 0.6772 ±
0.02270.0761 0.6958 ±
0.021511 0.8797 ±
0.00141.25×10−18 0.8755 ±
0.00295.99×10−12 0.8859 ±
0.02432.33×10−18 0.9267 ±
2.3406×10−165.19×10−18 0.9527 ±
0.004112 0.6511 ±
0.02790.0156 0.6024 ±
0.03222.24×10−5 0.6509 ±
0.06520.1139 0.6511 ±
0.01890.008 0.6902 ±
0.037013 0.5877 ±
0.00301.35×10−12 0.5888 ±
0.02922.10×10−14 0.5818 ±
1.1703×10−164.6351 ×10−13 0.6508 ±
0.01470.0358 0.6855 ±
0.011514 0.7187 ±
1.1703×10−163.82×10−6 0.7056 ±
0.01681.69×10−6 0.7099 ±
1.1703×10−168.45×10−7 0.7850 ±
0.01620.5905 0.7917 ±
0.0353为进一步说明本文低秩约束发挥的积极作用, 将LR-MVEWFCM算法和MVEWFCM算法共同进行实验, 算法的性能对比如图4所示.
图 4 低秩约束对算法性能的影响(横坐标为数据集编号, 纵坐标为聚类性能指标)Fig. 4 The influence of low rank constraints on the performance of the algorithm (the X-coordinate is the data set number and the Y-coordinate is the clustering performance index)从图4中不难发现, 无论在模拟数据集上还是UCI真实数据集上, 相比较MVEWFCM算法, LR-MVEWFCM算法均可以取得更好的聚类效果. 因此可见, LR-MVEWFCM目标学习准则中的低秩约束能够有效利用多视角数据的一致性来提高算法的聚类性能.
为研究本文算法的收敛性, 同样选取8个数据集进行收敛性实验, 其目标函数变化如图5所示.
从图5中可以看出, 本文算法在真实数据集上仅需迭代15次左右就可以趋于稳定, 这说明本文算法在速度要求较高的场景下具有较好的实用性.
综合以上实验结果, 我们不难发现, 在具有多视角特性的数据集上进行模糊聚类分析时, 多视角模糊聚类算法通常比传统单视角模糊聚类算法能够得到更优的聚类效果; 在本文中, 通过在多视角模糊聚类学习中引入低秩约束来增强不同视角之间的一致性关系, 并引入香农熵调节视角权重关系, 控制不同视角之间的差异性, 从而得到了比其他多视角聚类算法更好的聚类效果.
3.4 参数敏感性实验
LR-MVEWFCM算法包含两个正则项系数, 即视角权重平衡因子
$ \lambda{} $ 和低秩约束正则项系数$ \theta{} $ , 图6以LR-MVEWFCM算法在模拟数据集7上的实验为例, 给出了系数从0到1000过程中, 算法性能的变化情况, 当低秩正则项系数$ \theta$ = 0时, 即不添加此正则项, 算法的性能最差, 验证了本文加入的低秩正则项的有效性, 当$ \theta{} $ 值变化过程中, 算法的性能相对变化较小, 说明本文算法在此数据集上对于$ \theta{} $ 值变化不敏感, 具有一定的鲁棒性; 而当香农熵正则项系数$ \lambda$ = 0时, 同样算法性能较差, 也说明引入此正则项的合理性. 当$ \lambda{} $ 值变大时, 发现算法的性能也呈现变好趋势, 说明在此数据集上, 此正则项相对效果比较明显.4. 结束语
本文从多视角聚类学习过程中的一致性和差异性两方面出发, 提出了基于低秩约束的熵加权多视角模糊聚类算法. 该算法采用低秩正则项来挖掘多视角数据之间的一致性关系, 并引入多视角自适应熵加权策略从而有效控制各视角之间的差异性,从而提高了算法的性能. 在模拟数据集和真实数据集上的实验均表明, 本文算法的聚类性能优于其他多视角聚类算法. 同时本文算法还具有迭代次数少、收敛速度快的优点, 具有良好的实用性. 由于本文采用经典的FCM框架, 使用欧氏距离来衡量数据对象之间的差异,这使得本文算法不适用于某些高维数据场景. 如何针对高维数据设计多视角聚类算法, 这也将是我们今后的研究重点.
-
图 1 车牌识别系统的黑盒攻击方法整体框图
Fig. 1 The main block diagram of the proposed method against license plate recognition system
图 4 车牌样本第10次迭代非支配排序结果
Fig. 4 License plate example in 10th iteration non-dominated sorting result
图 8 不同攻击算法攻击同一张车牌样本的不同位置的对抗样本图
Fig. 8 Adversarial examples graph of different attack algorithms attacking different positions of the same license plate sample
图 9 平均原类标置信度随迭代次数变化曲线图
Fig. 9 Curve of the original class standard confidence varying with the number of iterations
图 10 平均扰动大小随迭代次数变化曲线图
Fig. 10 Curve of the perturbation varying with the number of iterations
表 1 三种模型的识别准确率
Table 1 Recognition accuracy of the three models
模型名称 训练准确率 测试准确率 HyperLPR 96.7% 96.3% EasyPR 85.4% 84.1% PaddlePaddle - OCR车牌识别 87.9% 86.5% 
下载: 导出CSV
表 2 车牌图像攻击算法对比结果
Table 2 Comparison results of plate images attack algorithms
攻击算法 攻击成功率 ${\tilde L_2}$ ${\tilde L_0}$ 访问次数 白盒 FGSM 89.3% 0.067 0.937 32 2-norm 92.8% 0.051 0.923 3 黑盒 ZOO 85.7% 0.087 0.953 74356 AutoZOO 87.1% 0.069 0.938 4256 本文算法 98.6% 0.035 0.004 1743
下载: 导出CSV
表 3 不同环境模拟策略在不同模拟环境下的攻击成功率
Table 3 The attack success rate of different simulation strategies in different simulation environments
环境因素 攻击成功率 (%) 平均成功
率 (%)0 1 2 3 4 5 6 7 8 9 原始对抗样本 固定1 100 96 100 100 100 100 100 100 100 100 99.6 固定2 100 94 96 98 94 100 100 96 100 100 98.0 随机变换 100 94 98 100 94 100 100 98 100 100 98.4 尺寸 (× 0.5) 固定1 100 80 90 92 90 94 98 90 96 100 93.8 光线 (+ 30) 固定2 98 76 90 84 88 92 94 86 92 98 90.4 角度 (右 30 度) 随机变换 100 76 92 92 90 94 96 88 92 98 92.8 尺寸 (× 2) 固定1 100 80 90 92 92 94 98 90 96 100 93.6 光线 (– 30) 固定2 100 78 90 86 86 88 92 82 90 96 89.2 角度 (左 30 度) 随机变换 100 78 92 90 88 90 96 84 92 96 91.4 尺寸 (× 0.3) 固定1 92 76 80 86 82 84 88 84 90 88 85.0 光线 (+ 50) 固定2 98 82 92 92 90 94 96 90 96 98 93.4 角度 (右 50 度) 随机变换 96 80 90 88 86 90 94 92 92 94 90.8 尺寸 (× 3) 固定1 90 74 80 86 82 82 90 82 88 88 84.2 光线 (– 50) 固定2 98 80 90 92 90 92 96 92 94 98 92.8 角度 (左 50 度) 随机变换 96 78 88 88 84 92 92 92 94 94 90.6 尺寸 (× 0.7) 固定1 92 76 80 88 84 82 90 82 92 90 85.6 光线 (+ 20) 固定2 94 76 86 90 86 84 92 86 90 92 88.4 角度 (右 42 度) 随机变换 96 78 90 92 90 92 94 90 94 96 92.2 尺寸 (× 1.3) 固定1 92 76 78 86 82 84 90 82 88 84 84.2 光线 (– 75) 固定2 92 74 82 86 82 86 92 88 90 90 88.0 角度 (左 15 度) 随机变换 94 76 88 90 86 92 92 90 92 94 91.0 各种环境平均攻击成功率 固定1 95.1 79.7 85.4 90.0 87.4 88.6 93.4 87.1 92.9 92.9 89.3 固定2 97.1 79.4 89.4 89.4 88.0 90.9 94.6 88.3 93.1 96.0 90.8 随机变换 97.4 79.7 90.6 90.6 88.3 92.6 94.9 90.0 93.7 96.0 91.6
下载: 导出CSV
表 4 车牌对抗样本识别结果及其置信度、扰动等展示
Table 4 License plate against sample identification results and their confidence, disturbance display
环境因素 识别结果 (固定1/固定2/随机变换) 
原始对抗样本 C/C/Q H/5/5 Z/Z/Z 5/5/2 J/6/Z 3/3/3 3/5/5 T/T/Z G/S/S 2/2/2 平均置信度: 0.92/0.87/0.86 尺寸 (× 0.5)
光线 (+ 30)
角度 (右 30 度)C/C/Q H/5/5 Z/Z/3 5/5/2 J/X/Z 3/3/3 3/3/3 T/1/Z G/S/S 2/2/2 平均置信度: 0.90/0.86/0.83 尺寸 (× 2)
光线 (– 30)
角度 (左 30 度)C/C/Q H/7/5 Z/Z/Z 5/5/2 J/6/Z 3/3/3 3/5/5 T/T/Z G/S/G 2/2/2 平均置信度: 0.89/0.83/0.86 尺寸 (× 0.3)
光线 (+ 50)
角度 (右 50 度)C/C/Q 1/5/1 2/Z/X 5/5/5 4/6/X 3/3/3 3/5/5 T/T/Z G/S/S 2/2/2 平均置信度: 0.84/0.90/0.85 尺寸 (× 3)
光线 (– 50)
角度 (左 50 度)C/C/Q 1/5/7 Z/Z/Z 5/5/2 J/6/4 3/3/3 3/5/5 1/T/1 G/S/S 2/2/2 平均置信度: 0.84/0.88/0.86 尺寸 (× 0.7)
光线 (+ 20)
角度 (右 42 度)C/C/Q H/1/5 Z/Z/Z 5/5/2 J/6/Z 3/3/3 5/5/5 T/T/Z G/S/S 2/2/2 平均置信度: 0.81/0.87/0.85 尺寸 (× 1.3)
光线 (– 75)
角度 (左 15 度)C/C/0 1/1/7 Z/2/Z 5/5/5 4/6/Z 3/3/3 3/5/5 7/T/Z S/G/S 2/2/2 平均置信度: 0.87/0.82/0.83
下载: 导出CSV
表 5 实验室环境的车牌对抗攻击
Table 5 License plate adversarial attack in the laboratory environment
环境因素 0度, 1 m, 白天 0度, 1 m, 夜晚 0度, 5 m, 白天 0度, 5 m, 夜晚 20度, 1 m, 白天 20度, 1 m, 夜晚 物理对抗样本 
正常车牌识别结果 苏 AN4D79 苏 AN4D79 苏 AN4D79 苏 AN4D79 苏 AN4D79 苏 AN4D79 正常车牌识别置信度 0.9751 0.9741 0.9242 0.9214 0.9578 0.9501 对抗样本识别结果 苏 AH4072 苏 AH4072 苏 AH4072 苏 AH4072 苏 AH4072 苏 AH4072 对抗样本识别置信度 0.9041 0.8862 0.8248 0.8310 0.8045 0.8424
下载: 导出CSV
表 6 初始扰动信息的影响
Table 6 Influences of initial perturbation information
面积比值 数量 形状 攻击成功率 最终扰动 迭代次数 1: 50 10 R 100% 0.0062 33 C 100% 0.0059 32 R+C 100% 0.0063 35 30 R 100% 0.0054 36 C 100% 0.0052 35 R+C 100% 0.0054 34 50 R 100% 0.0042 42 C 100% 0.0043 40 R+C 100% 0.0043 44 1: 80 10 R 100% 0.0058 34 C 100% 0.0054 33 R+C 100% 0.0055 34 30 R 100% 0.0043 34 C 100% 0.0041 32 R+C 100% 0.0042 35 50 R 96% 0.0037 48 C 94% 0.0036 48 R+C 96% 0.0032 46 1: 120 10 R 100% 0.0042 32 C 100% 0.0045 31 R+C 98% 0.0042 31 30 R 98% 0.0035 36 C 96% 0.0033 36 R+C 96% 0.0033 35 50 R 87% 0.0027 56 C 86% 0.0025 58 R+C 87% 0.0024 58
下载: 导出CSV
表 7 交叉概率敏感性分析
Table 7 Cross-probability sensitivity analysis
交叉概率 迭代次数 原类标置信度 扰动大小$({\tilde L_0})$ 0.2 75 0.153 0.0048 0.4 53 0.138 0.0046 0.6 42 0.113 0.0048 0.8 34 0.126 0.0043 1 32 0.140 0.0045
下载: 导出CSV
表 8 躲避公路探头抓拍
Table 8 Avoiding road probe capture
HyperLPR 云 AG7C35 HyperLPR 新 AG7C65 HyperLPR 浙 AG7C65 百度AI 浙 AC7C35 百度AI 浙 AG7C35 百度AI 浙 AG7C35 OpenALPR 浙 A67C65 OpenALPR 浙 A67C55 OpenALPR 浙 A07C35
下载: 导出CSV
表 10 冒充出入库车辆
Table 10 Posing as a warehousing vehicle
立方 浙 AP0F20 立方 浙 AP0F20 百度AI 浙 AF0F20 百度AI 浙 AT0F20 OpenALPR 浙 A10F20 OpenALPR 浙 A10F20
下载: 导出CSV
表 9 躲避车牌尾号限行
Table 9 Avoiding license plate tail number limit
HyperLPR 苏 A14D72 HyperLPR 苏 AH4D72 HyperLPR 苏 AH4D72 百度AI 苏 AH4D72 百度AI 苏 AH4D79 百度AI 苏 AH4D72 OpenALPR 苏 AM4D78 OpenALPR 苏 AM4D79 OpenALPR 苏 AM4D72
下载: 导出CSV
-
[1] Goodfellow I J, Bengio Y, Courville A. Deep Learning. Cambridge: MIT Press, 2016. 24−45 [2] Chen J Y, Zheng H B, Lin X, Wu Y Y, Su M M. A novel image segmentation method based on fast density clustering algorithm. Engineering Applications of Artificial Intelligence, 2018, 73: 92−110 doi: 10.1016/j.engappai.2018.04.023 [3] Sutskever I, Vinyals O, Le Q V. Sequence to sequence learning with neural networks. In: Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Quebec, Canada: MIT Press, 2014. 3104−3112 [4] 代伟, 柴天佑. 数据驱动的复杂磨矿过程运行优化控制方法. 自动化学报, 2014, 40(9): 2005−2014Dai Wei, Chai Tian-You. Data-driven optimal operational control of complex grinding processes. Acta Automatica Sinica, 2014, 40(9): 2005−2014 [5] Chen J Y, Zheng H B, Xiong H, Wu Y Y, Lin X, Ying S Y, et al. DGEPN-GCEN2V: A new framework for mining GGI and its application in biomarker detection. Science China Information Sciences, 2019, 62(9): Article No. 199104 doi: 10.1007/s11432-018-9704-7 [6] 姚乃明, 郭清沛, 乔逢春, 陈辉, 王宏安. 基于生成式对抗网络的鲁棒人脸表情识别. 自动化学报, 2018, 44(5): 865−877Yao Nai-Ming, Guo Qing-Pei, Qiao Feng-Chun, Chen Hui, Wang Hong-An. Robust facial expression recognition with generative adversarial networks. Acta Automatica Sinica, 2018, 44(5): 865−877 [7] 袁文浩, 孙文珠, 夏斌, 欧世峰. 利用深度卷积神经网络提高未知噪声下的语音增强性能. 自动化学报, 2018, 44(4): 751−759Yuan Wen-Hao, Sun Wen-Zhu, Xia Bin, Ou Shi-Feng. Improving speech enhancement in unseen noise using deep convolutional neural network. Acta Automatica Sinica, 2018, 44(4): 751−759 [8] Szegedy C, Zaremba W, Sutskever I, Bruna J, Erhan D, Goodfellow I J, et al. Intriguing properties of neural networks. In: Proceedings of the 2nd International Conference on Learning Representations (ICLR 2014). Banff, AB, Canada: ICLR, 2014. [9] Moosavi-Dezfooli S M, Fawzi A, Fawzi O, Frossard P. Universal adversarial perturbations. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE, 2017. 86−94 [10] Akhtar N, Mian A. Threat of adversarial attacks on deep learning in computer vision: A survey. IEEE Access, 2018, 6: 14410−14430 doi: 10.1109/ACCESS.2018.2807385 [11] Zeng X H, Liu C X, Wang Y S, Qiu W C, Xie L X, Tai Y W, et al. Adversarial attacks beyond the image space. In: Proceedings of the 2019 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). California, USA: IEEE, 2019. 4302−4311 [12] Deb K, Agarwal S, Pratap A, Meyarivan T. A fast and elitist multiobjective genetic algorithm: NSGA-II. IEEE Transactions on Evolutionary Computation, 2002, 6(2): 182−197 doi: 10.1109/4235.996017 [13] Goodfellow I J, Shlens J, Szegedy C. Explaining and harnessing adversarial examples. In: Proceedings of the 3rd International Conference on Learning Representations (ICLR 2015). San Diego, CA, USA: ICLR, 2015. [14] Kurakin A, Goodfellow I J, Bengio S. Adversarial examples in the physical world. In: Proceedings of the 5th International Conference on Learning Representations (ICLR 2017). Toulon, France: ICLR, 2017. [15] Moosavi-Dezfooli S M, Fawzi A, Frossard P. Deepfool: A simple and accurate method to fool deep neural networks. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 2574−2582 [16] Carlini N, Wagner D. Towards evaluating the robustness of neural networks. In: Proceedings of the 2017 IEEE Symposium on Security and Privacy. San Jose, USA: IEEE, 2017. 39−57 [17] Papernot N, McDaniel P, Jha S, Fredrikson M, Celik Z B, Swami A. The limitations of deep learning in adversarial settings. In: Proceedings of the 2016 IEEE European Symposium on Security and Privacy. Saarbrucken, Germany: IEEE, 2016. 372−387 [18] Lyu C, Huang K Z, Liang H N. A unified gradient regularization family for adversarial examples. In: Proceedings of the 2015 IEEE International Conference on Data Mining. Atlantic City, USA: IEEE, 2015. 301−309 [19] Su J W, Vargas D V, Sakurai K. One pixel attack for fooling deep neural networks. IEEE Transactions on Evolutionary Computation, 2019, 23(5): 828−841 doi: 10.1109/TEVC.2019.2890858 [20] Brendel W, Rauber J, Bethge M. Decision-based adversarial attacks: Reliable attacks against black-box machine learning models. In: Proceedings of the 6th International Conference on Learning Representations (ICLR 2018). Vancouver, BC, Canada: ICLR, 2018. [21] Chen P Y, Zhang H, Sharma Y, Yi J F, Hsieh C J. Zoo: Zeroth order optimization based black-box attacks to deep neural networks without training substitute models. In: Proceedings of the 10th ACM Workshop on Artificial Intelligence and Security. Dallas, USA: ACM, 2017. 15−26 [22] Tu C C, Ting P S, Chen P Y, Liu S J, Zhang H, Yi J F, et al. Autozoom: Autoencoder-based zeroth order optimization method for attacking black-box neural networks. In: Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Hawaii, USA: AAAI, 2019. 742−749 [23] Chen J B, Jordan M I. Boundary attack++: Query-efficient decision-based adversarial attack. arXiv: 1904.02144, 2019. [24] Chen J Y, Su M M, Shen S J, Xiong H, Zheng H B. POBA-GA: Perturbation optimized black-box adversarial attacks via genetic algorithm. Computers & Security, 2019, 85: 89−106 [25] Bhagoji A N, He W, Li B. Exploring the space of black-box attacks on deep neural networks. arXiv: 1712.09491, 2017. [26] Chen S T, Cornelius C, Martin J, Chau D H. ShapeShifter: Robust physical adversarial attack on faster R-CNN object detector. In: Proceedings of Joint European Conference on Machine Learning and Knowledge Discovery in Databases. Dublin, Ireland: Springer, 2019. 52−68 [27] Ren S Q, He K M, Girshick R, Sun J. Faster R-CNN: Towards real-time object detection with region proposal networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137−1149 [28] Eykholt K, Evtimov I, Fernandes E, Li B, Rahmati A, Tramer F, et al. Physical adversarial examples for object detectors. In: Proceedings of the 12th USENIX Workshop on Offensive Technologies. Baltimore, MD, USA: USENIX Association, 2018. [29] Redmon J, Farhadi A. YOLO9000: Better, faster, stronger. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE, 2017. 6517−6525 [30] Thys S, Ranst W V, Goedemé T. Fooling automated surveillance cameras: Adversarial patches to attack person detection. In: Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Long Beach, USA: IEEE, 2019. 49−55 [31] Sharif M, Bhagavatula S, Bauer L, Reiter M K. Accessorize to a crime: Real and stealthy attacks on state-of-the-art face recognition. In: Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security. Vienna, Austria: ACM, 2016. 1528−1540 [32] Eykholt K, Evtimov I, Fernandes E, Li B, Rahmati A, Xiao C W, et al. Robust physical-world attacks on deep learning visual classification. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 1625−1634 [33] Sitawarin C, Bhagoji A N, Mosenia A, Mittal P, Chiang M. Rogue signs: Deceiving traffic sign recognition with malicious ads and logos. arXiv: 1801.02780, 2018. [34] Athalye A, Engstrom L, Ilyas A, Kwok K. Synthesizing robust adversarial examples. In: Proceedings of the 35th International Conference on Machine Learning. Stockholm, Sweden: PMLR, 2018. 284−293 [35] Li J C, Schmidt F, Kolter Z. Adversarial camera stickers: A physical camera-based attack on deep learning systems. In: Proceedings of the 36th International Conference on Machine Learning. Long Beach, USA: PMLR, 2019. 3896−3904 [36] Xu Z B, Yang W, Meng A J, Lu N X, Huang H, Ying C C, et al. Towards end-to-end license plate detection and recognition: A large dataset and baseline. In: Proceedings of the 15th European Conference on Computer Vision. Munich, Germany: Springer, 2018. 261−277 期刊类型引用(9)
1. 区卓越，邓秀勤，陈磊. 基于加权锚点的自适应多视图互补聚类算法. 计算机应用. 2025(01): 115-126 . 
百度学术2. 孙志华，齐肇江，陈江尧，陈冰恽，肖禹，徐峰. 基于模糊分簇的电力调度大数据检索方法. 电子设计工程. 2024(16): 139-142 . 百度学术3. 马宗方，李雷华，田鸿朋. 一种基于证据多视角的模糊C-means聚类算法. 控制工程. 2024(08): 1345-1354 . 百度学术4. 马盈仓，吴也凡，邢志伟，袁林. 基于k-近邻局部线性邻域重建的多视角聚类算法. 纺织高校基础科学学报. 2023(03): 75-83 . 百度学术5. 杨鸿潭. 基于伪标签增强的多视角模糊聚类. 信息与电脑(理论版). 2023(08): 120-123+127 . 百度学术6. 文杰，颜珂，张正，徐勇. 基于低秩张量图学习的不完整多视角聚类. 自动化学报. 2023(07): 1433-1445 . 本站查看7. 陈笑笑，任丹丹，刘清. 粒子群优化的加权核范数低秩矩阵补全算法. 赤峰学院学报(自然科学版). 2023(05): 22-28 . 百度学术8. 贺艳芳，李莉杰. 基于低秩约束的多视角聚类算法研究. 现代信息科技. 2022(15): 74-76+80 . 百度学术9. 李骜，陈嘉佳，于晓洋，陈德运，张英涛，孙广路. 不完备数据的鲁棒多视角图学习及其聚类应用. 控制与决策. 2022(12): 3251-3258 . 百度学术其他类型引用(6)
-
下载:
计量
- 文章访问数: 1965
- HTML全文浏览量: 1053
- PDF下载量: 331
- 被引次数: 15
