Important Scientific Problems of Multi-Agent Deep Reinforcement Learning
-
摘要: 强化学习作为一种用于解决无模型序列决策问题的方法已经有数十年的历史, 但强化学习方法在处理高维变量问题时常常会面临巨大挑战. 近年来, 深度学习迅猛发展, 使得强化学习方法为复杂高维的多智能体系统提供优化的决策策略、在充满挑战的环境中高效执行目标任务成为可能. 本文综述了强化学习和深度强化学习方法的原理, 提出学习系统的闭环控制框架, 分析了多智能体深度强化学习中存在的若干重要问题和解决方法, 包括多智能体强化学习的算法结构、环境非静态和部分可观性等问题, 对所调查方法的优缺点和相关应用进行分析和讨论. 最后提供多智能体深度强化学习未来的研究方向, 为开发更强大、更易应用的多智能体强化学习控制系统提供一些思路.Abstract: Reinforcement learning has been used to solve sequence decision problems without models for decades. However, it often faces great challenges in dealing with high-dimensional problems. In recent years, with the rapid development of deep learning, it promotes that reinforcement learning can provide the optimized strategy for complex and high-dimensional multi-agent systems to efficiently perform the target tasks in challenging environments. This paper reviews on the principles of reinforcement learning and deep reinforcement learning, puts forward the closed-loop control framework of learning systems, and investigates the existing important problems and corresponding methods for the deep reinforcement learning of multi-agent systems, including multi-agent reinforcement learning algorithmic framework, non-static environment, partially observability, and so on. The merits and drawbacks of these investigated methods are analyzed, and some related applications are summarized. This paper also provides some new insights into various research directions of multi-agent reinforcement learning, and related ideas for better application development in the future.
-
基于生物特征(虹膜、人脸、步态、指纹等)的身份识别是个体身份鉴别的重要手段.近年来, 随着模式识别、机器学习、计算机视觉、人工智能、信息安全等领域的发展, 生物特征识别技术不断突破创新, 得到了国内外学术界, 产业界乃至政府部门的高度关注, 已经被推向一个研究高潮.相比传统身份识别方式(密码、身份证等), 生物特征具有防伪性高、不易丢失或遗忘、信息丰富的特点.在常用生物特征(指纹、人脸、虹膜等)中, 虹膜识别因为具有唯一性、稳定性、非接触性、高精度等优势, 是现阶段最安全可靠的生物特征识别技术, 现已成功应用于海关、机场、公安、金融等高安全需求的场合.但是, 最近研究表明, 现有的虹膜识别系统无法对采集端进行保护, 在遇到人造假体样本(打印虹膜、美瞳、义眼等)攻击时, 常见的数字证书加密、水印、数字签名等信息保护措施失效, 导致系统产生误识别[1-3].为了准确辨别真实虹膜和人造假体虹膜, 提升虹膜识别系统的安全性和鲁棒性, 虹膜活体检测技术(Iris liveness detection)应运而生.该技术的基本原理是:与正常采集的虹膜图像相比, 人造假体虹膜图像在生成时会丢失信息, 同时也会附加额外的信息, 通过检测这两部分信息可以判断虹膜图像的真实性[4].
根据检测信息方式的差异可以将虹膜活体检测方法分为两类:硬件法[5-14]和软件法[15-25].硬件法是指通过使用额外的硬件设备采集活体人眼特有的特征进行活体检测, 比如视线特征[5-7]、虹膜立体结构特征[8]、虹膜震颤(Hippus)特征[9]等. Daugman[10]提出了利用角膜和晶状体前后面对光照产生的普尔钦(Purkinje)反射进行虹膜活体检测的理论, Lee等[11]基于该理论实现了虹膜活体检测.该方法通过控制一对近红外光源产生并拍摄普尔钦反射, 可以实现图片、美瞳、义眼等多种攻击类型的检测, 不过需要精确控制光源和瞳孔之间的角度, 对成像系统要求较高. Lee等[12]通过测量不同近红外光照(750 nm和850 nm)条件下巩膜和虹膜之间反射率比的变化进行活体检测.该方法检测速度快, 但是需要分两次采集不同光照条件下的人眼图像, 大大降低了数据采集效率. Czajka等[13]通过控制30 s内点光源的亮度变化, 根据瞳孔的动态变化(Pupil dynamics)和与瞳孔收缩模型的拟合情况区分真假虹膜样本.该方法精度较高, 但数据采集时间较长且采集时人眼舒适度低.
近年来, 光场成像技术以其多视角、多维度、多焦点成像的特点逐步应用于生物特征识别领域. Raghavendra等[14]首次利用光场相机的固有特性进行虹膜活体检测.该方法首先利用Lytro Desktop软件对光场图像进行预处理并渲染得到十几张具有不同对焦深度的图像, 然后依次对这些图像进行预处理, 得到归一化虹膜图像序列, 最后通过离散小波变换(Discrete wavelet transform, DWT)方法计算图像序列的对焦能量变化量来区分真假虹膜样本.该方法数据采集方便, 但光场数据处理受软件限制, 局限性大; 由于采用阈值分类方法, 该方法只能应对单一攻击类型, 其应用面较窄, 无法同时应对多种攻击类型.
软件法是指在虹膜图像采集完成后通过对采集到的图像提取有区分性的特征进行虹膜活体检测. Daugman[10]提出打印虹膜图像经过2D傅里叶分析会产生与真实虹膜图像不同的频域特征.真假虹膜图像不仅频谱特征不同, 纹理特征也存在差异.因此, 通过利用LBP (Local binary pattern)[15]、BSIF (Binarized statistical image features)[16-17]、GLCM (Gray level co-occurrence matrix)[18]等局部特征描述子提取有区分性的局部特征, 可以准确检测多种人造假体虹膜类型(打印虹膜、美瞳、义眼等). Hu等[19]和Kohli等[20]通过融合多种局部特征取得了更好的活体检测结果. Gabally等[21]基于“质量差异”的假设提出了基于图像质量评价(Image quality assessment)的活体检测方法.该方法通过专门设计多种针对虹膜图像的质量评价指标, 来区分真实虹膜和打印虹膜, 取得了较高的分类准确率.然后, Gabally等[22]又使用25种常规图像质量评价方法来提取虹膜图像的质量特征, 既取得了较高的准确率又具有很好的泛化性能.随着深度学习浪潮的来临, 基于深度学习的虹膜活体检测方法[23-25]也已经达到了与传统方法相当的准确率.
综上, 我们可知: 1)两类虹膜活体检测方法各有其优点与不足.硬件法能够采集更丰富的信息, 分类效果更好, 但是一般需要使用额外的成像设备, 自主搭建采集系统, 控制采集环境.因此硬件法操作复杂度高, 采集效率低, 无法便捷应用.软件法使用非接触方式采集图像, 运行速度快, 但是输入信息有限, 图像处理, 特征提取和活体检测算法易受图像质量影响. 2)目前使用的虹膜数据库几乎都是近距离采集(≤60 cm), 这样虽然能够得到高分辨率和高质量的虹膜图像, 但是成像环境和应用场景的光照、距离、视角、离焦、景深、噪声等变量需要严格受控, 无法进行复杂场景下的虹膜数据获取、活体检测、身份识别等任务的研究.
基于以上问题, 本文提出了基于计算光场成像的远距离虹膜活体检测方法, 通过软硬件结合的方式, 从数据获取源头创新, 利用计算光场成像技术充分挖掘高维光场信息, 通过特征融合实现准确有效的远距离虹膜活体检测.我们使用光场相机作为虹膜图像的采集设备, 操作简单, 使用方便.利用计算光场成像技术, 只需一次图像采集, 使用一张光场图像即可使用硬件法和软件法分别提取有区分性的特征进行虹膜活体检测.因此, 本方法既能够方便迅速地采集虹膜图像, 又能够记录更高维度、更丰富的有效信息, 取得更好的活体检测结果.虹膜活体检测是虹膜识别系统的关键预处理步骤, 对于虹膜识别系统来说, 识别距离越远, 识别景深范围越大, 用户体验越好.光场成像技术具有景深扩展的强大后处理能力, 利用实验室自主研发的光场相机进行光场成像的景深比传统成像的景深扩大5~10倍, 可以实现远距离大景深的虹膜活体检测, 有助于促进生物特征识别的研究发展与应用产业化.
本文受Raghavendra等[14]方法的启发, 与其不同的是, 在本文提出方法的数据采集环节中, 采集距离更远, 采集设备更先进, 采集环境更复杂; 在数据处理环节中, 可以自由控制光场图像的预处理与渲染过程, 根据需要得到任意步长间隔的重对焦图像序列; 在对焦评价环节中, 本文针对远距离半受控的采集环境, 选择了对噪声更鲁棒的基于图像梯度的评价方法; 在虹膜分类环节中, 本文选择了比阈值分类方法适用范围更广、分类性能更强的分类器.文献[14]虽然利用光场相机的固有特性进行近距离虹膜活体检测并在单一攻击类型的数据库中取得了不错的结果, 但无法同时应对多种攻击类型.而本方法通过软硬件结合的方式, 使用光场相机采集光场虹膜图像; 利用计算光场成像技术, 以光场重对焦技术为切入点, 通过软硬件特征融合的方式在远距离、半受控、大景深的图像采集条件下仍然可以同时应对多种攻击类型, 进行高准确率的虹膜活体检测.本文首先利用重对焦技术提取眼睛区域的立体结构特征, 然后利用重对焦序列中最清晰图像提取虹膜的纹理特征, 在特征层融合后使用支持向量机(Support vector machine, SVM)分类器进行真假虹膜样本分类.为了验证本文方法的精度和有效性, 我们采集建立了目前为止第一个近红外远距离光场虹膜活体检测数据库, 包括打印虹膜(普通打印纸、高光相片纸)和屏显虹膜(iPad)两类共三种人造假体虹膜图像, 共504个有效样本(约5万张重对焦光场图像).实验结果表明本文提出的方法可以准确有效地检测并阻止打印虹膜和屏显虹膜对虹膜识别系统的攻击.
1. 光场虹膜活体检测技术
本文提出基于计算光场成像的虹膜活体检测方法, 如图 1所示.首先, 对采集的原始光场图像进行解码、标定、预处理, 获得四维光场数据$ L(u, v, x, y) $; 利用光场重对焦技术得到一组焦栈(Focal stack)图像.然后, 计算焦栈图像中眼睛区域的对焦能量值作为立体结构特征; 选取焦栈中最清晰的虹膜图像进行定位, 分割、归一化、提取LPQ (Local phase quantization)[26]特征作为纹理特征.最后, 在特征层融合立体结构特征和纹理特征, 使用SVM分类器进行真实虹膜和人造假体虹膜分类.
1.1 光场焦栈渲染
1.1.1 光场图像预处理
光场通过表征空间中每一条光线的辐射亮度(Radiance), 描述了光在三维空间的辐射传输特性.光场成像是一种计算成像技术, 单次曝光即可同时捕获光线的能量和角度信息.因此, 基于光场成像技术设计的光场相机可以记录拍摄场景的光场.现阶段, 微透镜阵列广泛应用于光场调制过程.基于微透镜阵列的光场相机(Lytro, Raytrix等)是由主光学系统、微透镜阵列、图像传感器组成, 通过在传感器前放置微透镜阵列, 可以对不同视角的光线进行分离, 实现不同视角的快照式成像.
光场成像是一种编码成像, 不是“所见即所得”, 因此需要对获取的原始光场图像进行解码、标定和预处理, 才能得到图像的光场数据.本文采用Dansereau等[27]提出的方法1, 使用双平面表达模型对光场进行参数化描述, 通过使用白图像标定每个微透镜的中心坐标, 计算配准参数, 提取4D光场数据$ L (u, v, x, y) $.
1http://www.mathworks.com/matlabcentral/fileexchange/49683
$ \begin{equation} I(x, y) = \iint L(u, v, x, y) \mathrm{d}u \mathrm{d}v \end{equation} $
(1) 计算光场成像模型如式(1)所示, 对光场矩阵$ L(u, v, x, y) $的$ uv $坐标积分, 即可得到传统光学成像结构采集的2D传统图像$ I(x, y) $.通过固定$ uv $坐标可以得到不同视角下的子孔径图像$ I(x, y)_{u, v} $, 由文献[28]可知, 子孔径图像所对应的光瞳尺寸是原始光瞳尺寸的$ {1}/{u} $, 因此, 理论上光场子孔径图像的景深是传统图像的$ u $倍.以我们实验室自主研制的光场相机为例, $ u = 13 $.
图 2为物方离焦分别为-10 cm、0 cm、+10 cm、+20 cm时传统图像$ I(x, y) $和对应距离采集的光场中心子孔径图像$ I(x, y)_{5, 5} $.第1行为传统图像, 第2行为与之对应的光场中心子孔径图像.比较两组图像可知, 在聚焦位置1.6 m处两幅图像都非常清晰, 没有明显视觉差异; 随着离焦量增大, 传统图像趋于模糊, 当离焦量较大时, 弥散效应非常明显, 虹膜数据已无法用于后续的数据处理, 而光场中心子孔径图像仍然可以清晰看到瞳孔中反射的光点.这说明光场成像的景深远大于传统成像的景深, 计算光场成像具有强大的景深扩展能力.
图 2 传统图像(上)与光场中心子孔径图像(下)比较Fig. 2 Comparison between traditional images (up) and light-field sub-aperture images (down)传统成像技术一直存在景深与焦距(或孔径)的相互制约关系.利用传统相机拍摄远距离虹膜时必须选用长焦镜头, 若固定其他光学成像参数, 则焦距增大会导致景深变小, 使高质量清晰虹膜图像的采集变得非常困难, 需要参与者高度配合, 否则容易出现严重的离焦模糊, 为后续虹膜检测、分割、识别的研究带来巨大挑战.而光场成像技术具有“先拍摄, 后对焦”的优势, 在进行远距离虹膜图像采集时, 使用实验室自主研制的光场相机配合70 mm $ \sim $ 200 mm长焦镜头拍摄1.6 m远的虹膜时, 依然可以获得30 cm的有效景深范围, 有效解决了基于传统成像的虹膜图像采集的难题.因此, 使用光场成像方式可以实现对用户交互、应用场景、成像环境鲁棒的远距离、大景深、高质量光场虹膜图像采集.
1.1.2 光场重对焦
对焦是通过改变探测器像面与镜头之间的距离, 使拍摄物体在探测器像面上产生清晰图像的过程.在传统光学成像系统中, 对焦是通过手动或自动调整对焦环使离焦模糊的目标变清晰, 其实质是将光场重新投影到成像最清晰的像平面.基于微透镜阵列的光场相机能够同时对光线的能量和角度信息进行采样和成像, 记录四维光场数据.因此可以通过计算成像的方式改变光场的投影像平面, 实现数字重对焦(Digital refocusing).本文使用Ng等[28]提出的重对焦方法, 重对焦计算公式为:
$ \begin{equation} L{'}(u, v, x{'}, y{'}) = L(u, v, \frac{x{'}}{\alpha}+u(1-\alpha), \frac{y{'}}{\alpha}+v(1-\alpha)) \end{equation} $
(2) 如图 3所示, 基于双平面表达模型对光场进行参数化描述, $ L{'}(u, v, x{'}, y{'}) $表示重对焦平面记录的光场, $ L(u, v, x, y) $表示原始成像平面记录的光场, $ \alpha $表示重对焦像平面与原始成像平面的相对位置, $ \alpha = {F{'}}/{F} $, $ F $和$ F{'} $分别表示重对焦前后主透镜平面到成像平面的距离.基于几何光学的光线传播理论, 光线在均匀介质中沿直线传播, 所以在式(2)中, 重对焦前后光场$ uv $坐标不变.因此, 重对焦图像可由原始光场子孔径图像线性平移后叠加获得.通过均匀改变$ \alpha $可以得到一组对焦在不同深度位置的焦栈图像.
图 4为一组虹膜焦栈图像中的部分图像, 可以直观地看到$ \alpha = 1.010 $时图像最清晰(计算焦栈图像的对焦能量值亦可验证), 在此基础上$ \alpha $减小或增大图像都逐渐模糊.
理论上在聚焦情况下, 当$ \alpha = 1 $时图像最清晰, 但因为本文实验数据是在半受控环境下采集, 实际拍摄中由于被采集者移动、姿态非对正、对焦目标是人脸等因素会导致虹膜的聚焦位置不是理想情况时的$ \alpha = 1 $.因此, 通过光场数字重对焦技术不仅可以利用硬件法提取焦栈图像眼睛区域的立体结构特征, 而且可以实现更准确对焦, 获取最清晰的虹膜图像, 从而利用软件法提取更有区分性、更鲁棒的纹理特征.虽然光场重对焦技术可以扩大图像景深, 但是仍然受到香农采样定理的制约, 偏离聚焦位置过大仍会导致图像模糊, 产生非精确对焦(Inexact refocusing)[29].
1.2 立体结构特征描述
1.2.1 对焦评价函数
本文使用对焦评价函数对焦栈图像的清晰度进行度量评价, 从而得到焦栈图像的对焦能量值曲线, 以此构建眼睛区域的立体结构特征.由于采集距离远, 光照和离焦不断变化, 采集的虹膜图像存在不同程度的噪声, 因此本文采用对光照和噪声不敏感的基于图像梯度的对焦评价函数TGV (Tenengrad gradient variance)[30], 以提升本方法的鲁棒性.
$ \begin{align} S(x, y) & = \sqrt{(I_{\rm{R}}(x, y)* S_{x})^{2}+{(I_{\rm{R}}(x, y)* S_{y})^{2}}} \end{align} $
(3) $ \begin{align} \bar{S} & = \frac{1}{XY}\sum\limits_{x = 1}^X\sum\limits_{y = 1}^YS(x, y) \end{align} $
(4) $ \begin{align} F_{\rm{SF}}(I_{\rm{R}}) & = \sum\limits_{x = 1}^X\sum\limits_{y = 1}^Y[S(x, y)-\bar{S}]^{2} , \text{ 若 }\; S(x, y)>T \end{align} $
(5) 由式(3) $ \sim $ (5)可知, TGV方法首先使用索贝尔算子(Sobel operator) $ S_{x} $和$ S_{y} $提取重对焦图像$ I_{\rm{R}}(x, y) $中的边缘信息, 然后计算每个像素的梯度强度$ S(x, y) $和整幅图像的平均梯度强度$ \bar{S} $, 设置阈值$ T $来滤除噪声产生的边缘像素, 使用梯度强度方差$ F_{\rm{SF}}(I_{\rm{R}}) $作为图像的对焦能量值. $ F_{\rm{SF}}(I_{\rm{R}}) $越大, 说明图像中边缘信息越丰富, 图像越清晰.
图 5展示的是相机对焦位置为1.6 m时, 对1.5 m (-10 cm)、1.6 m (0 cm)、1.7 m (+10 cm)、1.8 m (+20 cm)处的虹膜进行光场成像得到的对焦能量值曲线.横轴表示焦栈中图像的位置序号(Sequence number), 对应的重对焦区间为$ [0.5, 1.7] $.纵轴表示对焦能量值大小.可以发现, 随着采集距离增加, 对焦能量值达到峰值时所在焦栈图像中的位置逐渐后移, 与理论聚焦位置相符.对焦能量值曲线对应的峰值大小与离焦量有关, 在实际对焦位置1.6 m处离焦0 cm, 此时对焦能量值最大, 图像最清晰.当离焦-10 cm、+10 cm、+20 cm时, 虽然重对焦图像的清晰度提升很大, 但是因为重对焦图像是由原始光场子孔径图像经过线性平移后叠加得到, 这个过程相当于对图像进行了平滑滤波, 图像丢失了部分的高频信息, 边缘信息变少.因此, 重对焦位置偏离聚焦位置越远, 图像平滑越明显, 高频信息丢失越多, 图像对焦能量值越低.
图 5 不同拍摄距离(离焦量)时焦栈图像对焦能量值曲线Fig. 5 Focus measure curves of focal stack images at different capturing distances (defocusing amount)1.2.2 立体结构特征构建
由于我们采集的是双眼虹膜图像, 采集环境半受控, 在拍摄时会因为被采集者移动、姿态非对正等因素导致左右眼区域的最优聚焦位置不同, 影响立体结构特征的提取.所以左右眼区域最优聚焦位置的搜索过程是独立进行的.
重对焦过程本质是一个搜索过程, 因此本文采用了由粗到精的方法确定最优聚焦位置$ \alpha^{*} $.首先使用$ \Delta\alpha = 0.03 $的步长在$ [0.5, 1.7] $的重对焦区间内对图像进行大范围宽间距的搜索, 寻找焦栈图像中聚焦能量值最高的图像对应的$ \alpha{'} $, 然后以$ \alpha{'} $为中心, 在$ [\alpha{'}-0.03, \alpha{'}+0.03] $区间内进行小范围窄间距的二次重对焦搜索, 确定最优聚焦位置$ \alpha^{*} $.
根据相关实验结果(详见第3.1节), 确定最优重对焦范围为0.4, 因此构建眼睛区域立体结构特征的重对焦区间为$ [\alpha^{*}-0.2, \alpha^{*}+0.2] $; 重对焦步长$ \Delta\alpha = 0.0028 $, 对应的焦栈图像数量$ N_{\rm{SN}} $ (Sequence number)为145.将该序列中所有图像对焦能量值依次排列, 作为眼睛区域的立体结构特征$ \boldsymbol{F}_{\rm{SF}} $.立体结构通过对焦能量值曲线的形状反映了眼睛区域的深度结构信息.
图 6展示了同一虹膜在1.5 m、1.6 m、1.7 m处拍摄的真实虹膜图像和利用该虹膜制造的三种人造假体虹膜图像的归一化立体结构特征曲线.对比真假虹膜的归一化立体结构特征曲线, 可以发现两者之间存在显著差异. 1)真实虹膜图像的归一化立体结构特征曲线峰值比较低, 假虹膜曲线的峰值比较高.原因是真实人眼区域是立体结构, 虹膜与眼周区域位于不同的深度位置, 在一定重对焦范围内都有对象对焦, 对焦能量值衰减较慢, 因此在归一化立体结构特征曲线中峰值对应的比重较低. 2)真实虹膜归一化立体结构特征曲线存在不同程度的波动, 曲线不平滑, 而人造假体虹膜曲线平滑.原因是打印虹膜和屏显虹膜是平面结构, 没有深度变化, 而真实人眼区域是立体结构, 在计算对焦能量值时会产生较大程度的波动.
图 6 不同类型真假虹膜图像归一化立体结构特征曲线Fig. 6 Normalized structure feature curves of different kinds of real and fake images实验结果表明(详见第3.3节), 当单独使用眼睛区域归一化立体结构特征进行虹膜活体检测时, 可以达到94.41 %分类准确率, 5.90 %平均分类错误率, 说明提取的归一化立体结构特征具有很强的区分性.
1.3 纹理特征提取
我们通过由粗到精的重对焦搜索确定了最优聚焦位置$ \alpha^{*} $和对应的最清晰虹膜图像.本方法使用最清晰虹膜图像进行虹膜定位、分割、归一化, 然后使用LPQ特征描述子提取虹膜图像的纹理特征.
LPQ特征使用图像低频信息进行构建, 对图像模糊不敏感, 可以在远距离情况下提取更鲁棒、更有区分性的特征.首先对图像$ f(\boldsymbol{x}) $中每个像素$ \boldsymbol{x} $的矩形邻域$ N_{\boldsymbol{x}} $做短时傅里叶变换(Short-time Fourier transform, STFT)变换:
$ \begin{equation} F(\boldsymbol{u}, \boldsymbol{x}) = \sum\limits_{\boldsymbol{y}}f(\boldsymbol{y})\omega(\boldsymbol{y}-\boldsymbol{x})\mathrm{e}^{-\mathrm{j2\pi} \boldsymbol{u}\cdot \boldsymbol{y}} \end{equation} $
(6) 式中, $ \boldsymbol{x} $、$ \boldsymbol{y} $是图像像素的二维坐标, $ \boldsymbol{u} $是频率, $ \omega(\boldsymbol{x}) $是表示邻域$ N_{\boldsymbol{x}} $的窗口函数.只考察四个频率$ \boldsymbol{u}_{0} = (a, 0) $, $ \boldsymbol{u}_{1} = (a, a) $, $ \boldsymbol{u}_{2} = (0, a) $, $ \boldsymbol{u}_{3} = (-a, a) $的傅里叶系数, 其中$ a\ll1 $.得到像素$ \boldsymbol{x} $的傅里叶系数特征$ \boldsymbol{F} (\boldsymbol{x}) $, 如式(7)和(8)所示.将$ \boldsymbol{G} (\boldsymbol{x}) $各分量的实部和虚部根据其正负号分别量化为1和0, 得到像素$ \boldsymbol{x} $邻域的傅里叶相位信息, 将其转换至$ [0, 255] $范围就得到该像素的LPQ特征值$ F_{\rm{LPQ}} (\boldsymbol{x}) $.最后统计图像所有像素点的LPQ特征值得到图像的LPQ特征统计直方图, 将其作为虹膜图像的纹理特征$ \boldsymbol{F}_{\rm{LPQ}} $.
$ \begin{align} \boldsymbol{F}(\boldsymbol{x}) & = [F(\boldsymbol{u}_{1}, \boldsymbol{x}), F(\boldsymbol{u}_{2}, \boldsymbol{x}), F(\boldsymbol{u}_{3}, \boldsymbol{x}), F(\boldsymbol{u}_{4}, \boldsymbol{x})] \end{align} $
(7) $ \begin{align} \boldsymbol{G}(\boldsymbol{x}) & = [\mathrm{Re}{\boldsymbol{F}(\boldsymbol{x})}, \mathrm{Im}{\boldsymbol{F}(\boldsymbol{x})}] \end{align} $
(8) 图 7展示了同一虹膜在1.5 m、1.6 m、1.7 m处拍摄的真实虹膜图像和利用该虹膜制造的三种人造假体虹膜图像的纹理特征曲线.真假虹膜之间的纹理特征在形状、幅值等方面存在显著差异.
图 7 不同类型真假虹膜图像纹理特征曲线Fig. 7 Texture feature curves of different kinds of real and fake images1.4 特征融合与分类
立体结构特征表达了眼睛区域的深度变化信息, 纹理特征表达了虹膜的纹理信息, 两类特征相互补充, 因此本方法融合两类特征进行虹膜活体检测.相比于分数层特征融合方式, 本文使用的特征层级联的特征融合方式可以使分类器既能提取每一类特征的有区分性信息, 又能利用两类特征之间隐含的相关性来提高分类结果, 获得更高的分类准确率.分别对立体结构特征和纹理特征进行归一化, 然后进行特征串联即可得到最终分类特征$ \boldsymbol{F}_{\rm{F}} = [\boldsymbol{F}_{\rm{SF}}, \boldsymbol{F}_{\rm{LPQ}}] $.
$ \begin{align} \min\limits_{\boldsymbol{\omega}, b, \boldsymbol{\xi}}&\Bigg(\max\limits_{\alpha_{i}, \beta_{i}}\Bigg(\frac{1}{2}\|\boldsymbol{\omega}\|^{2}+C\sum\limits_{i = 1}^{n}\xi_{i}-\sum\limits_{i = 1}^{n}\alpha_{i}(y_{i}(\boldsymbol{\omega}^\mathrm{T}\boldsymbol{x}_{i}+ \\ &b)-1+\xi_{i})-\sum\limits_{i = 1}^{n}\beta_{i}\xi_{i}\Bigg)\Bigg) \end{align} $
(9) s.t.
$ \begin{align} \alpha_{i}\geq0, \ \beta_{i}\geq0, \ \xi_{i}\geq0, \ i = 1, 2, \cdots, n \end{align} $
本文采用径向基函数SVM分类器进行特征分类, 首先优化求解式(9), 利用$ n $个训练集数据求解变量$ \boldsymbol{\alpha}^{*} = (\alpha_{1}^{*}, \alpha_{2}^{*}, \cdots, \alpha_{n}^{*}) $和$ b^{*} $的最优解, 然后使用分类决策函数$ f(\boldsymbol{x}) $判断测试样本$ \boldsymbol{x} $的真伪.
$ \begin{equation} f(\boldsymbol{x}) = \mathrm{sign}\left(\sum\limits_{i = 1}^{n}\alpha_{i}^{*}y_{i}\exp(-\frac{\|\boldsymbol{x}_{i}-\boldsymbol{x}\|^{2}}{2\sigma^{2}})+b^{*}\right) \end{equation} $
(10) 2. 数据库建立
我们计划建立一个大型近红外光场虹膜活体检测数据库.目前已完成第一阶段的采集工作, 建立了一个中等规模的近红外远距离光场虹膜活体检测数据库.该数据库在半受控环境下采集, 半受控表现为采集环境光照多变、采集背景复杂、采集姿态非对正、遮挡等.采集对象有14人, 采集的人造假体虹膜样本类型有打印虹膜(普通打印纸、高光相片纸)和屏显虹膜(iPad)两类.对采集的光场图像进行认真筛选, 得到504个可用真假虹膜样本(约5万张重对焦光场图像).我们使用的采集设备有实验室自制光场相机和Lytro Illum商业级光场相机, 如图 8 (a)和8 (b)所示.下面分别介绍真实虹膜样本图像和人造假体虹膜样本图像的采集流程规范.
2.1 真实虹膜样本采集流程
由于亚洲人种的虹膜在可见光下呈深褐色, 虹膜纹理不明显, 所以需要在近红外环境下采集真实人眼虹膜图像.真实人眼虹膜图像的采集过程分为两步.
1) 使用图 8 (c)所示的近距离高清虹膜采集设备采集近红外条件下的双眼虹膜图像, 专门用于人造假体虹膜样本的制作, 以及后续的虹膜识别研究. 图 8 (d)是采集白图像的过程, 采集的白图像用于光场相机的标定与光场图像的平场校正、参数配准等预处理过程.
2) 采集远距离不同离焦情况下的双眼真实虹膜样本.为了让拍摄环境更接近实际应用时的光照环境, 我们通过调整摄影灯的光照强度和近红外光的强度人为模拟了高亮光照环境、自然光照环境、昏暗光照环境, 每个参与者只在一种光照环境下拍摄虹膜图像.
我们将光场相机设置为拍摄1.6 m距离处图像能清晰对焦, 保持相机参数不变, 让参与者分别位于1.5 m、1.6 m、1.7 m和1.8 m处拍摄离焦距离分别为-10 cm、0 cm、+10 cm和+20 cm时的光场虹膜图像, 每个位置至少采集三张光场图像.采集的真实虹膜样本如图 9 (a)所示.
经过光场解码、标定、去渐晕等后处理增强, 最终采用115张真实双眼虹膜图像, 获得230个真实虹膜样本.
2.2 人造假体虹膜样本采集流程
拍摄的人造假体虹膜类型有打印虹膜和iPad屏显虹膜两类, 其中打印虹膜又细分为A4普通打印纸黑白打印与高光相片纸彩色打印两种.图 9 (b)$ \sim $9 (d)对应展示了A4普通打印纸打印虹膜、iPad屏显虹膜、高光相片纸打印虹膜三种人造假体虹膜图像.我们选择这三种人造假体攻击方式的原因有: 1)图像来源简单可靠, 高分辨率图像非常容易从社交媒体等渠道获取或盗用; 2)攻击方式简单有效, 文献[1-3]对这几种方法的有效性都进行了研究.
我们首先使用商业打印机制作两种打印类型的假体虹膜图像, 打印机DPI (Dots per inch)设置为1 200, 分别在高亮光照环境和自然光照环境下使用自制相机和Lytro相机采集1.5 m、1.6 m、1.7 m距离时的人造假体虹膜图像, 每个人造样本采集三张图像. iPad屏显虹膜图像使用屏幕分辨率为$ 2 048 \times 1 536 $的iPad mini 4展示.我们分别使用两种光场相机拍摄1.6 m距离时的iPad人造假体虹膜图像.最终, 我们采用137张人造假体双眼膜样本图像, 获得三种类型共274个人造假体虹膜样本.
3. 实验与结果
我们首先通过实验确定本文方法的关键参数, 然后介绍活体检测方法的评价准则, 最后在我们自主采集的光场虹膜数据库上进行实验, 并对实验结果进行分析.
3.1 实验参数
本文提出的虹膜活体检测方法需要利用光场重对焦技术来计算眼睛区域的立体结构特征, 所以重对焦范围$ S_{\rm{s}} $和重对焦序列图像数量$ N_{\rm{SN}} $的选取直接影响到立体结构特征的表达, 进而影响活体检测方法的准确率.但是$ S_{\rm{s}} $和$ N_{\rm{SN}} $无法根据理论和经验直接确定, 所以本文通过实验的方式确定它们的最优解.
重对焦范围$ S_{\rm{s}} $可以表示为重对焦序列图像数量$ N_{\rm{SN}} $与重对焦序列最小间隔$ \Delta\alpha $的乘积.
$ \begin{equation} S_{\rm{s}} = \Delta\alpha\cdot N_{\rm{SN}} \end{equation} $
(11) 我们固定$ \Delta\alpha $不变, 通过寻找$ S_{\rm{s}} $与活体检测准确率之间的关系来同时确定$ S_{\rm{s}} $和$ N_{\rm{SN}} $.通过简单实验进行拟合, 确定$ \Delta\alpha $的估计值为0.0028.图 10展示的是$ S_{\rm{s}} $取值分别为$ 0.1, 0.2, \cdots, 0.7 $时与活体检测准确率Accuracy的关系.实验结果表明$ S_{\rm{s}} $与活体检测准确率有相关性, $ S_{\rm{s}} $在$ [0.1, 0.4] $之间随着重对焦范围增大, 准确率逐渐提升, 在$ S_{\rm{s}} = 0.4 $时准确率达到最大值94.41 %, 此后准确率随着$ S_{\rm{s}} $的增大缓慢波动.因为程序执行时间与焦栈图像数量是线性关系, $ S_{\rm{s}} $越大焦栈图像渲染的耗时越长.所以$ S_{\rm{s}} $的最优值为0.4, 用于构建立体结构特征的重对焦区间为$ [\alpha^{*}-0.2, \alpha^{*}+0.2] $, $ N_{\rm{SN}} $的最优值为145.
3.2 实验评价准则
根据ISO/IEC[31]的规定, 虹膜活体检测方法的评价指标为: 1) Attack presentation classification error rate (APCER), 表示的是把人造假体虹膜样本错误地认定为真实虹膜样本的比例; 2) Bona fide presentation classification error rate (BPCER), 表示的是把真实虹膜样本错误认定为人造假体虹膜样本的比例.最后本文使用平均分类错误率ACER评价方法的整体性能.
$ \begin{equation} ACER = \frac{APCER+BPCER}{2} \end{equation} $
(12) 平均错误率ACER越小, 说明算法整体表现越好, 活体检测准确率越高. APCER、BPCER、ACER均可以通过比较测试集真实标签和SVM分类器估计的标签得到.
3.3 实验结果与分析
由于传统方法可以直接使用光场子孔径图像进行活体检测, 所以对比方法中包括了很多基于传统图像的方法, 比如基于局部特征描述子的方法和基于图像质量评价的方法.对比方法使用的虹膜图像为焦栈图像中最清晰的虹膜图像.实验在自主采集的近红外远距离光场虹膜活体检测数据库上进行, 将实验数据根据采集对象分为训练集和测试集, 训练集包括5人的真假虹膜图像, 测试集包括9人的真假虹膜图像, 实验结果如表 1所示.
表 1 虹膜活体检测方法在自主采集的数据库上的表现(%)Table 1 Performance of iris liveness detection methods on self-collected database (%)Method Accuracy APCER BPCER ACER Bliinds2[32] 79.61 23.81 16.18 19.99 BRISQUE[33] 86.18 13.69 13.97 13.83 DIIVINE[34] 89.14 5.95 16.91 11.43 BSIF[35] 83.88 16.67 15.44 16.05 DSIFT[36] 76.97 35.12 8.09 21.60 LPQ[26] 90.13 11.90 7.35 9.63 SID[37] 77.30 35.12 7.35 21.24 LBP[38] 82.24 20.83 13.97 17.40 LBPV[39] 79.61 30.95 7.35 19.15 Raghavendra[14] 59.54 32.14 50.74 41.44 Ours_SF 94.41 2.98 8.82 5.90 Ours_Fusion 96.38 2.98 4.41 3.69 表 1中Bliinds2、BRISQUE、DIIVINE是三种基于图像质量评价的方法, 最好的DIIVINE方法取得了89.14 %的分类准确率, 11.43 %的平均分类错误率. BSIF、DSIFT、LPQ、SID、LBP、LBPV是基于局部特征描述子的方法, 其中LPQ特征描述子取得了最好的90.13 %的分类准确率, 9.63 %的平均分类错误率.首次使用光场相机和重对焦策略进行虹膜活体检测的Raghavendra等[14]方法只取得了59.54 %的分类准确率, 平均分类错误率达到了41.44 %.对于本文提出的方法, 当单独使用归一化的立体结构特征$ \boldsymbol{F}_{\rm{SF}} $进行分类时(Ours_SF)便取得了94.41 %的分类准确率, 平均分类错误率为5.90 %, 而使用特征融合后的特征$ \boldsymbol{F}_{\rm{F}} $进行分类时(Ours_Fusion)更是取得了96.38 %的分类准确率, 相比最好的对比方法提升了6.25 %, 平均分类错误率为3.69 %, 降低了5.94 %.因此, 由实验结果可知, 结构特征与纹理特征的融合对真实虹膜和人造假体虹膜有更强的区分性.
由“质量差异”假设可知, 人造假体虹膜在制作时不可避免地会丢失部分信息, 因此基于图像质量评价的方法总可以取得不错的分类效果.由于实验样本为远距离采集的虹膜图像, 光照明暗多变, 图像采集时容易被曝光等原因产生的噪声干扰, 影响部分特征描述子的特征提取, 降低分类准确率.由于文献[14]中方法使用单阈值区分真假虹膜样本, 无法同时应对多种攻击类型.所以在本文采集的混合攻击类型数据库中表现很差.
对于本文提出的方法, 特征融合后的APCER和只使用归一化的立体结构特征的APCER均为2.98 %, 一个可能原因是纹理特征误识别为真实样本的所有假体样本中, 包含全部立体结构特征误识别为真实样本的假体样本, 因此特征融合后APCER无法进一步降低.而由于两类特征误识别为假体样本的真实样本之间不是此种包含关系, 因此特征融合后BPCER降低了4.41 %.
由以上分析可知, 本文提出的基于计算光场成像的远距离虹膜活体检测方法通过融合眼睛区域的立体结构特征和虹膜图像的纹理特征, 可以有效地辨别真实虹膜和不同类型的人造假体虹膜, 在所有方法中取得了最好的分类效果.
除了本文测试的三种平面假体虹膜类型, 本方法对美瞳、义眼等假体类型也有区分性.美瞳和义眼等假体类型因为更接近真实人眼的结构和纹理, 所以更逼真.对于平面假体样本, 根据本文的实验结果, 立体结构特征的区分性更强(94.41 %), 纹理特征的区分性相对偏弱(90.13 %).而对于美瞳、义眼等假体类型, 立体结构特征的区分性虽然会减弱, 但纹理特征的区分性仍然很强, 依然可以有效阻止此类假体攻击.因此, 通过融合立体结构特征和虹膜纹理特征, 本方法理论上可以有效应对所有类型的假体攻击方式.
4. 结论
本文提出了一种基于计算光场成像的远距离虹膜活体检测方法.通过软硬件结合的方式, 使用光场相机采集虹膜图像, 利用计算光场成像技术, 使用硬件方法提取了眼睛区域的立体结构特征, 使用软件方法提取了虹膜图像的纹理特征, 并在特征层进行特征融合、分类.由于目前没有相关的数据库, 因此, 我们正在采集建立一个大型的近红外光场虹膜活体检测数据库, 现已完成14人的虹膜采集工作, 建立了目前为止第一个中等规模的近红外光场虹膜活体检测数据库.在半受控环境下采集了真实人眼虹膜图像和打印虹膜(普通打印纸、高光相片纸)、iPad屏显虹膜两类共三种人造假体虹膜图像.实验结果表明, 本方法可以对在1.6 m距离, 30 cm景深范围内采集的实验样本取得96.38 %的活体检测准确率, 3.69 %的平均分类错误率.相比最好的对比方法准确率提升6.25 %, 平均分类错误率降低5.94 %.
本文提出的远距离、大景深、高精度的虹膜活体检测方法, 通过软硬件结合的方式, 使用光场相机进行虹膜图像采集; 利用计算光场成像技术充分挖掘四维光场信息, 获取更多有助于活体检测的信息来提升虹膜活体检测的准确率.本方法不需要使用额外的硬件采集设备, 只需使用光场相机, 就可以实现远距离、非接触、大景深范围的虹膜图像采集, 对被采集者非常友好.本方法充分利用了四维光场信息和光场成像技术的“先拍摄, 后对焦”优势, 把光场重对焦技术与传统特征提取方法深度结合, 可以同时提取眼睛区域的立体结构特征和虹膜的纹理特征, 通过特征融合实现高准确率的虹膜活体检测, 为虹膜、人脸的活体检测方法提供了新的思路.文献[14]验证了近距离情况下使用光场相机进行虹膜活体检测的可行性和有效性, 本文在文献[14]的基础上通过实验证明, 在远距离、大景深条件下利用计算光场成像技术, 通过多特征融合能够同时应对多种攻击类型, 进行高准确率虹膜活体检测.本文的不足之处是由于数据量不足, 无法验证本方法对美瞳、义眼等假体类型的有效性.
-
[1] Rubenstein M, Cornejo A, Nagpal R. Programmable self-assembly in a thousand-robot swarm. Science, 2014, 345(6198): 795−799 doi: 10.1126/science.1254295 [2] Wang Y D, He H B, Sun C Y. Learning to navigate through complex dynamic environment with modular deep reinforcement learning. IEEE Transactions on Games, 2018, 10(4): 400−412 doi: 10.1109/TG.2018.2849942 [3] 郑南宁. 人工智能面临的挑战. 自动化学报, 2016, 42(5): 641−642Zheng Nan-Ning. On challenges in artificial intelligence. Acta Automatica Sinica, 2016, 42(5): 641−642 [4] Nguyen T T, Nguyen N D, Nahavandi S. Deep reinforcement learning for multiagent systems: a review of challenges, solutions, and applications. IEEE Transactions on Cybernetics, 2020 doi: 10.1109/TCYB.2020.2977374 [5] 赵冬斌, 邵坤, 朱圆恒, 李栋, 陈亚冉, 王海涛, 等. 深度强化学习综述: 兼论计算机围棋的发展. 控制理论与应用, 2016, 33(6): 701−717 doi: 10.7641/CTA.2016.60173Zhao Dong-Bin, Shao Kun, Zhu Yuan-Heng, Li Dong, Chen Ya-Ran, Wang Hai-Tao, et al. Review of deep reinforcement learning and discussions on the development of computer Go. Control Theory & Applications, 2016, 33(6): 701−717 doi: 10.7641/CTA.2016.60173 [6] 周志华. AlphaGo专题介绍. 自动化学报, 2016, 42(5): 670Zhou Zhi-Hua. AlphaGo special session: an introduction. Acta Automatica Sinica, 2016, 42(5): 670 [7] Silver D, Huang A, Maddison C J, Guez A, Sifre L, van den Driessche G, et al. Mastering the game of go with deep neural networks and tree search. Nature, 2016, 529(7587): 484−489 doi: 10.1038/nature16961 [8] Silver D, Schrittwieser J, Simonyan K, Antonoglou I, Huang A, Guez A, et al. Mastering the game of go without human knowledge. Nature, 2017, 550(7676): 354−359 doi: 10.1038/nature24270 [9] Berner C, Brockman G, Chan B, Cheung V, Dębiak P, Denniso C, et al. Dota 2 with large scale deep reinforcement learning. arXiv: 1912.06680, 2019. [10] Hung S M, Givigi S N. A Q-learning approach to flocking with UAVs in a stochastic environment. IEEE Transactions on Cybernetics, 2017, 47(1): 186−197 doi: 10.1109/TCYB.2015.2509646 [11] Schwab D, Zhu Y F, Veloso M. Zero shot transfer learning for robot soccer. In: Proceedings of the 17th International Conference on Autonomous Agents and Multiagent Systems (AAMAS 2018). Stockholm, Sweden: ACM, 2018. 2070−2072 [12] 王云鹏, 郭戈. 基于深度强化学习的有轨电车信号优先控制. 自动化学报, 2019, 45(12): 2366−2377Wang Yun-Peng, Guo Ge. Signal priority control for trams using deep reinforcement learning. Acta Automatica Sinica, 2019, 45(12): 2366−2377 [13] Rahman M S, Mahmud M A, Pota H R, Hossain M J, Orchi T F. Distributed multi-agent-based protection scheme for transient stability enhancement in power systems. International Journal of Emerging Electric Power Systems, 2015, 16(2): 117−129 doi: 10.1515/ijeeps-2014-0143 [14] He J, Peng J, Jiang F, Qin G R, Liu W R. A distributed Q learning spectrum decision scheme for cognitive radio sensor network. International Journal of Distributed Sensor Networks, 2015, 2015: 7 [15] Leibo J Z, Zambaldi V, Lanctot M, Marecki J, Graepel T. Multi-agent reinforcement learning in sequential social dilemmas. In: Proceedings of the 16th Conference on Autonomous Agents and Multiagent Systems. Sao Paulo, Brazil: ACM, 2017. 464−473 [16] 吴国政. 从F03项目资助情况分析我国自动化学科的发展现状与趋势. 自动化学报, 2019, 45(9): 1611−1619Wu Guo-Zheng. Analysis of the status and trend of the development of China's automation discipline from F03 funding of NSFC. Acta Automatica Sinica, 2019, 45(9): 1611−1619 [17] Hernandez-Leal P, Kartal B, Taylor M E. A survey and critique of multiagent deep reinforcement learning. Autonomous Agents and Multi-Agent Systems, 2019, 33(6): 750−797 doi: 10.1007/s10458-019-09421-1 [18] Mu C X, Ni Z, Sun C Y, He H B. Air-breathing hypersonic vehicle tracking control based on adaptive dynamic programming. IEEE Transactions on Neural Networks and Learning Systems, 2017, 28(3): 584−598 doi: 10.1109/TNNLS.2016.2516948 [19] Mu C, Zhao Q, Sun C, Gao Z. A novel Q-learning algorithm for optimal tracking control of linear discrete-time systems with unknown dynamics. Applied Soft Computing, 2019, 82: 1−13 [20] Wang Y D, Sun J, He H B, Sun C Y. Deterministic policy gradient with integral compensator for robust quadrotor control. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2019 doi: 10.1109/TSMC.2018.2884725 [21] Sutton R S, McAllester D, Singh S, Mansour Y. Policy gradient methods for reinforcement learning with function approximation. In: Proceedings of the 12th International Conference on Neural Information Processing Systems. Denver, USA: MIT Press, 1999. 1057−1063 [22] Silver D, Lever G, Heess N, Degris T, Wierstra D, Riedmiller M. Deterministic policy gradient algorithms. In: Proceedings of the 31st International Conference on Machine Learning. Beijing, China: ACM, 2014. 387−395 [23] Wei Q L, Wang L X, Liu Y, Polycarpou M M. Optimal elevator group control via deep asynchronous actor-critic learning. IEEE Transactions on Neural Networks and Learning Systems, 2020 doi: 10.1109/TNNLS.2020.2965208 [24] Dong L, Zhong X N, Sun C Y, He H B. Adaptive event-triggered control based on heuristic dynamic programming for nonlinear discrete-time systems. IEEE Transactions on Neural Networks and Learning Systems, 2017, 28(7): 1594−1605 doi: 10.1109/TNNLS.2016.2541020 [25] Arulkumaran K, Deisenroth M P, Brundage M, Bharath A A. Deep reinforcement learning: a brief survey. IEEE Signal Processing Magazine, 2017, 34(6): 26−38 doi: 10.1109/MSP.2017.2743240 [26] Li Y X. Deep reinforcement learning: an overview. arXiv: 1701.07274, 2017. [27] Nguyen N D, Nguyen T, Nahavandi S. System design perspective for human-level agents using deep reinforcement learning: a survey. IEEE Access, 2017, 5: 27091−27102 doi: 10.1109/ACCESS.2017.2777827 [28] Nguyen T T. A multi-objective deep reinforcement learning framework. arXiv: 1803.02965, 2018. [29] Tsitsiklis J N, van Roy B. Analysis of temporal-difference learning with function approximation. In: Proceedings of the 9th International Conference on Neural Information Processing Systems. Denver, USA: MIT Press, 1996. 1075−1081 [30] Van Hasselt H. Double Q-learning. In: Proceedings of the 23rd International Conference on Neural Information Processing Systems. Vancouver, Canada: MIT Press, 2010. 2613−2621 [31] Van Hasselt H, Guez A, Silver D. Deep reinforcement learning with double Q-learning. arXiv: 1509.06461, 2015. [32] Schaul T, Quan J, Antonoglou I, Silver D. Prioritized experience replay. arXiv: 1511.05952, 2015. [33] Wang Z Y, Schaul T, Hessel M, van Hasselt H, Lanctot M, de Freitas N. Dueling network architectures for deep reinforcement learning. In: Proceedings of the 33rd International Conference on Machine Learning. New York, USA: ACM, 2016. 1995−2003 [34] Hausknecht H, Stone P. Deep recurrent Q-learning for partially observable MDPs. arXiv: 1507.06527, 2017. [35] Lample G, Chaplot D S. Playing FPS games with deep reinforcement learning. In: Proceedings of the 31st AAAI Conference on Artificial Intelligence. San Francisco, USA: AIAA, 2017. [36] Sorokin I, Seleznev A, Pavlov M, Fedorov A, Ignateva A. Deep attention recurrent Q-network. arXiv: 1512.01693, 2015. [37] Lillicrap T P, Hunt J J, Pritzel A, Heess N, Erez T, Tassa Y, et al. Continuous control with deep reinforcement learning. arXiv: 1509.02971, 2015. [38] Mnih V, Badia A P, Mirza M, Graves A, Harley T, Lillicrap T P, et al. Asynchronous methods for deep reinforcement learning. In: Proceedings of the 33rd International Conference on Machine Learning. New York, USA: ACM, 2016. 1928−1937 [39] Haarnoja T, Zhou A, Abbeel P, Levine S. Soft actor-critic: off-policy maximum entropy deep reinforcement learning with a stochastic actor. arXiv: 1801.01290, 2018. [40] Schulman J, Levine S, Abbeel P, Jordan M I, Moritz P. Trust region policy optimization. In: Proceedings of the 32nd International Conference on Machine Learning. Lille, France: ACM, 2015. 1889−1897 [41] Jadid O A, Hajinezhad D. A review of cooperative multi-agent deep reinforcement learning. arXiv: 1908.03963, 2019. [42] Tan M. Multi-agent reinforcement learning: independent vs. cooperative agents. In: Proceedings of the 10th International Conference on Machine Learning. Amherst, USA: ACM, 1993. 330−337 [43] Matignon L, Laurent G J, Le Fort-Piat N. Independent reinforcement learners in cooperative markov games: a survey regarding coordination problems. The Knowledge Engineering Review, 2012, 27(1): 1−31 doi: 10.1017/S0269888912000057 [44] Tampuu A, Matiisen T, Kodelja D, Kuzovkin I, Korjus K, Aru J, et al. Multiagent cooperation and competition with deep reinforcement learning. arXiv: 1511.08779, 2015. [45] Usunier N, Synnaeve G, Lin Z M, Chintala S. Episodic exploration for deep deterministic policies: an application to starcraft micromanagement tasks. arXiv: 1609.02993, 2016. [46] Cui L L, Wang X W, Zhang Y. Reinforcement learning-based asymptotic cooperative tracking of a class multi-agent dynamic systems using neural networks. Neurocomputing, 2016, 171: 220−229 doi: 10.1016/j.neucom.2015.06.066 [47] Kraemer L, Banerjee B. Multi-agent reinforcement learning as a rehearsal for decentralized planning. Neurocomputing, 2016, 190: 82−94 doi: 10.1016/j.neucom.2016.01.031 [48] Lowe R, Wu Y, Tamar A, Harb J, Abbeel P, Mordatch I. Multi-agent actor-critic for mixed cooperative-competitive environments. In: Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach, USA: MIT Press, 2017. 6379−6390 [49] Ryu H, Shin H, Park J. Multi-agent actor-critic with generative cooperative policy network. arXiv: 1810.09206, 2018. [50] Chu X X, Ye H J. Parameter sharing deep deterministic policy gradient for cooperative multi-agent reinforcement learning. arXiv: 1710.00336, 2017. [51] Foerster J N, Farquhar G, Afouras T, Nardelli N, Whiteson S. Counterfactual multi-agent policy gradients. arXiv: 1705.08926, 2017. [52] Zhang K Q, Yang Z R, Liu H, Zhang T, Basar T. Fully decentralized multi-agent reinforcement learning with networked agents. In: Proceedings of the 35th International Conference on Machine Learning. Stockholm, Sweden: ACM, 2018. 5872−5881 [53] Jiang J C, Dun C, Huang T J, Lu Z Q. Graph convolutional reinforcement learning. arXiv: 1810.09202, 2018. [54] Wang Q L, Psillakis H E, Sun C Y. Cooperative control of multiple agents with unknown high-frequency gain signs under unbalanced and switching topologies. IEEE Transactions on Automatic Control, 2019, 64(6): 2495−2501 doi: 10.1109/TAC.2018.2867161 [55] Hernandez-Leal P, Kaisers M, Baarslag T, de Cote E M. A survey of learning in multiagent environments: dealing with non-stationarity. arXiv: 1707.09183, 2017. [56] Mnih V, Kavukcuoglu K, Silver D, Rusu A A, Veness J, Bellemare M G, et al. Human-level control through deep reinforcement learning. Nature, 2015, 518(7540): 529−533 doi: 10.1038/nature14236 [57] Abdallah S, Kaisers M. Addressing the policy-bias of Q-learning by repeating updates. In: Proceedings of the 12th International Conference on Autonomous Agents and Multi-agent Systems. Saint Paul, USA: ACM, 2013. 1045−1052 [58] Abdallah S, Kaisers M. Addressing environment non-stationarity by repeating Q-learning updates. The Journal of Machine Learning Research, 2016, 17(1): 1582−1612 [59] Yu C, Zhang M J, Ren F H, Tan G Z. Emotional multiagent reinforcement learning in spatial social dilemmas. IEEE Transactions on Neural Networks and Learning Systems, 2015, 26(12): 3083−3096 doi: 10.1109/TNNLS.2015.2403394 [60] Diallo E A O, Sugiyama A, Sugawara T. Learning to coordinate with deep reinforcement learning in doubles pong game. In: Proceedings of the 16th IEEE International Conference on Machine Learning and Applications. Cancun, Mexico: IEEE, 2017. 14−19 [61] Foerster J N, Nardelli N, Farquhar G, Afouras T, Torr P H S, Kohli P. Stabilising experience replay for deep multi-agent reinforcement learning. In: Proceedings of the 34th International Conference on Machine Learning. Sydney, Australia: ACM, 2017. 1146−1155 [62] Palmer G, Tuyls K, Bloembergen D, Savani R. Lenient multi-agent deep reinforcement learning. In: Proceedings of the 17th International Conference on Autonomous Agents and Multiagent Systems. Stockholm, Sweden: ACM, 2018. 443−451 [63] Omidshafiei S, Pazis J, Amato C, How J P, Vian J. Deep decentralized multi-task multi-agent reinforcement learning under partial observability. In: Proceedings of the 34th International Conference on Machine Learning. Sydney, Australia: ACM, 2017. 2681−2690 [64] Zheng Y, Meng Z P, Hao J Y, Zhang Z Z. Weighted double deep multiagent reinforcement learning in stochastic cooperative environments. In: Proceedings of the 15th Pacific Rim International Conference on Artificial Intelligence. Nanjing, China: ACM, 2018. 421−429 [65] Mu C X, Zhao Q, Sun C Y. Optimal model-free output synchronization of heterogeneous multi-agent systems under switching topologies. IEEE Transactions on Industrial Electronics, 2019 doi: 10.1109/TIE.2019.2958277 [66] Foerster J N, Assael Y M, de Freitas N, Whiteson S. Learning to communicate to solve riddles with deep distributed recurrent Q-networks. arXiv: 1602.02672, 2016. [67] Hong Z W, Su S Y, Shann T Y, Chang Y H, Lee C Y. A deep policy inference Q-network for multi-agent systems. In: Proceedings of the 17th Conference on Autonomous Agents and Multiagent Systems. Stockholm, Sweden: Springer, 2018. 1388−1396 [68] Kasai T, Tenmoto H, Kamiya A. Learning of communication codes in multi-agent reinforcement learning problem. In: Proceedings of 2008 IEEE Conference on Soft Computing in Industrial Applications. Muroran, Japan: IEEE, 2008. 1−6 [69] Foerster J N, Assael Y M, de Freitas N, Whiteson S. Learning to communicate with deep multi-agent reinforcement learning. In: Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona, Spain: ACM, 2016. 2137−2145 [70] Sukhbaatar S, Szlam A, Fergus R. Learning multiagent communication with backpropagation. In: Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona, Spain: ACM, 2016. 2252−2260 [71] Zhang H G, Jiang H, Luo Y H, Xiao G Y. Data-driven optimal consensus control for discrete-time multi-agent systems with unknown dynamics using reinforcement learning method. IEEE Transactions on Industrial Electronics, 2017, 64(5): 4091−4100 doi: 10.1109/TIE.2016.2542134 [72] Zhang Y, Zavlanos M M. Distributed off-policy actor-critic reinforcement learning with policy consensus. arXiv: 1903.09255, 2019. [73] Wei Q L, Liu D R, Lewis F L, Liu Y, Zhang J. Mixed iterative adaptive dynamic programming for optimal battery energy control in smart residential microgrids. IEEE Transactions on Industrial Electronics, 2017, 64(5): 4110−4120 doi: 10.1109/TIE.2017.2650872 [74] Yang X D, Wang Y D, He H B, Sun C Y, Zhang Y B. Deep reinforcement learning for economic energy scheduling in data center microgrids. In: Proceedings of the 2019 IEEE Power & Energy Society General Meeting. Atlanta, USA: IEEE, 2019. 1−5 [75] Prasad A, Dusparic I. Multi-agent deep reinforcement learning for zero energy communities. arXiv: 1810.03679, 2018. [76] 徐昕. 增强学习与近似动态规划. 北京: 科学出版社, 2010Xu Xin. Reinforcement Learning and Approximate Dynamic Programming. Beijing: Science Press, 2010 [77] Wan Z Q, Jiang C, Fahad M, Ni Z, Guo Y, He H B. Robot-assisted pedestrian regulation based on deep reinforcement learning. IEEE Transactions on Cybernetics, 2020, 50(4): 1669−1682 doi: 10.1109/TCYB.2018.2878977 [78] Lin K X, Zhao R Y, Xu Z, Zhou J Y. Efficient large-scale fleet management via multi-agent deep reinforcement learning. In: Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. London, UK: ACM, 2018. 1774−1783 [79] Ben Noureddine D, Gharbi A, Ben Ahmed S. Multi-agent deep reinforcement learning for task allocation in dynamic environment. In: Proceedings of the 12th International Conference on Software Technologies. Madrid, Spain: SciTePress, 2017. 17−26 [80] Hüttenrauch M, Šošić A, Neumann G. Guided deep reinforcement learning for swarm systems. arXiv: 1709.06011, 2017. [81] Kurek M, Jaśkowski W. Heterogeneous team deep Q-learning in low-dimensional multi-agent environments. In: Proceedings of the 2016 IEEE Conference on Computational Intelligence and Games (CIG). Santorini, Greece: IEEE, 2016. 1−8 [82] Perolat J, Leibo J Z, Zambaldi V, Beattie C, Tuyls K, Graepel T. A multi-agent reinforcement learning model of common-pool resource appropriation. In: Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach, USA: ACM, 2017. 3643−3652 [83] Piot B, Geist M, Pietquin O. Bridging the gap between imitation learning and inverse reinforcement learning. IEEE Transactions on Neural Networks and Learning Systems, 2017, 28(8): 1814−1826 doi: 10.1109/TNNLS.2016.2543000 [84] Hadfield-Menell D, Russell S J, Abbeel P, Dragan A. Cooperative inverse reinforcement learning. In: Proceedings of the 30th Conference on Neural Information Processing Systems. Barcelona, Spain: ACM, 2016. 3909−3917 [85] Hadfield-Menell D, Milli S, Abbeel P, Russell S, Dragan A D. Inverse reward design. In: Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach, USA: ACM, 2017. 6765−6774 [86] Levine S, Finn C, Darrell T, Abbeel P. End-to-end training of deep visuomotor policies. The Journal of Machine Learning Research, 2016, 17(1): 1334−1373 [87] Nagabandi A, Kahn G, Fearing R S, Levine S. Neural network dynamics for model-based deep reinforcement learning with model-free fine-tuning. In: Proceedings of the 2018 IEEE International Conference on Robotics and Automation (ICRA). Brisbane, Australia: IEEE, 2018. 7559−7566 [88] Gu S X, Lillicrap T P, Sutskever I, Levine S. Continuous deep Q-learning with model-based acceleration. In: Proceedings of the 33rd International Conference on Machine Learning. New York, USA: ACM, 2016. 2829−2838 [89] Finn C, Levine S. Deep visual foresight for planning robot motion. In: Proceedings of the 2017 IEEE International Conference on Robotics and Automation. Singapore: IEEE, 2017. 2786−2793 [90] Serban I V, Sankar C, Pieper M, Pineau J, Bengio Y. The bottleneck simulator: a model-based deep reinforcement learning approach. arXiv: 1807.04723, 2018. [91] Rashid T, Samvelyan M, de Witt C S, Farquhar G, Foerster J, Whiteson S. QMIX: monotonic value function factorisation for deep multi-agent reinforcement learning. arXiv: 1803.11485, 2018. [92] Foerster J N, Chen R Y, Al-Shedivat M, Whiteson S, Abbeel P, Mordatch I. Learning with opponent-learning awareness. In: Proceedings of the 17th International Conference on Autonomous Agents and Multiagent Systems. Stockholm, Sweden: ACM, 2018. 122−130 [93] Yuan X, Dong L, Sun C Y. Solver-critic: a reinforcement learning method for discrete-time constrained-input systems. IEEE Transactions on Cybernetics, 2020 doi: 10.1109/TCYB.2020.2978088 [94] He W, Li Z J, Chen C L P. A survey of human-centered intelligent robots: issues and challenges. IEEE/CAA Journal of Automatica Sinica, 2017, 4(4): 602−609 doi: 10.1109/JAS.2017.7510604 [95] Nahavandi S. Trusted autonomy between humans and robots: toward human-on-the-loop in robotics and autonomous systems. IEEE Systems, Man, and Cybernetics Magazine, 2017, 3(1): 10−17 doi: 10.1109/MSMC.2016.2623867 期刊类型引用(1)
1. 李博，熊天龙，杜宇慧. 基于实例的近邻传播偏标签学习算法. 山西大学学报(自然科学版). 2024(06): 1164-1177 . 
百度学术其他类型引用(0)
-
下载:
下载:
计量
- 文章访问数: 17625
- HTML全文浏览量: 10928
- PDF下载量: 4061
- 被引次数: 1
