Hybrid Underwater Image Enhancement Based on Color Transfer and Adaptive Gain Control
-
摘要: 针对水下图像的颜色偏差和低对比度等退化问题, 提出一种基于颜色转移和自适应增益控制的混合水下图像增强方法. 首先, 根据颜色转移图像和最大衰减图引导的融合策略校正水下图像的颜色偏差. 其次, 利用一阶原始对偶方法对V通道进行滤波以有效地抑制噪声的干扰, 获得结构图像; 并且提出自适应增益控制, 根据图像的高频信息自适应调整增益, 以获得细节图像. 最后, 通过加权融合结构图像与细节图像, 得到高质量的水下图像. 实验结果表明, 针对不同自然和工业环境下的水下图像: 1) 所提方法可以有效地校正颜色失真现象; 2) 显著提高水下图像的对比度并且抑制噪声干扰; 3) 在定量评价指标和高级视觉任务(目标检测、图像分割、关键点检测和水下双目测距)中优于其他主流水下图像增强方法, 为水下目标抓取等工程应用提供了有益的参考.Abstract: Aiming at handling the degradation problems of color deviation and low contrast in underwater images, a hybrid underwater image enhancement method based on color transfer and adaptive gain control is proposed. Firstly, the color transfer image and the maximum attenuation map-guided fusion strategy are used to correct the color deviation of underwater images. Secondly, the structure image of the V channel is obtained based on the first-order primal-dual algorithm to effectively suppress the noise interference. Furthermore, adaptive gain control based on the high-frequency information of the image is proposed to adaptively adjust the gain to obtain detailed image. Finally, the structure image and the detail image are weighted fused to obtain a high-quality underwater image. The experimental results demonstrate that for underwater images with various natural and industrial environments, 1) The outputs of the proposed method can effectively correct the color distortion; 2) It can improve the contrast of underwater images and suppress the noise interference; 3) The quantitative metrics and high-level visual tasks (object detection, image segmentation, key-point detection, and underwater binocular distance measurement) are superior to other state-of-the-art underwater enhancement methods, which provides a useful reference for engineering applications such as underwater automated grasping.
-
烟丝含水率是制丝生产中对烟丝质量评价的关键指标, 烘丝机通过控制温度对烘丝筒内的烟丝进行加热干燥, 使得烟丝含水率符合卷烟工艺的要求, 进而提高烟丝的填充能力和耐加工性, 改善烟丝质量[1]. 目前烘丝机的温度控制主要采用PID控制配合部分前馈控制, 在烘丝过程的开始阶段烘丝温度由于控制超调升高过快[2], 此时烘丝机内的烟丝量较少, 从而容易导致该阶段的烟丝水分散失过多使得烟丝过干, 即常见的“干头” 现象. 在实际生产中, 烘丝开始阶段人工对温度干预比较频繁, 中间阶段比较少, 尾部阶段一般采取关闭蒸汽阀门的方式减少烟丝水分散失, 因此开始阶段的烘丝温度控制是整个烘丝生产过程的关键环节. 由于人工操作经验的差异性和控制上的延时性, 使得对开始阶段烘丝温度的控制不稳定, 造成烟丝含水率批次间波动比较大. 以生产数据中随机选取的某个时间段内223个生产批次数据为例, 图1中实线是烟丝含水率标准偏差曲线, 虚线是《卷烟工艺规范》[3]中对标准偏差规定的要求值0.17, 从图中可看出, 虽然严重不合格的生产批次很少, 但是批次间波动比较大, 难以满足实际生产的精度需求.
图 1 人工干预时烟丝含水率标准偏差Fig. 1 Standard deviation of moisture content level in tobacco when in manual intervention mode烘丝过程控制主要是根据烟丝含水率检测值调整过程参数, 使得烘丝温度更好地匹配烟丝流量的变化, 使得烟丝含水率更接近目标值. 为提高控制精度、减少过干烟丝量, Pakowski等[4]提出了一种分布式参数模型描述烟丝温度、速度、含水率以及蒸汽温度等变量的关系, 通过迭代得到烟丝干燥过程的最佳工艺参数组合. Zhou等[5]基于多采样率的RBF-ARX模型对烘丝过程进行分阶段参数优化以减少烘丝过程中的过干烟丝量. 参数优化模型一旦建立, 最优参数设置就是固定值组合, 未能充分考虑生产系统的动态变化. 在炼焦生产过程中, 赖旭芝等[6]为实现操作参数的动态调整, 提出了一种基于多目标遗传算法的优化控制策略, 求解多目标优化问题.
在研究过程优化控制策略中, 除采取参数优化设置外, 还有针对生产设备PID控制器的改善研究. 廖龙[7]通过设计烘丝机模糊控制器来修正PID的三个参数实现温度控制的优化. 郑坤明等[8]根据Delta机器人系统的结构特点, 采用模糊PID控制与传统PID控制器并联的形式对主动臂输入力矩进行控制, 提高控制的实时性和准确性. 王述彦等[9]通过设计模糊PID控制器改善工程机械多功能试验台二次调节加载系统的动态响应, 优化控制效果. 文中所研究的烘丝机温度控制系统包括多个PID控制器, 然而同时优化多个PID控制器的参数实际操作难度比较大[10]. 在烘丝生产的开始阶段烟丝逐渐进入烘丝筒, 此时无法检测到烟丝实际含水率, 不能进行反馈控制, 烘丝机的温度控制主要依靠前馈控制和人工干预. 待烟丝流出烘丝筒才能进行含水率检测从而进行PID控制, 由于控制超调往往使得烘丝温度过高, 因此针对PID控制器参数调优的方法[11-12]在烘丝生产最初阶段较难充分发挥作用.
随着工业生产中数据的大量积累, 机器学习算法逐渐应用于工业过程参数优化的预测控制[13-16]. Dai等[17]将支持向量机(Support vector machine, SVM)算法和遗传算法用于设计基于PID控制的谷物干燥控制器, 以改善干燥加工后的谷物质量. Li等[18]利用递归模糊神经网络进行复杂微波干燥过程中温度和水分的预测. 为预测烟叶烘烤过程中重要参数的变化, Wu等[19]采用了基于自适应模糊神经网络的方法. Balbay等[20]将极限学习机和人工神经网络用于黑孜然种子干燥过程中含水率的预测, 分析温度和干燥速率的关系.
研究者还尝试将强化学习算法用在工业控制中设计自适应PID控制器, 对PID控制器的参数进行在线调优[21-23]. 强化学习[24]是机器学习的一个分支, 是从环境状态到动作映射的学习, 使得采取的动作从环境中获得的累积奖励最大. Günther等[25]利用深度神经网络和强化学习对激光焊接过程进行表征、预测, 对焊接功率进行实时控制, 提升激光焊接质量. Jiang等[26]研究了具有未知运行模型的浮选工业过程中双时间尺度运行最优控制问题, 提出了一种基于起重技术和强化学习(Reinforcement learning, RL)的双速率数据驱动算法, 使设备层的设定值保持在规定的范围内, 同时使精矿和尾矿的运行指标保持在目标范围内. Feng等[27]使用部分可观测马尔科夫决策过程的无模型逼近梯度来解决动力辅助轮椅的能量优化控制问题, 通过对具有25个控制参数的回报进行加权探索, 采用有限视界模糊Q-迭代进行近最优性分析. Zhang等[28]针对部分未知模糊系统, 提出了一种基于模糊积分强化学习的跟踪控制算法, 将实际工作反馈控制策略的求解转化为虚拟最优控制问题, 克服了系统原始信息难以精确掌握的难题, 在机械系统中实现了目标跟踪、保证了系统的稳定性. 为解决烘丝开始阶段的烟丝“干头”问题, 本文结合实际生产需求, 利用强化学习策略对烘丝过程进行建模分析, 提出了一种基于数据驱动的烘丝温度优化控制方法.
本文主要贡献总结如下:
1)提出了一种基于强化学习策略的减少烟丝“干头” 量的优化控制方法, 将生产状况的模糊经验判别转化为基于数据驱动的量化分析, 有效提升烟丝含水率的稳定性.
2)提出了一种利用Actor-Critic算法优化烘丝温度控制的方法, 该算法通过Actor网络和Critic网络动态求解最优的烘丝机温度设定值.
3)通过在实际生产线上进行与烘丝机自动控制和人工干预控制的对比实验, 验证了所提优化控制方法的有效性. 实验结果表明, 本文所提方法在提高控制稳定性、降低烟丝含水率标准差方面均优于对比方法.
本文结构安排如下: 第 1 节描述烟丝含水率的控制流程; 第 2 节介绍优化控制模型的结构; 第 3节详细描述烟丝含水率优化控制的建模过程, 并通过对比实验验证所提方法的有效性; 第 4 节对本文研究内容进行总结.
1. 烟丝含水率控制
制叶丝工段是烟丝生产中关键的生产工序, 主要包括切丝、膨胀、干燥、风选等工序, 见图2, 其中的SIROX是烟丝膨胀设备. 干烟丝的含水率是烟丝生产的关键指标, 受原料烟丝与加工过程参数的影响. 本文将切叶丝工序和贮柜缓存之间的加工过程作为烘丝生产系统进行温度优化控制的研究. 烘丝机出口的烟丝温度高、水分检测误差大, 经过风选后烟丝温度降低, 水分仪检测数据较准确, 因此烟丝含水率的检测点选在柔性风选之后, 即图2中的冷却水分检测点. 目前操作工对烘丝温度的干预是基于烘丝生产系统中的过程检测量、控制量、设备工作参数等生产状态数据以及个人经验而进行的.
本文以德国HAUNI公司生产的KLD两段式滚筒烘丝机(以下简称烘丝机)为例进行研究, 该型号烘丝机包括两个相通的工作区, 目前一般采用相同的温度设置. 烘丝过程及温度控制如图3所示, 烟丝从入口主要经过SIROX增温增湿机和KLD烘丝机两个关键设备, 在烘丝机内进行干燥去湿. 烘丝机的控制系统主要包括前馈控制、烘丝温度控制、烟丝水分控制等部分. 烟丝含水率的控制最终是通过控制烘丝温度实现的, 烘丝温度PID控制器的输入量包括实际温度的偏差、前馈控制量和烟丝水分PID控制器的输出量, 烘丝温度的影响因素主要包括KLD烘丝流量、KLD烘前水分、干燥因子等过程检测量和配方参数等, 在实际生产中人工干预修正PID温度控制器的设定值, 共同影响烘丝机的实际温度.
在目前人工干预模式下, 烘丝开始阶段的温度控制首先以前馈控制为主, 然后结合PID反馈控制共同进行烘丝温度的控制. 烘丝温度控制受多个状态参数的影响, 人工干预时主要依据烟丝冷却水分检测值以及对生产状态的预判进行烘丝温度的干预修正, 难以同时兼顾所有参数对烟丝含水率的影响. 烟丝一般在烘丝筒内滞留几分钟[29], 因此操作工对温度的干预控制具有延时性, 而该时间段内烘丝筒中的烟丝量较少以及由PID控制引起的温度超调, 两者叠加会导致烟丝水分散失过多, 使得达到稳定生产所需时间较长.
2. 优化控制模型
2.1 优化控制策略
Actor-Critic算法[30-31]是强化学习中一种重要算法, 主要由策略网络(Actor)和评价网络(Critic)组成. 策略网络感知环境状态并选择控制策略输出动作, 评价网络根据来自环境状态的动作奖励和值函数计算时间差分误差, 用于优化Actor网络和Critic网络的网络参数. 基于Actor-Critic算法的烘丝温度优化控制策略见图4, 主要包括烘丝机控制系统和优化控制模块. 其中, $ f_1(x) $~$ f_4 (x)$是烘丝机进行温度控制时中间变量的计算函数, $ F_{tr} $、$ F_{2w} $分别是计算得到的干烟丝流量和烟丝中的水分流量. 优化控制算法以原料参数、过程检测量、设备参数等作为状态输入, 以减小烟丝含水率检测值与目标值之间的差值为策略优化目标, 对烘丝温度设定值进行在线修正, 即使得式(1)中性能指标尽可能小:
$$ J(t) = \sum\limits_{i = 1}^{N}{|M_{{\rm{act}}_i}-M_{{\rm{tar}}}|} $$ (1) 其中, $ M_{{\rm{act}}_i} $和$ M_{{\rm{tar}}} $分别是烟丝含水率的实际值和目标值, 实际值是冷却水分检测值, 目标值是烟丝配方中的指标值, $ N $是一个生产批次中烟丝含水率采样次数.
2.2 优化控制流程
烘丝温度的优化控制流程如图5所示, 烘丝生产系统和优化控制模块之间通过PLC (Programmable logic controller)进行实时数据的同步, 优化控制模块主要包括数据采集、特征构建和Actor-Critic算法三部分. 实时生产数据通过PLC同步到优化控制模块, 数据采集部分根据算法需要尽可能多地获取表征生产状态变化的实时采样数据, 为算法感知生产环境提供数据支撑. 特征构建部分首先对采样数据进行预处理和特征参数筛选, 提取出算法可识别的状态特征和动作回报. Actor-Critic算法感知生产状态的动态变化, 依据烟丝含水率检测值与目标值的差值对烘丝温度进行实时优化设置. 通过PLC将烘丝温度优化值同步到烘丝机控制系统, 进行烘丝温度设定值的在线修正, 实现烘丝温度的动态优化控制, 减少因温度超调导致的烟丝“干头” 量.
3. 烟丝含水率的优化控制
3.1 生产数据采集
生产数据的采集往往是为了满足业务系统的需要而进行的, 而机器学习模型所需的重要数据采集不全面, 是人工智能技术在工业领域应用中的常见问题. 工业数据经过多年的积累往往体量很大, 但是机器学习算法需要的特征参数可能未包含在当前的数据采集系统中. 在研究之初发现对优化控制模型十分关键的烘丝机温度人工设定值并没有记录在当前的数据采集系统中, 因此增加了温度设定值的数据采集点, 并同时在三条制丝生产线上进行生产数据的采集.
烘丝生产是批次生产过程, 设定采样间隔是10 s, 一个批次生产过程大约采样750次. 由于不同牌号烟丝的配方参数以及质量要求等不同, 选定产量较大的某一牌号的烟丝进行数据积累, 最终采用2018年5月 ~ 2018年12月期间800个批次的约60万条生产数据进行研究.
3.2 状态特征构建
烘丝生产系统的状态感知是模型进行烘丝温度优化控制的前提[32-33], 特征向量能否尽可能全面地反映过程的状态变化直接影响控制的精度. 人工对温度干预控制时参考因素包括原料烟丝含水率、冷却水分检测值、含水率目标值等可检测量, 还包括对车间环境、生产线差异性的经验积累等潜在的影响因素. 优化模型要尽可能全面地将这些因素转化为模型可识别的特征参数(见图6), 与生产状态密切相关的参数包括原料烟丝、配方参数、过程检测量以及设备参数等都应作为模型感知生产环境的输入量.
生产数据在输入模型前需要进行特征筛选和处理. 设备的频率、电流等相对固定的参数设置对模型优化作用不大, 不作为输入特征向量. 批次编号是多项信息的组合字符串, 每一位代表不同的生产信息, 例如编号180823D205. 批次编号以字符串的形式作为输入参数, 其中隐含的信息不易被模型学习到, 因此将批次编号切分成年(2018)、月(08)、日(23)、生产线编号(D线)、班组(乙班)、生产序号(05)六项特征信息添加到输入向量中, 模型将能更好地学习生产相关信息. 人工干预时考虑的季节、生产线差异性、经验差异性等因素, 模型可以通过年份、月份、生产线编号等参数自动学习, 进而算法还能通过日期、班组、生产序号等学习到不同班组在不同生产时间段所采取的温度控制策略的差异性, 实现更精细的温度控制. 通过筛选和处理后的烘丝生产系统的状态特征见表1, 包括原料烟丝、批次编号、配方参数、过程检测量和设备参数五大特征类别的49个生产状态特征.
表 1 烘丝生产系统状态特征Table 1 The state features of tobacco drying system特征类别 生产状态特征 特征数 原料烟丝 KLD烘前水分、KLD烘丝流量、叶丝累计量 3 批次编号 年、月、日、生产线编号、班组、生产序号 6 配方参数 KLD除水量、含水率目标值、干燥能力、干燥因子 4 过程检测量 KLD烘丝段蒸汽流量、SIROX蒸汽流量、SIROX烘丝分汽缸压力、SIROX烘丝分汽缸温度、SIROX排潮风机负压值、SIROX后温度、SIROX阀后蒸汽温度、SIROX阀后蒸汽压力、SIROX阀前蒸汽温度、SIROX阀前蒸汽压力、KLD一次减压后蒸汽压力、KLD烘后水分、KLD烘后温度、KLD排潮温度、Ⅰ区工作蒸汽压力、Ⅱ区工作蒸汽压力、Ⅰ区回水温度、Ⅱ区回水温度、Ⅰ区筒壁温度、Ⅱ区筒壁温度、热风风速、热风温度、排潮负压、风选冷却排潮负压、冷却温度、冷却水分 26 设备参数 SIROX蒸汽阀门开度、KLD筒转速、KLDⅠ区蒸汽薄膜阀开度、KLDⅡ区蒸汽薄膜阀开度、Ⅰ区筒壁温度设定值、Ⅱ区筒壁温度设定值、热风蒸汽阀门开度、风门开度、排潮开度、风选冷却排潮开度 10 烘丝生产数据是时间序列的数据, 采用强化学习算法进行优化控制需要保证当前的状态以及采取的动作能够决定下一时刻的状态, 因此在模型输入时需要对时间序列的数据进行预处理. 文中采用时间滑动窗口的方式进行数据截取, 当前$ t $时刻的特征向量是$ t-n $到$ t $时刻所有状态特征的串行组合, 如图7所示, 经过组合后形成具有$ 49\times n $个元素的列向量作为模型的输入特征向量. 特征向量在输入模型前进行了Min-Max归一化处理, 将数据变为$ (0,1) $之间的小数, 即
$$ x_{{{{\rm{norm}}}}} = \frac{x-x_{\min}}{x_{\max}-x_{\min} } $$ (2) 其中, $ x_{\min} $, $ x_{\max} $分别为所采集生产状态数据的最小值与最大值.
3.3 Actor-Critic优化控制设计
1)系统状态和奖励函数
烘丝生产系统即Actor-Critic算法进行优化控制的环境, 上述构建的特征向量作为算法可识别的环境状态$ s(t) $. 烘丝生产系统的质量指标是干烟丝的含水率, 即冷却水分检测值. 奖励函数的设计是Actor-Critic优化控制的重要部分, 不同牌号的烟丝含水率要求不同, 在生产中最终目的是使烟丝含水率尽可能接近目标值, 且含水率的标准偏差越小越好. 在研究中参考3 种常用激活函数分别设计关于烟丝含水率实际值和目标值的奖励函数, 3 种奖励函数计算式分别为
$$ Sigmoid': r_{1}(t) = -\frac{1}{2}+\frac{1}{1+{\rm{e}}^{(|M_{{\rm{act}}_i}-M_{{\rm{tar}}} |) }} \;\;\;\;\;\;\; $$ (3) $$ tanh': r_{2}(t) = -\frac{{\rm{e}}^{(|M_{{\rm{act}}_i}-M_{{\rm{tar}}} |) } - {\rm{e}}^{(-|M_{{\rm{act}}_i}-M_{{\rm{tar}}} |) }}{{\rm{e}}^{(|M_{{\rm{act}}_i}-M_{{\rm{tar}}} |) } + {\rm{e}}^{(-|M_{{\rm{act}}_i}-M_{{\rm{tar}}} |) }} $$ (4) $$ ReLU': r_{3}(t) = -|M_{{\rm{act}}_i}-M_{{\rm{tar}}} |\quad\qquad\;\; \quad\qquad $$ (5) 其中, $ tanh' $、$ ReLU' $和$ Sigmoid' $分别表示参考双曲正切函数$ {\rm{tanh}} $、$ {\rm{ReLU}} $函数和$ {\rm{Sigmoid}} $设计的奖励函数.
3 种常用激活函数及所设计的奖励函数见图8所示, 在绘制奖励函数曲线时以烟丝含水率目标值12%为例, 实际烟丝含水率在12%上下浮动, 因此重点绘制烟丝含水率在12%左右波动时的奖励函数取值. 由图看出奖励函数$ ReLU' $的曲线斜率不变, 当实际含水率偏离目标值或大或小时回报值的变化率是一样的, 而另外两个奖励函数具有不同的斜率, 在偏离目标值小时$ tanh' $的变化率比$ Sigmoid' $大. 根据操作经验, 越靠近烟丝含水率目标值, 温度设置幅度应该越小, 以免引起烟丝含水率波动太大, 结合实际稳定性需求本文采用$ Sigmoid' $作为研究的奖励函数$ r(t) $. 当实际值接近目标值时, 奖励函数接近于0; 当实际值和目标值偏差很大时, 奖励函数取值为大于$ -{1}/{2} $的负值. 实际值越接近目标值, 回报值越高, $ r(t) $是随烟丝含水率检测值变化的有界函数.
图 8 3 种常用激活函数及设计的奖励函数Fig. 8 Three commonly used activation functions and the designed reward functions2)烘丝温度优化控制
在实际生产中烘丝温度的正常范围是129 ~ 134 ℃, 烘丝机可接收的最小调整幅度为0.1 ℃, 优化控制模型实时输出烘丝温度的设定值, 通过PLC同步到烘丝机的PID控制器, 对烘丝温度设定值进行在线修正.
Actor网络的输出动作是对烘丝温度的预测值$ a^{*}(t) $, 即烘丝温度控制的最优设定值. 其中策略函数为多层神经网络, 所采取动作限制在129 ~ 134 ℃之间, 通过神经网络学习正态分布的均值和方差. 为探索人工干预之外的更多优化控制策略, 对神经网络输出的优化值叠加一个关于状态值函数的高斯随机噪声$ \eta_k $, 值函数小时噪声幅值增加, 值函数大时则抑制噪声, 对更大的动作空间进行探索. 烘丝温度优化值的修正计算式为
$$ T(t) = a(t)+ \eta _k (0,\sigma_{V(t)}) $$ (6) 高斯随机噪声的方差为
$$ \sigma_{V(t)} = \frac{1}{1+{\rm{e}}^{2V(t)} } $$ (7) 3) TD误差和误差函数
基于Actor-Critic算法的神经网络更新采用TD (Temporal difference)误差算法, 计算式为
$$ \delta_{{\rm{TD}}}(t) = r(t)+\gamma v_\pi(t+1)-v_\pi(t) $$ (8) 其中, $ v_\pi(t) $和$ v_\pi(t+1) $分别为当前时刻和下一时刻的状态值函数; $ \pi $为采取的优化策略, 是对烘丝温度的修正. $ \gamma $为折扣因子, 表示未来的回报相对于当前回报的重要程度.
Actor网络和Critic网络采用具有3 层隐藏层的神经网络学习烘丝温度的优化值和状态值函数, 神经网络的输入为烘丝过程的系统状态特征$ s(t) $, 因此神经网络的输入神经元数目为时间滑动窗口内的特征采样数m, 隐藏层神经元数目分别为$ n_1 $, $ n_2 $, $ n_3 $, 输出分别是$ a(t) $和$ v_\pi(t) $.
Actor网络的迭代目标是优化网络参数输出回报值高的温度设定值, 误差函数$ L_\pi $描述为
$$ L_\pi = -\delta_{{\rm{TD}}} {\rm{ln}}\pi_\theta (s,a) $$ (9) 其中, $ \pi_\theta(s,a) $为网络采取的动作策略, $ \theta $为神经网络的网络参数, 采用梯度下降法进行迭代更新, 更新式为
$$ \theta^{(t)} = \theta^{(t-1)}+\alpha_A \nabla L_\pi = \theta^{(t-1)}+\alpha_A \nabla {\rm{ln}}\pi_{\theta}(s,a) $$ (10) 其中, $ \alpha_A $为网络的学习速率.
Critic网络基于状态值函数计算TD误差$\delta_{{\rm{TD}}}$, Critic网络的误差函数为
$$ L_v = \frac{1}{2} \delta^2_{{\rm{TD}}} (t) $$ (11) 网络参数的更新式描述为
$$ w^{(n)} = w^{(n-1)}+\alpha_C \nabla L_v $$ (12) 其中, w为神经网络的网络参数, $ \alpha_C $为网络的学习速率.
综上所述, 烘丝温度的优化控制过程具体如下:
步骤 1. 初始化模型的各个参数, 折扣因子$ \gamma = 0.9 $, 学习速率$ \alpha_A = 0.02 $, $ \alpha_C = 0.1 $, 时间滑动窗口$ n = 2 $ min, 在$ n $时间间隔内采样12次, 因此输入的特征数$ m = 588 $, 隐藏层神经元数目设为$ n_1 = 256 $, $ n_2 = 128 $, $ n_3 = 64 $.
步骤 2. 通过PLC获取生产数据并构建特征向量$ s(t) $, 筛选的特征参数$ x_i $ = $ \{x_{i1},x_{i2}, $ $ \cdots ,x_{i49}\} $, i代表时刻$ t_i $, 模型的输入特征向量$ s(t_i) $ = $\{x_{i-11}, x_{i-10},\cdots,x_i\}$, 即具有588个元素的列向量. 因此输入模型的状态−烟丝含水率数据为$\{(s(t_1 ),M_{{\rm{act}}_1 } ), (s(t_2 ),$ $M_{{\rm{act}}_2 } ), \cdots,(s(t_i ), M_{{\rm{act}}_i} ), \cdots ,(s(t_N ),M_{{\rm{act}}_N} )\}$, 根据式(3)计算回报值$ r(t) $. 如$ t_i $时刻的实际烟丝含水率$ M_{{\rm{act}}} $为11.9%, 目标值$ M_{{\rm{tar}}} $设为12%, 则回报值$ r(t_i ) $ = $-{1}/{2}+{1}/{(1+{\rm{e}}^{|11.9-12|}) }$. Actor-Critic优化模型根据输入特征向量$ s(t_i ) $和回报值$ r(t_i ) $输出烘丝温度的设定值$ a(t_i ) $和状态值$ v_\pi (t_i ) $. 为探索人工干预经验之外的温度设定值, $ a(t_i ) $叠加一个关于状态值函数的高斯随机噪声$ \eta_k $, 经过修正后的温度设定值为$ T(t_i) $ = $ a(t_i)+ \eta _k (0,\sigma_{V(t_i)}) $.
步骤 3. 温度优化值$ T(t_i) $通过PLC作用于烘丝机的PID温度控制器, 对实际烘丝温度进行在线优化控制, 进而影响烟丝含水率. 通过PLC获取新的生产状态数据来构建下一时刻的系统状态特征向量$ s(t_{i+1}) $, 并根据实际烟丝含水率计算回报值$ r(t_{i+1}) $. 将系统状态特征向量和回报值输入到网络后得到下一时刻的温度设定值$ a(t_{i+1}) $和$ v_\pi(t_{i+1}) $.
步骤 4. 由式(8)计算TD误差$ \delta_{{\rm{TD}}} (t) $, 通过损失函数(9)和(11)以及参数更新式(10)和(12)进行模型参数更新, 优化控制实验在烘丝开始阶段持续进行.
3.4 实验结果分析
为验证优化控制模型的有效性和稳定性, 在宁波卷烟厂进行了优化控制实验, 并与烘丝机自动控制和人工干预控制两种控制模式进行了对比. 实验时采用同一牌号的烟丝进行实验, 烟丝含水率的目标值是12%, 烘丝机是KLD2-2Z薄板式滚筒烘丝机, 水分仪是NDC公司的TM710红外水分仪. 在制丝D线分别采用3 种控制模式进行实验, 生产完成后对烘丝开始阶段40 min内的数据进行统计分析, 烘丝机温度和烟丝含水率曲线如图9所示.
图 9 3 种模式下烘丝机温度和烟丝含水率曲线Fig. 9 The dryer temperature and the moisture content level in tobacco when in three control modes在烘丝机自动控制时, 烟丝开始进入烘丝机的阶段由PID控制引起的烘丝温度超调量较大, 此时烟丝较少、温度过高, 烟丝水分散失过多使得烟丝过干, 而且持续时间较长. 随着烟丝流量增大和PID控制器对温度的调整, 温度逐渐稳定, 烟丝含水率逐渐向目标值靠近. 人工干预控制时, 依据操作经验会提前对烘丝机温度进行预设置, 此时温度波动较小, 产生过干烟丝的持续时间缩短, 但由于实际生产中操作经验的差异性容易导致温度控制不稳定, 影响烟丝含水率的稳定性. 采用基于强化学习的优化控制方法时, 在烟丝进入烘丝机的阶段模型根据历史数据和实时生产数据对温度进行修正, 等检测到冷却水分时模型根据实时检测值对温度进行优化控制, 从图中可以看出烘丝机温度的波动较小, 烟丝含水率能较好地稳定在目标值附近.
实际生产中对烘丝机温度控制的目的是提高烟丝含水率的稳定性, 3 种控制模式下烘丝开始阶段的烟丝含水率标准偏差见表2, 分别对比了在开机20 min、30 min和40 min的标准偏差. 烘丝机自动控制时, 开机20 min的标准偏差是0.097, 40 min时标准偏差为0.076, 烟丝含水率在烘丝机的PID控制下逐渐稳定. 在人工干预和所提Actor-Critic优化控制时标准偏差明显降低, 人工干预和优化控制模型都是通过修正烘丝机的温度使得烟丝含水率接近目标值, 优化控制模型对烘丝机温度的调整更为精确, 烟丝含水率的标准偏差在开机40 min时达到0.042, 比自动控制时降低了44.7%, 比人工干预时降低了14.3%. 综上所述, 基于Actor-Critic的烟丝含水率优化控制方法能够有效减小烘丝温度的超调量, 控制响应快, 烟丝含水率波动小, 烟丝“干头” 量大大减少.
表 2 烟丝含水率标准偏差Table 2 Standard deviation of moisture content level in tobacco控制模式 标准偏差 开机20 min 开机30 min 开机40 min 自动控制 0.097 0.082 0.076 人工干预 0.056 0.053 0.049 Actor-Critic优化控制 0.051 0.045 0.042 4. 结束语
在烘丝开始阶段由于烘丝温度的超调和人工干预的延时容易导致出现较多过干烟丝, 影响烘丝过程烟丝的整体质量. 本文提出了一种基于Actor-Critic算法的烘丝温度优化控制方法, 该方法利用连续采集的实时生产数据构建烘丝生产系统的状态特征向量, 优化控制模型通过特征向量感知实际生产环境, 依据烟丝含水率检测值进行烘丝温度的修正, 借助PLC对烘丝温度进行在线优化控制. 实验结果表明, 采用该优化方法烘丝温度几乎无超调, 控制响应快, 产生过干烟丝的持续时间短, 烟丝含水率的标准偏差比人工干预时降低了14.3%, 烟丝 “干头”量大大减少, 能够有效提升烘丝过程烟丝的整体质量.
下一步工作将深入研究提升烘丝全过程烟丝含水率稳定性的方法, 研究多种机器学习算法用于烘丝机温度的优化控制, 进行多参数控制和分布式、多步更新学习模式的探索. 对烘丝生产系统进行建模与仿真, 通过仿真分析与现场实验相结合验证所提算法, 提升实际烘丝生产中烟丝质量的优化空间.
-
图 6 基于颜色转移的水下颜色校正方法的增强结果
Fig. 6 Enhanced results of the underwater color correction method based on color transfer
图 7 不同主流方法在UIEB数据集上的视觉对比
Fig. 7 Visual comparisons of different mainstream methods on the UIEB dataset
图 8 不同主流方法在RISU数据集上的视觉对比
Fig. 8 Visual comparisons of different mainstream methods on the RISU dataset
图 10 不同方法在UIEB数据集上的细节对比
Fig. 10 Detailed comparison of different methods on the UIEB dataset
图 14 各组件在不同退化水下图像上的视觉消融结果
Fig. 14 Visual ablation results of each component on different degraded underwater images
图 16 不同主流方法在双目棋盘格图像上的视觉对比
Fig. 16 Visual comparison of different mainstream methods on binocular checkerboard images
表 1 基于UIQM指标的定量结果
Table 1 Quantitative results based on UIQM metrics
IBLA GDCP UNTV Sea-thru MLLE BRUIE WaterNet 本文方法 Image 1 3.739 3.425 3.868 4.340 4.751 5.183 4.307 4.971 Image 2 4.693 5.174 3.719 4.665 4.149 4.742 3.631 4.848 Image 3 2.451 1.223 3.696 2.876 3.545 3.995 3.057 3.834 Image 4 1.991 2.906 2.992 2.551 2.776 4.002 2.787 2.862 Image 5 2.510 1.762 5.768 4.395 4.841 5.113 4.580 5.313 Image 6 3.300 1.727 4.883 4.460 4.701 5.259 3.971 5.110 Image 7 4.052 1.781 4.862 4.333 4.756 5.248 4.078 4.902 Image 8 3.514 2.771 5.118 5.019 4.745 5.242 4.493 5.396 注: 粗体表示最高的定量指标, 斜体表示次高的定量指标. 
下载: 导出CSV
表 2 定量比较不同主流方法在目标检测上的性能
Table 2 Quantitative comparison of the performance of different mainstream methods on object detection
$AP$ $AP_{50}$ $AP_{75}$ $AR_{1}$ $AR_{10}$ $AR_{100}$ IBLA 0.502 0.856 0.524 0.168 0.554 0.618 GDCP 0.493 0.854 0.516 0.159 0.531 0.588 UNTV 0.509 0.873 0.513 0.168 0.552 0.606 Sea-thru 0.499 0.862 0.506 0.164 0.548 0.601 MLLE 0.509 0.871 0.530 0.161 0.550 0.599 BRUIE 0.499 0.859 0.529 0.154 0.538 0.597 WaterNet 0.501 0.862 0.515 0.162 0.532 0.591 本文方法 0.514 0.871 0.558 0.167 0.551 0.609 注: 粗体表示最高的检测准确率, 斜体表示次高的检测准确率.
下载: 导出CSV
表 3 各组件的定量消融结果
Table 3 Quantitative ablation results of each component
Image 1 Image 2 Image 3 Image 4 Image 5 无颜色校正方法 4.539 0.475 4.804 1.573 3.584 无最大衰减图 5.160 3.802 5.013 4.465 4.474 无细节增强方法 4.356 2.465 4.244 3.277 4.152 无细节图像 4.991 3.402 4.517 4.188 4.434 完整方法 5.246 4.131 5.029 4.921 4.517 注: 粗体表示最高的定量指标.
下载: 导出CSV
表 4 水下视觉测量
Table 4 Measurement of underwater vision
Raw IBLA GDCP UNTV Sea-thru MLLE BRUIE WaterNet 本文方法 RE (像素) 0.16 0.18 0.17 0.32 0.22 0.16 0.18 0.17 0.13 AD (mm) 28.38 28.57 28.60 26.59 28.65 28.38 28.62 28.56 28.87 注: 粗体表示最高的定量指标.
下载: 导出CSV
-
[1] Raveendran S, Patil M D, Birajdar G K. Underwater image enhancement: A comprehensive review, recent trends, challenges and applications. Artificial Intelligence Review, 2021, 54: 5413−5467 doi: 10.1007/s10462-021-10025-z [2] 刘妹琴, 韩学艳, 张森林, 郑荣濠, 兰剑. 基于水下传感器网络的目标跟踪技术研究现状与展望. 自动化学报, 2021, 47(2): 235−251Liu Mei-Qin, Han Xue-Yan, Zhang Sen-Lin, Zheng Rong-Hao, Lan Jian. Research status and prospect of target tracking technologies via underwater sensor networks. Acta Automatica Sinica, 2021, 47(2): 235−251 [3] Yang M, Hu J T, Li C Y, Gustavo R, Du Y X, Hu K. An in-depth survey of underwater image enhancement and restoration. IEEE Access, 2019, 7: 123638−123657 doi: 10.1109/ACCESS.2019.2932611 [4] 徐璠, 王贺升. 软体机械臂水下自适应鲁棒视觉伺服. 自动化学报, 2023, 49(4): 744−753Xu Fan, Wang He-Sheng. Adaptive robust visual servoing control of a soft manipulator in underwater environment. Acta Automatica Sinica, 2023, 49(4): 744−753 [5] He K M, Sun J, Tang X O. Single image haze removal using dark channel prior. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341−2353 [6] Drews P, Nascimento E, Moraes F, Botelho S, Campos M. Transmission estimation in underwater single images. In: Proceedings of the International Conference on Computer Vision Workshops. Sydney, Australia: IEEE, 2013. 825−830 [7] Galdran A, Pardo D, Picón A, Alvarez A. Automatic red-channel underwater image restoration. Journal of Visual Communication and Image Representation, 2015, 26: 132−145 doi: 10.1016/j.jvcir.2014.11.006 [8] 谢昊伶, 彭国华, 王凡, 杨成. 基于背景光估计与暗通道先验的水下图像复原. 光学学报, 2018, 38(1): 18−27Xie Hao-Ling, Peng Guo-Hua, Wang Fan, Yang Cheng. Underwater image restoration based on background light estimation and dark channel prior. Acta Optica Sinica, 2018, 38(1): 18−27 [9] Carlevaris-Bianco N, Mohan A, Eustice R M. Initial results in underwater single image dehazing. In: Proceedings of the 2010 OCEANS. Seattle, USA: IEEE, 2010. 1−8 [10] Peng Y T, Cosman P C. Underwater image restoration based on image blurriness and light absorption. IEEE Transactions on Image Processing, 2017, 26(4): 1579−1594 doi: 10.1109/TIP.2017.2663846 [11] Berman D, Levy D, Avidan S, Treibitz T. Underwater single image color restoration using haze-lines and a new quantitative dataset. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 43(8): 2822−2837 [12] Xie J, Hou G J, Wang G D, Pan Z K. A variational framework for underwater image dehazing and deblurring. IEEE Transactions on Circuits and Systems for Video Technology, 2021, 32(6): 3514−3526 [13] Ancuti C O, Ancuti C, de Vleeschouwer C, Bekaert P. Color balance and fusion for underwater image enhancement. IEEE Transactions on Image Processing, 2018, 27(1): 379−393 doi: 10.1109/TIP.2017.2759252 [14] Zhang W, Zhuang P, Sun H H, Li G H, Kwong S, Li C Y. Underwater image enhancement via minimal color loss and locally adaptive contrast enhancement. IEEE Transactions on Image Processing, 2022, 31: 3997−4010 [15] Zhuang P X, Li C Y, Wu J M. Bayesian retinex underwater image enhancement. Engineering Applications of Artificial Intelligence, 2021, 101: Article No. 104171 doi: 10.1016/j.engappai.2021.104171 [16] Ghani A S A, Isa N A M. Underwater image quality enhancement through Rayleigh-stretching and averaging image planes. International Journal of Naval Architecture and Ocean Engineering, 2014, 6(4): 840−866 doi: 10.2478/IJNAOE-2013-0217 [17] 杨淼, 纪志成. 基于模糊形态筛和四元数的水下彩色图像增强. 仪器仪表学报, 2012, 33(7): 1601−1605Yang Miao, Ji Zhi-Cheng. Underwater color image enhancement based on quaternion and fuzzy morphological sieves. Journal of Scientific Instrument, 2012, 33(7): 1601−1605 [18] 李庆忠, 白文秀, 牛炯. 基于改进CycleGAN的水下图像颜色校正与增强. 自动化学报, 2023, 49(4): 820−829Li Qing-Zhong, Bai Wen-Xiu, Niu Jiong. Underwater image color correction and enhancement based on improved cycle-consistent generative adversarial networks. Acta Automatica Sinica, 2023, 49(4): 820−829 [19] Li C Y, Guo C L, Ren W Q, Cong R M, Hou J H, Kwang S, et al. An underwater image enhancement benchmark dataset and beyond. IEEE Transactions on Image Processing, 2019, 29: 4376−4389 [20] Islam M J, Xia Y, Sattar J. Fast underwater image enhancement for improved visual perception. IEEE Robotics and Automation Letters, 2020, 5(2): 3227−3234 doi: 10.1109/LRA.2020.2974710 [21] McGlamery B L. A computer model for underwater camera systems. In: Proceedings of the Ocean Optics VI. Bellingham: Society of Photo-Optical Instrumentation Engineers, 1980. 221−231 [22] Jaffe J S. Computer modeling and the design of optimal underwater imaging systems. IEEE Journal of Oceanic Engineering, 1990, 15(2): 101−111 [23] Reinhard E, Adhikhmin M, Gooch B, Shirley P. Color transfer between images. IEEE Computer Graphics and Applications, 2001, 21(5): 34−41 [24] Chambolle A, Pock T. A first-order primal-dual algorithm for convex problems with applications to imaging. Journal of Mathematical Imaging and Vision, 2011, 40: 120−145 doi: 10.1007/s10851-010-0251-1 [25] Tarik A, Salih D, Yucel A. A histogram modification framework and its application for image contrast enhancement. IEEE Transactions on Image Processing, 2009, 18(9): 1921−1935 doi: 10.1109/TIP.2009.2021548 [26] Deng G. A generalized unsharp masking algorithm. IEEE transactions on Image Processing, 2010, 20(5): 1249−1261 [27] Peng Y T, Cao K, Cosman P C. Generalization of the dark channel prior for single image restoration. IEEE Transactions on Image Processing, 2018, 27(6): 2856−2868 [28] Akkaynak D, Treibitz T. Sea-thru: A method for removing water from underwater images. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE, 2019. 1682−1691 [29] Ranftl R, Lasinger K, Hafner D, Schindler K, Koltun V. Towards robust monocular depth estimation: Mixing datasets for zero-shot cross-dataset transfer. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 44(3): 1623−1637 [30] Panetta K, Gao C, Agaian S. Human-visual-system-inspired underwater image quality measures. IEEE Journal of Oceanic Engineering, 2015, 41(3): 541−551 [31] Li C Y, Li L L, Jiang H L, Weng K H, Geng Y F, Li L, et al. YOLOv6: A single-stage object detection framework for industrial applications. arxiv preprint arXiv: 2209.02976, 2022. [32] Jiang L H, Wang Y, Jia Q, Xu S W, Liu Y, Fan X, et al. Underwater species detection using channel sharpening attention. In: Proceedings of the 29th ACM International Conference on Multimedia. Chengdu, China: ACM, 2021. 4259−4267 [33] Lei T, Jia X H, Zhang Y N, Liu S G, Meng H Y, Nandi A K. Superpixel-based fast fuzzy C-means clustering for color image segmentation. IEEE Transactions on Fuzzy Systems, 2019, 27(9): 1753−1766 doi: 10.1109/TFUZZ.2018.2889018 [34] Bay H, Tuytelaars T, van Gool L. Surf: Speeded up robust features. In: Proceedings of the European Conference on Computer Vision. Graz, Austria: Springer, 2006. 404−417 [35] Pedersen M, Bengtson S H, Gade R, Madsen N, Mieslund T B. Camera calibration for underwater 3D reconstruction based on ray tracing using snell's Law. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops. Salt Lake City, USA: IEEE, 2018. 1410−1417 期刊类型引用(3)
1. 张风光，张思明，林敏，叶明樵，周萍芳，蒋鹏冲，刘西尧，温延. 基于多因素分析的烘丝机智能调控研究. 控制工程. 2024(06): 1138-1145 . 
百度学术2. 唐芳丽，韦小玲，郑海伟，赵晓雷. 卷烟烘丝工序数字预测模型的分析与应用. 数字技术与应用. 2023(06): 86-90 . 百度学术3. 王天怡，姚二民，董一雷，郭斌，韩航航，张增辉. 温度对不同规格卷烟烟丝弹性的影响研究. 轻工科技. 2023(06): 40-43+70 . 百度学术其他类型引用(1)
-
下载:
计量
- 文章访问数: 600
- HTML全文浏览量: 159
- PDF下载量: 220
- 被引次数: 4
