External Generalized Predictive Cascade Control for Main Steam Temperature Based on Weight Factor Self-regulating
-
摘要: 针对电厂目前普遍采用PI-PI串级控制器调节锅炉主蒸汽温度系统, 不能有效克服惯性、时滞和参数时变等问题的影响, 本文提出了一种理想GPC (Generalized predictive control)-PI串级控制器. 首先, 该理想串级控制器不仅能抑制一次和二次扰动, 而且外环GPC通过对主蒸汽温度的多步预测, 并结合滚动优化技术能有效克服主蒸汽温度系统的惯性和时滞问题. 另外, 针对主蒸汽温度系统参数时变的特性, 该理想控制器采用了T-S (Takagi-Sugeno)型模糊神经网络(Fuzzy neural network, FNN)作为主蒸汽温度模型, 该模型能够通过反馈校正技术实时更新模型参数. 同时, 为了改善主蒸汽温度系统动态响应品质和稳定性, 对外环GPC中的权重因子进行了模糊自校正设计, 通过理论分析和对比仿真验证了该理想GPC-PI串级控制器优于权重因子固定的GPC-PI和PI-PI串级控制器. 最后, 考虑到直接将电厂集散控制系统(Distributed control system, DCS)中的PI-PI串级控制器升级为理想GPC-PI串级控制器存在安全以及风险责任等问题, 故将电厂的传统PI-PI串级控制器升级成外挂的GPC-PI-PI串级控制器, 既改善了锅炉主蒸汽温度的控制效果又规避了风险责任, 实际应用验证了该方法的有效性.Abstract: The PI-PI cascade controller, which is widely used in power plants for adjusting main steam temperature, cannot effectively overcome the negative effects caused by inertia, time delay and time-varying parameters, therefore an ideal generalized predictive control (GPC)-PI cascade controller is proposed in this paper. Firstly, the GPC-PI cascade controller could attenuate the primary and secondary disturbances. To solve the problems of inertia and time delay in the main steam temperature system, the GPC-PI cascade controller predicts the multi-step main steam temperature integrating with rolling optimization technique. In addition, facing the time-varying parameters of the main steam temperature system, the GPC-PI cascade controller adopts the T-S (Takagi-Sugeno) fuzzy neural networks (FNN) as the main steam temperature model, whose parameters can be identified and updated in real time. Meanwhile, in order to further improve the dynamic response speed and stability of the main steam temperature system, fuzzy self-regulating of weight factor in outer-loop GPC is designed. The theoretical analysis and comparative simulations verify that the ideal GPC-PI cascade controller is superior to the GPC-PI cascade controller with fixed weight factor and the PI-PI cascade controller. Finally, considering the safety and risks due to the substitution of PI-PI cascade controller by the ideal GPC-PI cascade controller in distributed control systems (DCS), the PI-PI cascade controller is upgraded to the GPC-PI-PI controller for power plant, which not only improves the control effects but also avoids liabilities for risks. The practical application demonstrates the effectiveness of the GPC-PI-PI controller.
-
语音增强的主要目标是从含噪语音中提取原始纯净语音信号, 通过抑制或分离噪声来提升语音感知质量与可懂度, 在语音信号通信、助听器和自动语音识别等领域有着广泛的应用. 经过几十年的发展, 众多语音增强算法相继被提出, 经典的语音增强技术主要包括谱减法、维纳滤波法、基于统计模型的方法以及基于子空间的方法等, 这些方法往往基于噪声平稳或缓变的假设, 在高度非平稳的噪声情况下增强效果会急剧恶化[1-2]. 深度学习[3]的兴起以及在声学建模领域的成功应用, 为解决复杂环境下的语音增强提供了思路. 根据网络学习的目标不同, 基于神经网络的语音增强主要分为基于时频掩蔽的方法与基于特征映射的方法. 基于时频掩蔽的方法将纯净语音与噪声之间的相互关系作为学习目标, 将得到的时频掩蔽估计作用于含噪语音上, 并经由逆变换技术合成增强语音的时域波形. Wang等[4]将深度神经网络(Deep neural networks, DNN)引入语音分离与降噪领域, 通过前馈DNN估计理想二值掩蔽(Ideal binary mask, IBM); 随后, Narayanan等[5]提出在梅尔谱域估计理想浮值掩蔽(Ideal ratio mask, IRM), 在一定程度上提高了语音识别的鲁棒性; Williamson等[6]也提出复数理想浮值掩蔽(Complex ideal ratio mask, cIRM), 并使用DNN同时估计cIRM的实部和虚部, 显著提高了语音的可懂度. 基于特征映射的方法利用神经网络学习含噪语音和纯净语音之间的复杂映射关系. Xu等[7]把深层神经网络视为一个回归模型, 使用带受限玻尔兹曼机(Restricted Boltzmann machine, RBM)预训练的DNN将含噪语音的对数功率谱映射到纯净语音的对数功率谱上; Park等[8]提出冗余卷积编解码网络, 通过删去池化层、加入跳跃连接的方式优化训练过程, 将卷积神经网络(Convolutional neural network, CNN)应用于频谱映射. 这两类方法通常需要将时域波形变换到时频域处理信号的幅度谱或功率谱, 往往会忽略掉语音信号中的相位信息.
基于端到端的语音增强方法不依赖于频域表示, 可以有效地利用时域信号的相位信息, 避免了信号在时域和时频域之间来回切换, 简化处理流程. Qian等[9]考虑到WaveNet[10]对语音波形的强大建模能力, 提出将语音先验分布引入到WaveNet框架进行语音增强; Rethage等[11]也在WaveNet的基础上开展语音增强研究, 通过非因果的(Non-causal)扩张卷积来预测目标, 在主观评价指标上取得了比维纳滤波更好的效果. Pascual等[12]将生成对抗网络[13-14] (Generative adversarial nets, GAN)引入语音增强领域并提出SEGAN (Speech enhancement generative adversarial network), 并用其对时域波形信号直接处理, 取得了一定的增强效果, 但是在客观评价指标语音质量感知评价(Perceptual evaluation of speech quality, PESQ)上略低于维纳滤波. Fu等[15-16]提出全卷积神经网络并将其作用于整句语音波形信号, 提升了语音增强的性能. 这些基于端到端的方法都是直接将一维时域波形映射到目标语音, 然而时域波形信号本身并不能表现出明显的特征结构信息, 直接对时域信号建模比较困难, 而且低信噪比环境下信号更复杂, 建模难度会进一步提高. 有学者考虑将神经网络作为前端短时傅立叶变换(Short-time Fourier transform, STFT)替代方案[17-19], 我们在其基础上修改扩展, 提出了一个时频分析网络来模拟STFT变换过程的基函数, 将一维时域信息映射到一个类似于时频表示的高维空间中以获取更多的信息; 相比于常见的神经网络方法中使用时频域幅度谱或功率谱值的方式, 时频分析网络能更充分地利用输入信号中的相位信息.
语音和噪声信号在时域相邻帧以及频域相邻频带间具有很强的相关性, 这种时频域的局部相关性与图像中的相邻像素间的相关性非常相似. 由于在语音增强领域使用卷积神经网络可以获得与深度神经网络和循环神经网络(Recurrent neural network, RNN)相当或更好的增强效果[8, 20-22], 为进一步提高语音增强的性能, 本文考虑使用卷积神经网络中的一种重要网络 — RefineNet[23]来进行端到端的语音增强. 它是一个通用的多路径优化网络, 通过显式利用下采样过程中的所有可用信息, 并使用较长范围的残差连接来实现高分辨率预测. 通过这种方式, 可以利用前期卷积的细粒度特性捕获更深层的高级特征; RefineNet的各个组件使用了带有Identity mappings[24]的残差连接, 这样梯度就可以通过不同跨度的残差连接直接传播, 从而实现高效的端到端训练.
在语音增强领域的神经网络训练过程中, 通常将均方误差(Mean square error, MSE)作为损失函数, 而在客观评价中往往使用PESQ或STOI等评价指标, 这种损失函数与评价指标之间的差异性并不能保证训练后的模型在应用中能够提供最优的性能; Fu等[16]和Zhao等[25]将STOI评价指标融入到了损失函数中, 一定程度上提高了语音增强性能. 受此启发, 我们提出将STOI和SDR同时融入到损失函数中, 并且采用多目标联合优化策略, 利用神经网络根据不同目标之间的共性和差异性建模.
本文提出了基于RefineNet的端到端语音增强模型(RefineNet-based speech enhancement, RNSE), 首先利用时频分析网络模仿STFT, 学习时域波形在模拟的二维时频空间表示; 然后利用RefineNet整合不同大小特征图的能力, 对不同粒度的模拟时频空间特征进行综合分析; 最后通过时频分析网络逆处理得到增强语音的估计. 在训练阶段, 我们将STOI与SDR评价指标融入到损失函数中进行联合优化, 从而得到更好的增强效果.
1. 基于RefineNet的端到端语音增强模型
RNSE模型的网络结构由时频分析网络TFANet (Time-frequence analysis network)和RefineNet两部分构成, 其结构如图1所示. TFANet是一个用于模拟短时傅里叶变换及其逆变换过程的时频分析神经网络, 在RNSE前端, TFANet将一维时域语音信号映射为二维特征表示; 在RNSE后端, TFANet将神经网络输出的增强后特征图重构成一维时域语音信号. RefineNet是RNSE的主体部分, 用于对特征图进行精炼分析, 并与TFANet结合, 实现从时域的含噪语音信号到时域的纯净语音信号的直接映射.
1.1 时频分析神经网络
Venkataramani等在语音分离任务中提出了实值转换方法[19], 通过卷积和平滑操作对原始时域波形进行预处理, 然后输入到后续神经网络中进行增强. 为了充分保留卷积结果中的原始信息, 我们去除了平滑操作, 提出了时频分析网络TFANet. 该网络包含编码分析阶段和解码生成阶段, 在编码分析阶段将时域信号处理为二维特征图表示并输入到RefineNet中, 在解码生成阶段将RefineNet输出的增强语音的特征图重构成一维语音信号. 假设含噪语音信号为s[n], 那么STFT计算可表示为:
$$ {{\boldsymbol{x}}_t}[f] = \sum\limits_{i = 0}^{N - 1} {\boldsymbol{s}} [tH + i] \cdot {\boldsymbol{w}}[i] \cdot {{\boldsymbol{b}}_f}[i] $$ (1) 式(1)中, xt[f]是语音在第t帧第f频点的STFT结果, 最终组成一个T帧F个频点的矩阵, N是每帧的采样点个数, H是相邻帧间的位移, w是窗函数系数, bf[i]是对应的STFT变换系数. 令
${\boldsymbol{k}} = $ $ {\boldsymbol{w}} \cdot {\boldsymbol{b}}$ , 可以将式(1)变换成卷积形式:$$ {{\boldsymbol{x}}_t}[f] = \sum\limits_{i = 0}^{N - 1} {\boldsymbol{s}} [tH + i] \cdot {{\boldsymbol{k}}_f}[i] $$ (2) TFANet通过一个卷积层来模拟实现上式的计算过程, 其中包含F个大小为N且系数为kf的卷积核, 我们将卷积步长设为H, 输出设为x. 通过试验参数, 本文将H设置为64, T、F、N均为512, 这层卷积的输出为512×512的2维矩阵. 在非端到端的方法中, 通常将时域语音信号通过STFT处理为幅度谱表示, 经由模型增强后, 再结合原始含噪语音的相位谱合成增强后的时域语音波形. 如图1所示, 类比这种语音增强过程, 我们通过对x取绝对值|x|来模拟STFT的幅度谱, 然后将|x|作为特征图输入到RefineNet中学习含噪语音到纯净语音的复杂映射关系. 这里RNSE模型保留了x的正负号表示p是对原始信号相位的模拟, 用于增强语音的重构.
由于RefineNet的输出特征图的长和宽是其输入的1/4, 在解码生成阶段, 我们使用步长为4的解卷积层将特征图恢复为原大小, 同时微调特征图. 接着将特征图与编码分析阶段保留的p相乘, 输入到解卷积层, 模拟语音重构过程的短时傅里叶逆变换, 最终得到对时域纯净语音
${{\boldsymbol{\hat s}}_t}$ 的估计.1.2 RefineNet神经网络
RefineNet是在ResNet[26]框架上的改进, 为了在增加神经网络深度的同时不影响模型训练, ResNet采用了残差连接, 将一层或多层叠加的隐含层输出F(x)与输入x相加, 作为最终输出:
$$ {\boldsymbol{o}} = F\left( {\boldsymbol{x}} \right) + {\boldsymbol{x}} $$ (3) 本文通过实验最终确定的ResNet结构如图2所示. ResNet的输入依次经过卷积核大小为7×7步长为2的卷积层, 步长为2的池化层, 进入4个叠加的网络块(ResBlock). 每个ResBlock包含7个结构相似的卷积层, 以ResBlock 1为例, 它是一个输出通道为256的堆叠卷积层, 每个卷积层步长均为1; 在ResBlock 1中包含2个三层堆叠卷积层, 每个三层堆叠的卷积层与ResBlock的输出通道相同, 且除了第二层卷积核大小为3×3且步长与ResBlock相同外, 其他层卷积核大小均为1×1且步长为1; 在ResBlock中通过残差连接的方式将输入输出连接起来, 提升网络的表征能力. 其余3个ResBlock的结构与ResBlock 1的结构相似, 不再赘述.
图 2 ResNet模型结构图(Conv后用, 分隔的分别是卷积层的输出通道数、步长, 若未指明步长, 默认为1)Fig. 2 The diagram for ResNet architecture4个ResBlock输出的特征图逐块缩小, 感受野变大, 特征更加抽象, 从而能捕获更高层次的全局和上下文信息, 并且计算量随之减少, 但是精细特征也会逐渐丢失. RefineBlock是一种神经网络块, 可以把不同大小的特征图融合, 从而利用高层的抽象特征和底层的精细特征, 其结构如图3所示, 包含残差卷积单元RCU (Residual convolution unit)、自适应卷积(Adaptive convolution)模块、多分辨率融合(Multi-resolution fusion)模块、链式残差池化(Chained residual pooling)模块、RefineBlock输出卷积(RefineBlock output convolution)模块等. 自适应卷积模块用于在融合前微调特征图, 由2个RCU构成, 每个RCU包含2层带ReLU激活的卷积, 每个特征图输入与第2层卷积输出相加构成残差连接. RefineBlock 4只有1个特征图输入, 而其他RefineBlock有2个输入.
多分辨率融合模块用于将不同分辨率的特征图合成一张图. 首先, 特征图通过一层卷积做融合前的微调, 然后以分辨率最高的特征图为基准, 对所有分辨率较低的新特征图通过双线性插值上采样, 最后直接相加, 得到一张高分辨率的特征图. 链式残差池化模块使用更大的感受野从输入特征图中提取抽象特征. 特征图首先经过ReLU激活函数, 池化压缩图大小, 提取主要特征, 再通过卷积层微调, 得到的新特征图在进行下一次的池化和卷积的同时, 通过残差连接与原特征图融合, 形成链式的残差池化结构. RefineBlock输出卷积模块由1个RCU组成.
RefineNet的总体结构如图1所示, ResBlock 4的特征图输入到RefineBlock 4中, 经过微调输入RefineBlock 3, 与ResBlock 3的特征图融合, 再依次通过RefineBlock 2、1与ResBlock 2、1的特征图融合, 最后经过输出卷积模块做最后的微调. 输出卷积模块包含2个RCU, 以及1个卷积核大小为1×1的卷积层.
2. 评价指标与损失函数融合
基于深度学习的语音增强模型常用均方误差MSE作为优化目标, 在时域可表示为:
$$ {\cal{L}}_{\rm{MSE}}=\min \frac{1}{NP} \sum\|\boldsymbol{\hat{y}}-{\boldsymbol{y}}\|^{2}_2 $$ (4) 式中
${\boldsymbol{\hat y}} \in {\bf{R}}^{1\times P}$ 是时域的增强语音,${\boldsymbol{y}}\in {\bf{R}}^{1\times P}$ 是纯净语音,$\|\cdot\|_2 $ 为L2范数, P与N是每条语音的采样点数与语音总数. 虽然MSE在大量模型里得到应用, 但不能保证得到最优的模型训练结果[16], 其值越小不等同于语音可懂度和语音质量越高, 而提升可懂度和质量是语音增强算法的目标. STOI是语音客观可懂度评估指标, SDR则计算了语音信号与失真信号的比率, 与语音质量高度相关. 本文提出将STOI与SDR两个评估指标共同融合到均方根误差(Root mean square error, RMSE)中进行联合优化的策略, 通过直接优化评价指标来提升语音增强模型的性能, 缓解损失函数与评价指标之间的不匹配问题. PESQ也是常用的语音增强评估指标, 但是其计算方式比STOI要复杂得多, 模型训练效率会降低; 而且PESQ计算中的一些函数(比如非对称扰动因子)是不连续的, 不满足梯度下降优化的可微条件[27], 所以本文没有将PESQ融合到损失函数中联合优化. 本文提出模型RNSE的优化目标为:$$\begin{aligned} {\cal{L}}= & \min \bigg[\alpha \frac{1}{ N P} \sqrt{\sum\|{\boldsymbol{\hat{y}}-{\boldsymbol{y}}\|^{2}_2}}+\\ & \frac{1}{N} \sum\left(-\beta C_{\rm{stoi}}(\boldsymbol{\hat{y}}, {\boldsymbol{y}})-\lambda C_{\rm{sdr}}(\boldsymbol{\hat{y}}, {\boldsymbol{y}})\right)\bigg] \end{aligned}$$ (5) 其中
$\alpha $ 、$\beta $ 、$\lambda $ 是各优化目标的权重系数, Cstoi、Csdr表示计算STOI、SDR的函数, 下面是对两优化目标的详细介绍.1) SDR优化目标
SDR是增强语音信号中纯净语音分量
${{\boldsymbol{\hat y}}_c}$ 与其他分量的能量比值.${{\boldsymbol{\hat y}}_c}$ 计算公式如下:$$\boldsymbol{\hat{y}}_{c}=\frac{\boldsymbol{\hat{y}} {\boldsymbol{y}}^{\rm{T}}}{{\boldsymbol{y}}{\boldsymbol{y}}^{\rm{T}}} \cdot {\boldsymbol{y}}$$ (6) SDR的计算公式为:
$${\rm{SDR}}=10 \lg \frac{\boldsymbol{\hat{y}}_{c}\boldsymbol{\hat{y}}_{c}^{\rm{T}}}{\left\|\boldsymbol{\hat{y}}-\boldsymbol{\hat{y}}_{c}\right\|^{2}_2}$$ (7) 将式(6)代入式(7)可得到:
$${\rm{SDR}}=10 \lg \frac{(\boldsymbol{\hat{y}} {\boldsymbol{y}^{\rm{T}}})^{2}}{\|{\boldsymbol{y}}\|^{2}_2 \|\boldsymbol{\hat{y}}\|^{2}_2-(\boldsymbol{\hat{y}} {\boldsymbol{y}^{\rm{T}}})^{2}}$$ (8) 对式(5)中SDR优化目标做等价替换以简化计算:
$$\begin{split} {\cal{L}} &=\min -C_{s t o i}(\boldsymbol{\hat{y}}, {\boldsymbol{y}})=\min -10 \lg \frac{(\boldsymbol{\hat{y}} {\boldsymbol{y}}^{\rm{T}})^{2}}{\|{\boldsymbol{y}}\|^{2}_2 \|\boldsymbol{\hat{y}}\|^{2}_2-(\boldsymbol{\hat{y}} {\boldsymbol{y}^{\rm{T}}})^{2}} \\ & \Leftrightarrow \min \frac{{\|{\boldsymbol{y}}\|^{2}_2 \|\boldsymbol{\hat{y}}\|^{2}_2-(\boldsymbol{\hat{y}} {\boldsymbol{y}^{\rm{T}}})^{2}} }{(\boldsymbol{\hat{y}} {\boldsymbol{y}^{\rm{T}}})^{2}} \\ & \Leftrightarrow \min \frac{{\|{\boldsymbol{y}}\|^{2}_2 \|\boldsymbol{\hat{y}}\|^{2}_2}}{(\boldsymbol{\hat{y}} {\boldsymbol{y}}^{\rm{T}})^{2}} \Leftrightarrow \min \frac{\|\boldsymbol{\hat{y}}\|^{2}_2}{(\boldsymbol{\hat{y}} {\boldsymbol{y}^{\rm{T}}})^{2}}\\[-15pt] \end{split}$$ (9) 在上式的最后一步推导中, 我们丢弃了
$\|{\boldsymbol{y}}\|^2_2 $ , 因为它对于网络的输出来说是一个正常数, 不影响模型训练.2) STOI优化目标
STOI用于评估语音的可理解性, 输入是纯净语音y和增强语音
${\boldsymbol{\hat y}}.$ 首先去除对语音可懂度无贡献的无声区域, 然后对信号做STFT, 对两个信号进行时频分解, 通过将两个信号分割为50 %重叠的带汉宁窗的帧, 得到与听觉系统中语音表征性质相似的特征. 接着进行1/3倍频带分析, 划分共15个1/3倍频带, 其中频带中心频率范围为150 Hz至4.3 kHz. 纯净语音的短时时间包络${{\boldsymbol{z}}_{j,m}}$ 可表示如下:$$ {{\boldsymbol{z}}_{j,m}} = {\left[ {{{\boldsymbol{Y}}_j}(m - L + 1)\;{{\boldsymbol{Y}}_j}(m - L + 2)\; \cdots {{\boldsymbol{Y}}_j}(m)} \right]^{\rm{T}}} $$ (10) 其中
${\boldsymbol{Y}} \in {{{\bf{R}}}^{15\times M}}$ 是由划分得到的15个1/3倍频带, M代表该段语音的总帧数,$j \in \left\{ {1,2, \cdots, 15} \right\}$ 是15个1/3倍频带的索引, m为帧的索引, L = 30, 其代表分析语音段长度为384 ms.类似地,
${{\boldsymbol{\hat z}}_{j,m}}$ 表示增强语音${\boldsymbol{\hat y}}$ 的短时时间包络. 之后对语音进行归一化与裁剪, 归一化用来补偿全局差异, 这种差异不应该对语音的可懂度产生影响, 裁剪限定了严重恶化语音的STOI 取值边界. 增强语音的归一化和裁剪时间包络表示为${{\boldsymbol{\tilde z}}_{j,m}}$ . 可懂度的测量被定义为两个时间包络之间的相关系数:$${\boldsymbol{d}}_{j, m}=\frac{\left({\boldsymbol{z}}_{j, m}-{\boldsymbol{\mu}}_{{\boldsymbol{z}}_{j, m}}\right)^{{\rm{T}}}\left(\tilde{\boldsymbol{z}}_{j, m}-{\boldsymbol{\mu}}_{\tilde{{\boldsymbol{z}}}_{j, m}}\right)}{\left\|{\boldsymbol{z}}_{j, m}-{\boldsymbol{\mu}}_{{\boldsymbol{z}}_{j, m}}\right\|_{2}\left\|\tilde{{\boldsymbol{z}}}_{j, m}-{\boldsymbol{\mu}}_{\tilde{{\boldsymbol{z}}}_{j, m}}\right\|_{2}}$$ (11) ${\boldsymbol{\mu}} _{{\boldsymbol{z}}_{j,m}}$ 、${\boldsymbol{\mu}} _{\tilde{{\boldsymbol{z}}}_{j,m}}$ 分别表示${{\boldsymbol{z}}_{j,m}}$ 、${\tilde{{\boldsymbol{z}}}_{j,m}}$ 中元素的均值. 最后, STOI通过计算所有波段和帧的可懂度均值得到:$$C_{\rm{stoi}}(\boldsymbol{\hat{y}}, {\boldsymbol{y}})=\frac{1}{15 M} \sum_{j, m} {\boldsymbol{d}}_{j, m}$$ (12) ${C_{{\rm{soti}}}}\left( {{\boldsymbol{\hat y}}{\rm{,}}{\boldsymbol{y}}} \right)$ 为用于训练神经网络的STOI优化目标.3. 实验和结果分析
3.1 实验数据及设置
实验中使用的语音数据来自于TIMIT数据集, 噪声数据集采用ESC-50作为训练集, 为了验证本文提出模型的泛化性能, 我们也将Noisex92噪声数据集用于测试. TIMIT数据集总共包含6300条语音, 由630人每人录制10个句子得到, 男女比率为7:3. 其中, 每人录制的句子中有7个是重复的, 为了去除重复句子对模型训练与测试的影响, 本实验只取句子均不相同的1890条语音. 将其中约80 %的语音作为训练集, 另外20 %作为测试语音, 且男女比例与TIMIT总体分布相同. ESC-50数据集包含2000条带标签的环境录音集合, 共分为5个主要类别: 动物、自然音景与水声、非语音人声、室内声音、城区声音. Noisex92是常用于语音增强测试的数据集, 本文使用Babble、Factory1、White、HFChannel四种常见噪声进行不同噪声环境的测试, 用所有15种Noisex92噪声做不可见噪声测试, 用所有ESC-50噪声做可见噪声测试.
3.2 对比方法及评价指标
本文选择4个经典算法对比: a) Log-MMSE, 是一种常用的基于统计模型的语音增强方法[28]; b) CNN-SE[29], 采用CNN对语音进行增强, 并且通过添加跳连接的方式融合神经网络低层和高层的信息; c) WaveUnet[30], 基于Unet模型结构所提出的一种应用于时域语音波形信号的神经网络模型[31]; d) AET[19], 通过神经网络模仿STFT前端变换过程, 直接在时域语音波形上建模, 其中b)、c)、d)均为基于端到端的语音增强方法.
本文采用的评估指标为STOI、PESQ及SDR, 其中STOI是短时客观可懂度, 用于衡量语音可懂度, 得分范围为0 ~ 1, 分值越高表明可懂度越高; PESQ用于语音质量感知评估, 它是ITU-T (国际电信联盟电信标准化部)推荐的语音质量评估指标, 其得分范围为−0.5 ~ 4.5, 值越大表明质量越好. SDR测试增强语音中纯净语音的分量与其他分量的参量比值, 范围理论上为整个实数域, 值越大表明增强效果越好.
3.3 实验结果与分析
本文评估了RNSE与其他非端到端方法的性能差异. 图4展示了在几种常见噪声条件下各模型的指标对比, 我们可以看出在不同噪声环境和不同信噪比条件下, RNSE方法相比于时频域方法有显著的性能提升, 在每种评估指标下几乎均取得了最佳结果. 我们还注意到, 即使在 −10 dB的极限信噪比下, RNSE方法仍然可以取得比部分基线方法在−5 dB下相当或更好的性能, 这意味着RNSE更适合于在低信噪条件下的复杂环境中挖掘语音信号的信息. 我们通过在可见和不可见噪声下做测试, 进一步验证RNSE模型的泛化性, 表1和表2分别给出了已知噪声和未知噪声下的客观评价指标; 由表1和表2可以看出, RNSE在已知噪声环境和未知噪声环境下均取得了最佳的结果, 而且远优于其他端到端对比方法; 同时, 我们注意到相比于其他基线方法, WaveUnet方法在STOI上, 取得了相对更高的客观评估指标. 为了更加直观的比较各种算法的增强效果, 我们对各个网络增强后的语音的语谱图进行了比较分析, 图5为在0 dB的Babble噪声下使用不同算法得到的增强语音的语谱图, 横轴表示时间T, 纵轴表示语音信号频率F. 从语谱图中可以看出, 各种算法都在一定程度上对含噪语音进行了有效的处理, CNN-SE与WaveUnet方法在增强含噪语音的过程中, 存在相对较多的噪声残留; AET方法在增强过程中, 对噪声的抑制能力更强, 但在去除大量噪声的过程中也去除了一些语音成分信息. 由于时域波形信号的复杂性, 通过神经网络直接挖掘时域特征时, 无法较为准确地辨识语音和噪声, 导致在增强过程中, 会引入一些噪声或增强过度. RNSE方法利用TFANet将时域信号映射到二维表达空间, 保留其正负号特征并用于后期波形重构. 通过这种方式引导神经网络在训练过程中对原始信息的利用, 可以缓解模型在增强过程中的增强不足或增强过度的问题.
图 4 不同噪声不同信噪比下实验结果图(从第一行到第三行评价指标分别为PESQ、STOI与SDR, 图(a) ~ (c)、图(d) ~ (f)、图(g) ~ (i)、图(j) ~ (l)分别为Babble, Factory1, White, HFChannel噪声下的结果;每簇信噪比中的柱状图从左至右依次对应Log-MMSE, CNN-SE, WaveUNet, AET以及RNSE)Fig. 4 Experimental results under different noise and SNR表 1 可见噪声的测试结果Table 1 The performance of baseline systems compared to the proposed RNSE approach in seen noise condition指标 模型 可见噪声 −10 −5 0 5 PESQ (a) 1.11 1.46 1.79 2.10 (b) 1.65 1.92 2.24 2.51 (c) 1.66 1.92 2.23 2.50 (d) 1.70 2.00 2.25 2.48 (e) 2.11 2.46 2.73 2.93 STOI (a) 0.58 0.68 0.77 0.85 (b) 0.64 0.72 0.80 0.86 (c) 0.66 0.74 0.81 0.86 (d) 0.63 0.72 0.79 0.84 (e) 0.77 0.85 0.90 0.93 SDR (a) −6.67 −1.72 3.07 7.58 (b) −2.24 2.02 6.35 9.76 (c) −0.61 3.30 7.25 10.38 (d) 1.43 5.76 8.67 10.87 (e) 7.01 9.96 12.16 13.98 注: (a) Log-MMSE, (b) CNN-SE, (c) WaveUnet, (d) AET, (e) RNSE 表 2 不可见噪声的测试结果Table 2 The performance of baseline systems compared to the proposed RNSE approach in unseen noise condition指标 模型 不可见噪声 −10 −5 0 5 PESQ (a) 1.33 1.70 2.04 2.35 (b) 1.48 1.77 2.09 2.39 (c) 1.49 1.76 2.08 2.36 (d) 1.58 1.87 2.15 2.39 (e) 1.80 2.24 2.61 2.88 STOI (a) 0.52 0.63 0.74 0.83 (b) 0.56 0.66 0.76 0.83 (c) 0.59 0.69 0.78 0.85 (d) 0.57 0.69 0.77 0.83 (e) 0.67 0.79 0.87 0.92 SDR (a) −0.17 4.77 8.69 12.03 (b) −2.97 1.96 6.34 9.81 (c) −1.28 3.25 7.05 10.22 (d) 1.50 5.65 8.66 10.99 (e) 4.86 8.45 11.39 13.78 注: (a) Log-MMSE, (b) CNN-SE, (c) WaveUnet, (d) AET, (e) RNSE 
图 5 0 dB的Babble噪声下的语音增强语谱图示例Fig. 5 An example of spectrogram of enhanced speech under Babble noise at 0 dB SNR通过在各种噪声和信噪比环境下的测试表明RNSE模型在复杂环境下具有较强的鲁棒性. 在RNSE模型训练阶段, 我们把评估指标融入到损失函数中, 为了比较融入的评价指标对语音增强性能的影响, 我们比较了在不同组合的损失函数下RNSE模型的增强性能, 图6展示了不同信噪比下的增强效果对比. 从图中可以看出, 在使用单一目标作为损失函数时, 基于SDR的损失函数在PESQ和SDR评价指标上均取得了相对更好的性能, 基于STOI的损失函数在STOI指标上也取得了更好的性能; 但是不同的损失函数存在与其他评估指标不兼容的情况, 比如基于STOI的损失函数在PESQ与SDR指标上的性能较低, 这是由于STOI的计算是基于增强语音的时间包络, 其作为训练的损失函数时会引导神经网络模型过多关注增强语音与纯净语音之间的时间包络关系, 导致在PESQ和SDR方面的性能不佳. 同时我们注意到两两组合的损失函数相比于单一目标损失函数可以取得相对更好的性能, 基于STOI与SDR融合的损失函数取得了比其他组合或单一目标损失函数更好的评估结果. 进一步地, 沿着这个思路, 我们将STOI和SDR与RMSE按照一定的权重组合起来联合训练优化调参.
在调参的过程中, 先单独使用STOI、SDR以及RMSE作为损失函数进行训练, 观察他们分别训练的损失函数值, 当其收敛到某一个数量级时, 再通过调节超参数
$\alpha $ 、$\beta $ 以及$\lambda $ 对相应的损失函数值进行收缩, 将他们的范围都限制到 −1 ~ +1的范围内, 然后在此基础上微调, 从而得到模型各超参数的最佳匹配. 图中STOI+SDR+MSE组合对应于式(5)中的超参数$\alpha = 10$ 、$\beta = 1$ 、$\lambda = 5 \times {10^3}$ . 由此, 我们从实验直观地证明了损失函数与评价指标的不匹配会导致语音增强性能无法达到最佳, 我们通过将评估指标与损失函数按照一定的权重比例组合并输入到神经网络中联合训练, 显著提高了语音增强的性能, 表明损失函数与评估指标的结合可以有效地提高语音增强的性能, 而且本文提出的将评估指标融合到损失函数中联合训练的思想并不是只适用于语音增强领域, 还可以普适性地应用到其他各领域.4. 结论
本文提出了一个端到端的语音增强算法. 首先构建一个时频分析网络对语音信号编码分析, 然后利用RefineNet网络学习含噪语音到纯净语音的特征映射, 最后解码生成增强的语音信号. 在此基础上, 我们提出将评价指标与训练损失函数相融合的改进方法以及将STOI与SDR同时作为优化目标的多目标学习策略. 在不同噪声环境和不同信噪比下的测试中, 本文提出的方法在STOI、PESQ以及SDR方面的指标显著优于具有代表性的传统方法和端到端的深度学习方法, 证明它能更好地提高语音的清晰度和可懂度; 通过对不同损失函数的对比实验, 本文验证了将评价指标与损失函数融合的策略在深度学习模型上的有效性.
-
图 2 理想广义预测串级控制系统结构
Fig. 2 Diagram of ideal generalized predictive cascade control system
图 4
$\hat{e},$ $\Delta\hat{e}$ 和$\lambda_{k}$ 隶属度函数Fig. 4 The membership function of
$\hat{e} ,$ $\Delta\hat{e},$ and$\lambda_{k}$ 
图 5 权重因子
$\lambda_{k}$ 模糊自校正曲面Fig. 5 Fuzzy self-regulating surface of weight factor
$\lambda_{k}$ 
图 10 外挂广义预测串级控制系统等效图
Fig. 10 Equivalent diagram of external generalized predictive cascade control system
图 11 不同负荷下主蒸汽温度对比控制效果
Fig. 11 The comparison of main steam temperature control effect under different loads
表 1 权重因子
$ \lambda_{k} $ 模糊调节规则Table 1 Fuzzy regulation rules of weight factor
$ \lambda_{k} $ $ \Delta\hat{e} $ $ \hat{e} $ NB NS ZE PS PB NB NL NB NM NB NL NS NS ZE PS ZE NS ZE PM PB PL PB PM PS NS ZE PS ZE NS PB NL NB NM NB NL 
下载: 导出CSV
表 2 实验结果性能比较
Table 2 Performance comparison of experimental results
负荷 控制器 指标 $ \epsilon $ RMSE MAE IAE 600 MW 原始 0.9319 0.3677 0.3012 108.7194 外挂 0.7954 0.3372 0.2668 96.3206 480 MW 原始 1.3560 0.4593 0.3635 131.2284 外挂 0.6856 0.2516 0.2011 72.5914 310 MW 原始 0.9791 0.3015 0.2230 80.5173 外挂 0.7458 0.2789 0.2222 80.2247
下载: 导出CSV
-
[1] Draganescu M, Guo S, Wojcik J, Wang J H, Liu X J, Hou G L, Xue Y L, Gao Q R. Generalized predictive control for superheated steam temperature regulation in a supercritical coal-fired power plant. CSEE Journal of Power and Energy Systems, 2015, 1(1): 69-77 doi: 10.17775/CSEEJPES.2015.00009 [2] Ma L Y, Ge Y P, Cao X. Superheated steam temperature control based on improved recurrent neural network and simplified PSO algorithm. Applied Mechanics and Materials, 2011, 128-129: 1065-1069 doi: 10.4028/www.scientific.net/AMM.128-129.1065 [3] Liang G, Li W, Li Z J. Control of superheated steam temperature in large-capacity generation units based on active disturbance rejection method and distributed control system. Control Engineering Practice, 2013, 21: 268-285 doi: 10.1016/j.conengprac.2012.10.002 [4] Huang H P, Yu J A, Su Q, Wang L. 660MW single auxiliary ultra-supercritical unit main stream＇s temperature control strategy optimization studies. Advanced Materials Research. 2014, 909: 317-322 doi: 10.4028/www.scientific.net/AMR.909.317 [5] Zhang J H, Zhang F F, Ren M F, Hou G L, Fang F. Cascade control of superheated steam temperature with neuro-PID controller. ISA Transactions, 2012, 51: 778-785 doi: 10.1016/j.isatra.2012.06.008 [6] Tian Z D, Ren Y, Wang G. Fuzzy-PID controller based on variable universe for main steam temperature system. Australian Journal of Electrical and Electronics Engineering, 2018, 15(1-2): 21-28 doi: 10.1080/1448837X.2018.1490163 [7] Wang W, Li H-X, Zhang J T. Intelligence-based hybrid control for power plant boiler, IEEE Transaction Control System Technology, 2002, 10(2): 280-287 doi: 10.1109/87.987074 [8] 王东风, 韩璞. 基于免疫遗传算法优化的汽温系统变参数PID控制. 中国电机工程学报, 2003, 23(9): 212-217 doi: 10.3321/j.issn:0258-8013.2003.09.044Wang Dong-Feng, Han Pu. Variable arguments PID control for main steam temperature system based on immune genetic optimization. Proceedings of the CSEE, 2003, 23(9): 212-217 doi: 10.3321/j.issn:0258-8013.2003.09.044 [9] 刘国宏, 倪桂杰, 孙明, 翟永杰. 基于粒子群优化的汽温系统神经网络自整定PID控制. 华北电力大学学报, 2009, 36(1): 44-49Liu Guo-Hong, Ni Gui-Jie, Sun Ming, Zhai Yong-Jie. Self-tuning of neural networks PID control for main steam temperature system based on particle swarm optimization. Journal of North China Electric Power University, 2009, 36(1): 44-49 [10] Liu X J, Chan C W. Neuro-fuzzy generalized predictive control of boiler steam temperature. IEEE Transactions on Energy Conversion, 2006, 21(4): 900-908 doi: 10.1109/TEC.2005.853758 [11] Wu X, Shen J, Li Y G, Lee K Y. Fuzzy modeling and stable model predictive tracking control of large-scale power plants. Journal of Process Control, 2014, 24: 1609-1626 doi: 10.1016/j.jprocont.2014.08.007 [12] Zhang Y J, Chai T Y, Wang H, Fu J, Zhang L Y, Wang Y G. An adaptive generalized predictive control method for nonlinear systems based on ANFIS and multiple models. IEEE Transactions on Fuzzy Systems, 2010, 18(6): 1070-1082 doi: 10.1109/TFUZZ.2010.2062524 [13] Escaño J M, Bordons C, Vilas C, García M R, Alonso A A. Neurofuzzy model based predictive control for thermal batch processes. Journal of Process Control, 2009, 19: 1566-1575 doi: 10.1016/j.jprocont.2009.07.016 [14] Cervantes J, Yu W, Salazar S, Chairez I. Takagi–Sugeno dynamic neuro-fuzzy controller of uncertain nonlinear systems. IEEE Transactions on Fuzzy Systems, 2017, 25(6): 1601-1615 doi: 10.1109/TFUZZ.2016.2612697 [15] Zhang R D, Tao J L. A nonlinear fuzzy neural network modeling approach using improved genetic algorithm. IEEE Transactions on Industrial Electronics, 2018, 65(7): 5882-5892 doi: 10.1109/TIE.2017.2777415 [16] 雎刚, 陈来九. 模糊预测控制及其在过热汽温控制中的应用. 中国电机工程学报, 1996, 6(1): 17-21 doi: 10.3321/j.issn:0258-8013.1996.01.004Ju Gang, Chen Lai-Jiu. Fuzzy predictive control and its application study in temperature control system. Proceedings of the CSEE, 1996, 6(1): 17-21 doi: 10.3321/j.issn:0258-8013.1996.01.004 [17] Gao Y, Er M J. NARMAX time series model prediction: feedforward and recurrent fuzzy neural network approaches. Fuzzy Sets and Systems, 2005, 150: 331-350 doi: 10.1016/j.fss.2004.09.015 [18] 李少远, 王群仙, 李焕芝, 陈增强, 袁著祉. Sugeno模糊模型的辨识与控制. 自动化学报, 1999, 25(4): 488-492Li Shao-Yuan, Wang Qun-Xian, Li Huan-Zhi, Chen Zeng-Qiang, Yuan Zhu-Zhi. Identification and Control Based on Sugeno's Fuzzy Model. Acta Automatica Sinica, 1999, 25(4): 488-492 [19] Johansen T A, Babuška R. Multiobjective identification of Takagi-Sugeno fuzzy models. IEEE Transactions on Fuzzy Systems, 2003, 11(6): 847-860 doi: 10.1109/TFUZZ.2003.819824 [20] Liao Q F, Sun D, Cai W J, Li S Y, Wang Y Y. Type-1 and Type-2 effective Takagi-Sugeno fuzzy models for decentralized control of multi-input-multi-output processes. Journal of Process Control, 2017, 52: 26-44 doi: 10.1016/j.jprocont.2017.01.004 [21] 段艳杰, 吕宜生, 张杰, 赵学亮, 王飞跃. 深度学习在控制领域的研究现状与展望. 自动化学报, 2016, 42(5): 643-654Duan Yan-Jie, Lv Yi-Sheng, Zhang Jie, Zhao Xue-Liang, Wang Fei-Yue. Deep learning for control: the state of the art and prospects. Acta Automatica Sinica, 2016, 42(5): 643-654 [22] Liu W C, Cheng L, Hou Z G, Yu J Z, Tan M. An inversionfree predictive controller for piezoelectric actuators based on a dynamic linearized neural network model. IEEE/ASME Transactions on Mechatronics, 2016, 21(1): 214-226 [23] Jin Y L, Cao W H, Wu M, Yuan Y. Accurate fuzzy predictive models through complexity reduction based on decision of needed fuzzy rules. Neurocomputing, 2019, 323: 344-351 doi: 10.1016/j.neucom.2018.10.010 [24] Feng S, Chen C. L. Philip. Fuzzy broad learning system: a novel neuro-fuzzy model for regression and classification. IEEE Transactions on Cybernetics, 2020, 50(2): 414-424 doi: 10.1109/TCYB.2018.2857815 [25] Han H G, Wu X L, Liu H X, Qiao J F. An efficient optimization method for improving generalization performance of fuzzy neural networks. IEEE Transactions on Fuzzy Systems, 2019, 27(7): 1347-1361 doi: 10.1109/TFUZZ.2018.2878156 [26] Han H G, Wu X L, Liu H X, Qiao J F. An efficient second-order algorithm for self-organizing fuzzy neural networks. IEEE Transactions on Cybernetics, 2019, 49(1): 14-26 doi: 10.1109/TCYB.2017.2762521 [27] Eliasi H, Davilu H, Menhaj M B. Adaptive fuzzy model based predictive control of nuclear steam generators. Nuclear Engineering and Design, 2007, 237: 668-676 doi: 10.1016/j.nucengdes.2006.08.007 [28] Peng H, Wu J, Inoussa G, Deng Q L, Nakano K. Nonlinear system modeling and predictive control using the RBF nets-based quasi-linear ARX model. Control Engineering Practice, 2009, 17: 59-66 doi: 10.1016/j.conengprac.2008.05.005 [29] Yeh M F, Tsai C H. Standalone CMAC control system with online learning ability. IEEE Transactions on Systems Man & Cybernetics Part B Cybernetics, 2010, 40(1): 43-53 [30] Zhao J, Lin C M. Wavelet-TSK-type fuzzy cerebellar model neural network for uncertain nonlinear systems.IEEE Transactions on Fuzzy Systems, 2019, 27(3): 549-558 doi: 10.1109/TFUZZ.2018.2863650 [31] Clarke D W, Mohtadi C, Tuffs P S. Generalized predictive control—Part I. The basic algorithm. Automatica, 1987, 23(2): 137-148 doi: 10.1016/0005-1098(87)90087-2 [32] Lu C H, Tsai C C. Adaptive predictive control with recurrent neural network for industrial processes: an application to temperature control of a variable-frequency oil-cooling machine. IEEE Transactions on Industrial Electronics, 2008, 55(3): 1366-1375 doi: 10.1109/TIE.2007.896492 [33] 石宇静, 柴天佑. 基于神经网络与多模型的非线性自适应广义预测控制. 自动化学报, 2007, 33(05): 540-545Shi Yu-Jing, Chai Tian-You. Neural networks and multiple models based nonlinear adaptive generalized predictive control. Acta Automatica Sinica, 2007, 33(05): 540-545 [34] 张晓宇, 王天伟, 李燕, 王懋譞, 王永富. 火电机组燃烧系统智能综合优化控制研究. 中国电机工程学报, 2019, 39(9): 2544-2552Zhang Xiao-Yu, Wang Tian-Wei, Li Yan, Wang Mao-Xuan, Wang Yong-Fu. Study of intelligent integrated optimization control of thermal power unit combustion system. Proceedings of the CSEE, 2019, 39(9): 2544-2552 [35] Xiao H Z, Chen C. L. Philip. Incremental updating multirobot formation using nonlinear model predictive control method with general projection neural network. IEEE Transactions on Industrial Electronics, 2019, 66(6): 4502-4512 doi: 10.1109/TIE.2018.2864707 [36] 代伟, 柴天佑. 数据驱动的复杂磨矿过程运行优化控制方法. 自动化学报, 2014, 40(9): 2005-2014Dai Wei, Chai Tian-You. Data-driven optimal operational control of complex grinding processes. Acta Automatica Sinica, 2014, 40(9): 2005-2014 [37] 代伟, 陆文捷, 付俊, 马小平. 工业过程多速率分层运行优化控制. 自动化学报, 2019, 45(10): 1946-1959Dai Wei, Lu Wen-Jie, Fu Jun, Ma Xiao-Ping. Multi-rate layered optimal operational control of industrial processes. Acta Automatica Sinica, 2019, 45(10): 1946-1959 期刊类型引用(9)
1. 谢志远. 变电站户外箱体防凝露装置及智能控制系统研究. 电力安全技术. 2024(01): 36-39 . 
百度学术2. 任志玲，张倩. 基于烟花算法的反应釜温度预测控制. 控制工程. 2024(03): 392-399 . 百度学术3. 陈玉，陈星，向腾龙，张履胜，王治红. 克劳斯硫磺回收余热锅炉水温控制系统优化. 工业仪表与自动化装置. 2024(03): 15-21 . 百度学术4. 冯晗，杜钦君，徐东祥，赵金阳，徐执诏. 基于均值偏差耦合的多电机同步预测控制. 仪表技术与传感器. 2024(08): 84-92 . 百度学术5. 武凯洁，王庆霞，林永勇，朱志雄. 考虑传热条件的搅拌摩擦焊主轴力控制研究. 东华大学学报(自然科学版). 2024(05): 102-108 . 百度学术6. 费玉敏. 蓄热式电锅炉温度非线性控制参数自整定技术. 工业加热. 2024(12): 33-37+41 . 百度学术7. 冯旭刚，张泽辰，王正兵，宋澜波. 基于IGPC-NADRC火电机组制粉系统控制策略. 中南大学学报(自然科学版). 2023(07): 2904-2918 . 百度学术8. Jinying Yang，Yongjun Zhang，Tanju Yildirim，Jiawei Zhang. A Model Predictive Control Algorithm Based on Biological Regulatory Mechanism and Operational Research. IEEE/CAA Journal of Automatica Sinica. 2023(11): 2174-2176 . 必应学术9. 张锋. 基于模糊PID的区域供热锅炉主汽温控制方法. 工业加热. 2023(12): 19-23 . 百度学术其他类型引用(13)
-
下载:
计量
- 文章访问数: 1344
- HTML全文浏览量: 659
- PDF下载量: 209
- 被引次数: 22
