支持向量机(Support vector machine, SVM)^[1]是在统计学习理论发展起来的一种实用方法, 是专门针对小样本情况下机器学习问题而建立起来的一套新的理论体系, 基于结构风险最小化原则, 在模式识别和机器学习领域占有非常重要的地位. 最小二乘支持向量机 (Least squares support vector machine, LS-SVM)^[2]采用误差平方和作为训练集的经验损失, 将SVM的二次规划问题转换为求解线性方程组的问题. LS-SVM不仅比标准SVM需要调整的参数少, 而且计算更简单. 如今LS-SVM已经广泛地应用于隧道的可靠性分析 ^[3]、 天然气密度的确定 ^[4]等领域. 然而LS-SVM没有体现支持向量的稀疏性, 这样会降低标准SVM的泛化能力. 最近, Yang等 ^[5]提出一种新颖的LS-SVM算法, 把压缩感知(Compressive sensing, CS)理论与LS-SVM中的线性方程结合起来, 将核矩阵作为字典, 在训练的过程中, 对支持向量进行稀疏处理, 取得较好的效果.

支持向量机的非线性处理能力是通过 "核映射" 的方法将输入空间的数据映射到高维空间来实现的. 核技巧是支持向量机的重要组成部分, 目前已有许多核函数得到普遍使用, 并且也表现出良好性能, 例如高斯核函数. 2004年, Zhang等 ^[6]研究了由Morlet母小波构造的小波核, 由于小波基具有良好的时频局部特性, 且通过平移伸缩即能生成$L^{2}(R^{d})$ 上的一组完备基, 因此将小波基作为核函数可以使分类支持向量机逼近任意分类面, 回归支持向量机逼近任意的目标函数.

然而目前的LS-SVM仅仅在这一行用于第一页末尾, 单尺度小波空间上对信号进行逼近, 没有充分利用小波多分辨的特性, 而实际应用中往往碰到的是多尺度信号, 因此使用多尺度小波基作为核函数更能体现信号的不同细节.

本文提出了一种基于CS^[7]和多分辨分析(Multi-resolution analysis, MRA)^[8]的多尺度LS-SVM. 首先将小波分解得到的多尺度小波基作为支持向量核函数, 得到多尺度LS-SVM模型, 然后基于压缩感知理论, 在不降低多尺度LS-SVM表现能力的前提下, 对输出函数和多尺度小波核矩阵之间形成的关系方程, 利用最小二乘正交匹配追踪算法(Least squares orthogonal matching pursuit, LS-OMP)对多尺度LS-SVM的支持向量进行稀疏化, 最后用稀疏的支持向量对函数进行回归. 此方法的特点如下: 1)将小波基作为支持向量核函数, 能根据曲线不同变化部分调整核尺度参数, 体现出小波的稀疏性和多尺度特点, 可以比较好地抵御噪声干扰, 体现信号的不同细节; 2)把小波多分辨分析引入LS-SVM, 将不同尺度的小波核函数融合在一起, 构成多尺度LS-SVM, 具有了很好的理论背景, 方法更加灵活; 3)多尺度LS-SVM仅通过一次步骤就可以将支持向量稀疏化, 大大减少迭代计算成本; 4)稀疏化后的多尺度LS-SVM, 由于压缩感知的作用, 可以将有用信息很好地保留下来; 5)在稀疏化的过程中, 没有任何参数的调整, 降低了运算复杂度.

1.   压缩感知理论

CS是一种在保证信息不损失的前提下, 信号采集和压缩同时进行的方法, 它将信号投影到观测矩阵上, 利用这些投影得到的远小于采集信号数据量的观测值重建原始信号, 是一种较好的信息获取方法. 本文假设${ x}\in R^N$是在稀疏字典${ \Psi}\in R^{N \times N}$ 下的可压缩信号: ${ x}={ \Psi}{ \theta}$, 压缩感知使用观测值 ${ y}=$ ${ \Phi}{ x}$ $\in$ $R^{M}$, $N \gg M$恢复出原始信号${ x}$. 如果矩阵${ \Psi}{ \theta}$满足受限等距性(Restricted isometry property, RIP), 就能从观测值${ y}$ 准确地恢复信号$\widehat{{ x}}$ ^[7], 从而变成了求解如下最优化问题:

其中, $\|{ \theta}\|_0$代表${ \theta}$的零范数, 即其中非零元素的个数, 由上式的解$\widehat{{ \theta}}$ 得到重构信号$\widehat{{ x}}={ \Psi}\widehat{{ \theta}}$, 而对式(1)的求解只能通过对所有可能的稀疏情况进行求解后才能找到最稀疏的形式, 这是一个NP-hard问题. 一般地, 利用某种稀疏度量函数$d(\cdot)$来逼近$\|\cdot\|_0$, 信号稀疏表示的一个非常重要的内容就是设计和完善稀疏分解算法. 目前, 关于求解方程${ y}={ \Phi}{ \Psi}{ \theta}$, 提出了很多算法, 如正交匹配追踪算法(Orthogonal matching pursuit, OMP)^[9]、最小二乘正交匹配追踪算法(LS-OMP)^[10]等.

2.   多尺度小波理论

假设$\varphi(x)\in L^2( R)$, 定义如下函数:

令$\{{{\varphi }_{j, m}}(x)|m\in Z\}$是V_j的基函数, j, m分别称为尺度因子与平移因子. 由$\{{{\varphi }_{j, m}}(x)|m\in Z\}$张成的子空间V_j导出$L^{2}(R)$ 空间的一个多分辨分析, 即如下嵌套式子空间逼近序列${{\{{{V}_{j}}\}}_{j}}\in Z$:

W_j是V_j在$V_{j+1}$中的正交补子空间, 可表示如下:

所以, 给定$j\in \text{Z}$, 在MRA框架下, 正交小波分解关系具体表示如下:

其中, 函数$\psi(x)$是小波母函数. 所以, $\forall f(x)\in L^2( R)$可以分解成如下形式 ^[11]:

其中, ${{f}_{{{V}_{J}}}}\in {{V}_{J}}, {{f}_{{{W}_{J}}}}\in {{W}_{J}}$. 在实际应用中, $f(x)$将被有限分辨的小波基重构如下:

3.   基于压缩感知的多尺度LS-SVM模型

3.1   多尺度LS-SVM 回归模型

给定样本集$\{( {x}_i, y_i)\}{_{i=1}^n}$, 其中${{x}_{i}}\in {{R}^{d}}, {{y}_{i}}\in R$. 根据式(7), $f({ x})$可以分解成L个小波空间下的分量之和:

其中, $f_r\in W_r$, $r=1, \cdots, L$. 然后用如下表达式逼近f_r, $r=1, \cdots, L$.

式中, $\phi_r({{ x}})$为核空间映射函数, ${ w}_r$为权矢量, b_r为偏差量. 根据LS-SVM^[2]模型, 可得到f的如下展开式:

其中, $\alpha_{ri}$, $r=1, \cdots, L$, $i=1, \cdots, n$是拉格朗日算子, $k_r(\cdot, \cdot)$是子空间W_r里的小波核函数. 为了简单起见, 令$\sum\nolimits_{r = 1}^L b_r=b$. 多尺度LS-SVM的结构模型如图 1所示.

图 1  多尺度LS-SVM模型

Fig. 1  Multi-scale LS-SVM model

下载: 全尺寸图片 幻灯片

在这个模型中, f的每个子空间f_r 由不同的小波核函数表示, 可以通过多尺度的核函数来表现信号中不同细节的变化. 如果仅使用固定尺度, 则在逼近目标函数的某些细节的时候, 其他部分可能会出现过拟合的风险. 一般情况下, 比较小的L 就能处理常见的问题, 为方便起见, 本文取$L=2$, 对于更多尺度的LS-SVM模型可以用类似的方法推导, 在两尺度下, $f({ x})$可表示为

其中, $f_1$和$f_2$分别用数据$\{({ x}_i, y_i)\}{_{i=1}^n}$和$\{({ x}_i, y_i-f_1({ x}_i))\}{_{i=1}^n}$ 来估计, 基于LS-SVM算法, 上述问题转化为求如下优化问题:

约束条件为

为了在对偶空间上求解上述优化问题, 定义如下的Lagrange泛函:

其中, $a_{i1}$, $a_{i2}$ 为拉格朗日算子. 从上式中消去${ w}_1$, ${ w}_2$, $e_{i1}$, $e_{i2}$, 就能得到如下线性方程组:

其中, ${ \alpha}=(a_{11}, a_{21}, \cdots, a_{n1})^\text{T}$, ${ \beta}=(a_{12}, a_{22}, \cdots$, $a_{n2})^\text{T}$, ${ I}_n=(1, \cdots, 1)^\text{T}$, ${ \Omega}_s(i, j)=K_s(i, j)$, $i, j =$ $1$, $\cdots$, n, $s=1, 2$, 则函数估计的两尺度LS-SVM回归模型为

3.2   基于压缩感知的稀疏两尺度LS-SVM模型

通过求解线性方程组(16)可得到式(17)中的${ \alpha}$, ${ \beta}$, b, 令$\widehat{{ f}}=[\widehat{f}({ x}_1), \cdots, \widehat{f}({ x}_n)]^\text{T}$, 则

其中,

从式(18)可以看出, 将两尺度LS-SVM的支持向量稀疏化相当于使${ \omega}$ 中相应的元素为0. 所以, 在一定精度范围内, 寻找稀疏最小二乘模型可转化为最小化$\|{ \omega}\|_0$, 可通过下式计算:

可以很明显看出, 式(19)和式(1)一致, 就是从观测值重构信号.

线性方程组$\widehat{{ K}}{ \omega}=\widehat{{ f}}$中包括$2n+1$ 个未知数和$2n$个等式, 这是一个欠定问题. 本文用LS-OMP方法获得稀疏性的${ \omega}$ , 进而得到稀疏两尺度LS-SVM. 另外, 稀疏度可用以下函数定义 ^[12]

其中, $n_{sv}$是支持向量的个数, n是训练样本的个数.

基于压缩感知的稀疏两尺度LS-SVM算法如下:

步骤 1. 根据训练样本$\{( {x}_i, y_i)\}{_{i=1}^n}$, 选取合适的参数, 得到两尺度LS-SVM模型;

步骤 2. 根据式(18) 计算目标变量$\widehat{{ f}}$ 和矩阵$\widehat{{ K}}$;

步骤 3. 运用LS-OMP方法, 从$\widehat{{ f}}$, $\widehat{{ K}}$, $n_{sv}$中获得稀疏的${ \omega}$;

步骤 4. 输出稀疏两尺度LS-SVM模型.

4.   实验与分析

本节实验分别采用混合函数、带噪的一维信号、二维信号、 非平稳序列信号以及真实机械臂数据. 核函数为径向基(Radial basis function, RBF)小波核. 每一个实验重复10次, 最终取平均结果. 在实验中, 本文采用归一化均方误差(Normalized mean square error, NMSE)^[13]来评估训练误差

其中, $\widetilde{y}(t)$为估计值, $y(t)$为实际值, NMSE一般为负值, 而且负数绝对值越大, 表明逼近效果越好.

4.1   混合函数的拟合

本实验选取混合函数 ^[14]如下:

输入数据$x_i\in[0, 10]$ 区间均匀采样生成200个样本, 从中随机选取一半作为训练样本, 并加入高斯噪声$n_i\sim {\rm N}(0, 0.05^2)$, 测试样本不加噪声. 两尺度LS-SVM的惩罚参数$\gamma_1$, $\gamma_2$从$[20, 30, \cdots, 200]$ 中选取, 小波核参数$\sigma{_1^2}$, $\sigma{_2^2}$从$[0.2, 0.5, \cdots, 5]$中选取, 通过5折交叉验证方法获得最优参数: $\gamma_1=50$, $\gamma_2$ $=$ $100$, $\sigma{_1^2}=0.5$, $\sigma{_2^2}=3.5$, 图 2为两尺度径向基小波核LS-SVM的一次实验结果.

图 2  两尺度径向基小波核LS-SVM的实验结果

Fig. 2  Experimental results of two-scale RBF wavelet kernel LS-SVM

下载: 全尺寸图片 幻灯片

表 1为RBF小波核与Morlet小波核、Mexican hat小波核的两尺度LS-SVM比较, 表 2为RBF小波核函数与RBF核函数、Sinc核函数的两尺度LS-SVM结果比较, 表 3为RBF小波多尺度核方法与组合RBF核、组合线性核与RBF核方法的比较. 从图 2可以看出,RBF小波核根据曲线不同变化部分调整核尺度参数, 体现出小波的稀疏性和多尺度特点, 可以比较好地抵御噪声干扰, 体现信号的不同细节; 从表 2可看出, 相比其他非小波核函数, 具有更优越的表现力; 另外, 把小波多分辨分析引入LS-SVM, 将不同尺度的小波核函数融合在一起, 构成多尺度LS-SVM, 具有了很好的理论背景, 方法更加灵活, 能比合成核方法 ^[14-16]提供更完备的尺度选择; 从表 3可以看出, 本文方法相比其他合成核方法, 具有相当或更强的表现力.

表 1  不同小波核函数的两尺度LS-SVM NMSE 比较

Table 1  NMSE comparison of two-scale LS-SVM with di®erent wavelet kernel functions

核函数	参数选择	准确率(NMSE)
RBF 小波核	$\gamma_1=50, \gamma_2=100, \sigma_1^2=0.5, \sigma_2^2=3.5$	-47.1780
Morlet 小波核	$\gamma_1=80, \gamma_2=150, \sigma_1^2=0.8, \sigma_2^2=4$	-46.4707
Mexican hat 小波核	$\gamma_1=100, \gamma_2=200, \sigma_1^2=0.35, \sigma_2^2=6.25$	-46.6829

下载: 导出CSV 

| 显示表格

表 2  不同核函数的两尺度LS-SVM NMSE 比较

Table 2  NMSE comparison of two-scale LS-SVM with di®erent kernel functions

核函数	参数选择	准确率(NMSE)
RBF 小波核	$\gamma_1=50, \gamma_2=100, \sigma_1^2=0.5, \sigma_2^2=3.5$	-47.1780
RBF 核	$\gamma_1=100, \gamma_2=200, \sigma_1^2=0.3, \sigma_2^2=3$	-44.7617
Sinc 小波核	$\gamma_1=60, \gamma_2=220, \sigma_1^2=0.5, \sigma_2^2=5$	-44.1170

下载: 导出CSV 

| 显示表格

表 3  不同多核学习方法NMSE 比较

Table 3  NMSE comparison of di®erent multi-kernel learning methods

算法	核函数	准确率(NMSE)
本文方法	小波多尺度核	-47.1780
MSLP-SVR[14]	组合RBF核	-44.0920
多核LS-SVM[15]	组合RBF核	-45.0612
SKLSSVR[16]	线性核与RBF核	-44.3539

下载: 导出CSV 

| 显示表格

4.2   带噪声数据点的回归

本实验中, 在式(23)加上高斯噪声n_i $\sim$ ${\rm N}(0, 0.1^2)$, 从中获取400个样本, 随机选取其中的一半作为训练样本, 其余作为测试样本. 图 3为四种算法的误差比较, 两尺度LS-SVM的惩罚参数$\gamma_1$, $\gamma_2$从$[40, 60, \cdots, 700]$ 中选取, 小波核参数$\sigma{_1^2}$, $\sigma{_2^2}$从$[0.1, 0.15, \cdots, 1.5]$中选取, 通过5折交叉验证方法获得最优参数: $\gamma_1=460$, $\gamma_2=200$, $\sigma{_1^2}=$ $0.5$, $\sigma{_2^2}=0.2$, 标准LS-SVM的最优参数$\gamma=250$, $\sigma^2$ $=$ $0.1$也由交叉验证方法获得. 从图 3中看出两尺度LS-SVM比标准LS-SVM对带噪声信号的恢复能力要强, 稀疏两尺度LS-SVM在有噪声的情况下的回归性能优于稀疏标准LS-SVM的回归性能, 稀疏标准LS-SVM在稀疏度大于50 $%$以后的回归能力逐渐下降, 而稀疏两尺度LS-SVM在稀疏度大于85 $%$以后回归能力才略有下降. 这表明, 跟稀疏标准LS-SVM相比, 稀疏两尺度LS-SVM不仅可以更好地把信号的有用部分都保留下来, 用较少的支持向量来对信号进行回归, 而且还可以对信号的不同细节进行比较完整的诠释, 特别是在稀疏的过程中, 不需要对支持向量中的参数进行再次调整, 这也大大降低了两尺度LS-SVM的复杂度.

图 3  标准LS-SVM、稀疏LS-SVM、两尺度LS-SVM、稀 疏两尺度LS-SVM 四算法在不同稀疏度下NMSE 比较

Fig. 3  NMSE comparison of standard LS-SVM, sparse LS-SVM, two-scale LS-SVM, sparse two-scale LS-SVM algorithms under di®erent sparse degrees

下载: 全尺寸图片 幻灯片

为了更直观研究两尺度稀疏LS-SVM性能, 取一次实验的结果, 将原始数据, 加噪声数据, 以及标准LS-SVM和两尺度LS-SVM的输出数据进行详细比较, 如图 4所示.

图 4  标准LS-SVM和两尺度LS-SVM的回归结果比较

Fig. 4  Regression results comparison of standard LS-SVM and two-scale LS-SVM

下载: 全尺寸图片 幻灯片

从图 4可以看出, 对于带噪声信号, 稀疏两尺度LS-SVM在仅用10 $%$的支持向量的时候, 就表现出非常稳定的回归性能, 而稀疏标准LS-SVM的回归性能与标准LS-SVM相比下降明显, 在支持向量为20 $%$ 的时候,稀疏标准 LS-SVM 实践效果有所回升, 但是相比稀疏两尺度LS-SVM, 表现效果过于粗糙, 这也就进一步说明, 稀疏两尺度LS-SVM具有的多尺度性能可以比较完整的恢复带噪声信号的原始模样, 具有较强的抗噪能力, 而且需要很少的支持向量就可以达到很好的逼近效果, 这样为计算节约了很多成本, 大大提高了LS-SVM的泛化性能.

4.3   二维函数逼近二元函数

其中, $-10\leq x_1\leq 10$, $-10\leq x_2\leq 10$, 随机选取324个数据点为训练样本, 1 600个数据点作为测试样本. 图 5为测试样本曲线图. 两尺度LS-SVM的惩罚参数$\gamma_1$, $\gamma_2$从$[500, 1 000, \cdots, 70 000]$中选取, 小波核参数$\sigma{_1^2}$, $\sigma{_2^2}$从$[0.2, 0.4, \cdots, 8]$中选取, 通过5折交叉验证方法获得最优参数: $\gamma_1=2 000$, $\gamma_2=$ $50 000$, $\sigma{_1^2}=5.2$, $\sigma{_2^2}=1.6$, 标准LS-SVM最优参数$\gamma$ $=$ $3 200$, $\sigma^2=3.05$也由交叉验证方法获得. 图 6为90 $%$稀疏度两尺度LS-SVM对测试样本的逼近效果. 图 7为 90 $%$稀疏度标准LS-SVM对测试样本的逼近效果. 表 4给出了稀疏两尺度LS-SVM和稀疏标准LS-SVM在不同稀疏度下NMSE比较的结果. 这也说明, 稀疏两尺度LS-SVM可以用10 $%$的支持向量就能很好地逼近原测试样本, 相比稀疏标准LS-SVM, 能用更多的小波尺度, 所以能表现出信号的不同细节, 即便用较少的支持向量, 也完全不降低其表现效果, 所以具有更好的泛化性能.

图 5  测试样本曲线图

Fig. 5  Test sample curve

下载: 全尺寸图片 幻灯片

图 6  90% 稀疏度两尺度LS-SVM 逼近效果

Fig. 6  Approximation result of 90% sparse degree two-scale LS-SVM

下载: 全尺寸图片 幻灯片

图 7  90% 稀疏度标准LS-SVM 逼近效果

Fig. 7  Approximation result of 90% sparse degree standard LS-SV

下载: 全尺寸图片 幻灯片

表 4  稀疏两尺度LS-SVM 和稀疏标准LS-SVM 在不同稀疏度下NMSE 比较

Table 4  NMSE comparison of sparse two-scale LS-SVM and sparse standard LS-SVM algorithms under di®erent sparse degrees

稀疏度(%)
		90	80	70	60	50	40	30	20	10
NMSE	两尺度	-52.8800	-59.7540	-69.7735	-72.7535	-72.9664	-72.9800	-72.9805	-72.9805	-72.9805
	标准	-49.9373	-54.9217	-58.7773	-63.1308	-64.8218	-65.3600	-65.4205	-65.4312	-65.4312

下载: 导出CSV 

| 显示表格

4.4   非平稳序列数据的拟合

本实验选取Garchdata 400个非平稳数据点进行拟合, 在训练之前, 首先对数据进行归一化, 在不同稀疏度下比较稀疏两尺度LS-SVM和稀疏标准LS-SVM的回归性能, 随机选取200个作为训练样本, 其余作为测试样本. 两尺度LS-SVM的惩罚参数$\gamma_1$, $\gamma_2$从$[80, 110, \cdots, 890]$中选取, 小波核参数$\sigma{_1^2}$, $\sigma{_2^2}$从$[0.1, 0.2, \cdots, 3]$中选取, 通过5折交叉验证方法获得最优参数: $\gamma_1=230$, $\gamma_2=500$, $\sigma{_1^2}$ $=$ $0.3$, $\sigma{_2^2}=0.5$, 标准LS-SVM最优参数$\gamma=$ $200$, $\sigma^2=0.2$也由交叉验证方法获得. 图 8 (a)和图 8 (b)分别表示50 $%$稀疏度两尺度LS-SVM和标准LS-SVM的逼近结果.

图 8  标准LS-SVM 和两尺度LS-SVM 在50% 稀疏度下拟合结果比较

Fig. 8  Approximation results comparison of standard LS-SVM and two-scale LS-SVM under 50% sparse degree

下载: 全尺寸图片 幻灯片

从图 8中看出, 稀疏度两尺度LS-SVM仅用50 $%$的支持向量可以达到很好的实验效果, 而稀疏标准LS-SVM的结果的输出数据与原始曲线出现了比较大的偏离. 图 9给出了两尺度LS-SVM和标准LS-SVM在稀疏度为50 $%$, 55 $%$, 60 $%$下的NMSE比较, 两种方法的NMSE均随着稀疏度的升高而升高, 但是在同样的稀疏度下, 两尺度LS-SVM总是表现的更好一些. 这是因为两尺度LS-SVM更能抓住数据的不同细节, 即使去掉一些支持向量, 也丝毫不影响它的良好性能, 所以稀疏两尺度LS-SVM比稀疏标准LS-SVM具有更好的泛化性能.

图 9  标准LS-SVM 和两尺度LS-SVM 在不同稀疏度下 NMSE 比较

Fig. 9  NMSE comparison of standard LS-SVM and two-scale LS-SVM under di®erent sparse degrees

下载: 全尺寸图片 幻灯片

4.5   真实机械臂数据的估计

本实验对柔性机械臂的逆动力进行辨识 ^[17], 在训练之前, 首先对所有的原始数据进行归一化如下:

式中, $x_{ij}$为输入矩阵A的第$(i, j)$个元素, $\widetilde x_{ij}$是$x_{ij}$的归一化值, $x{_j^{\text{min}}}$和$x{_j^{\text{max}}}$分别表示矩阵A 第j列的最小值和最大值.

此机械臂安装在一个电子发动机上, 该系统的输入$u(t)$为结构的反作用扭矩, 相应地输出$d(t)$为柔性臂的加速度. 此数据包含1 024对输入 -输出样本, 如图 10所示.

图 10  机械臂数据

Fig. 10  Robot arm data

下载: 全尺寸图片 幻灯片

此逆模型辨识可通过$x(t)=(u(t-1), \cdots, u(t$ $-$ $5)$, $d(t-1)$, $\cdots $, $d(t-4))^t$ 和$x^{\text{out}}(t)=u(t)$来学习.\hfill 该数据集共有 1 019 个形如 $(x(t), x^{\text{out}}(t))$ 的样本点. 从样本点中随机选取510个样本点作为训练样本, 其余作为测试样本. 两尺度LS-SVM的惩罚参数$\gamma_1$, $\gamma_2$从$[20^2, 40^2, \cdots, 600^2]$中选取, 小波核参数$\sigma{_1^2}$, $\sigma{_2^2}$从$[0.1, 0.2, \cdots, 3]$中选取, 通过5折交叉验证方法获得最优参数: $\gamma_1=1 600$, $\gamma_2=$ $250 000$, $\sigma{_1^2}=0.4$, $\sigma{_2^2}=2$, 标准LS-SVM最优参数$\gamma$ $=$ $2 500$, $\sigma^2=0.3$也由交叉验证方法获得. 图 11为四种算法的误差比较, 图 12 (a)和图 12 (b)分别表示50 $%$稀疏度两尺度LS-SVM和标准LS-SVM对反作用扭矩的辨识结果.

图 11  标准LS-SVM、稀疏LS-SVM、两尺度LS-SVM、稀 疏两尺度LS-SVM 四算法在不同稀疏度下NMSE 比较

Fig. 11  NMSE comparison of standard LS-SVM, sparse LS-SVM, two-scale LS-SVM, sparse two-scale LS-SVM algorithms under di®erent sparse degrees

下载: 全尺寸图片 幻灯片

图 12  标准LS-SVM 和两尺度LS-SVM 在50% 稀疏度下的拟合结果比较

Fig. 12  Approximation results comparison of standard LS-SVM and two-scale LS-SVM under 50% sparse degree

下载: 全尺寸图片 幻灯片

从图 12中看出, 两尺度LS-SVM在去掉一半支持向量以后丝毫不影响它的逼近效果, 而标准LS-SVM在稀疏度大于15 $%$的时候NMSE误差曲线就开始出现明显偏离. 在同样的稀疏度下, 标准LS-SVM逼近效果明显要次于两尺度LS-SVM. 相比标准LS-SVM, 两尺度LS-SVM能用更多的小波尺度, 既能抓住数据的不同细节, 又能在稀疏以后以较少的支持向量达到很好的辨识效果, 所以稀疏两尺度LS-SVM比稀疏标准LS-SVM具有更好的泛化性能.

5.   总结

本文提出了基于CS和MRA的多尺度LS-SVM, 首先根据MRA的特性, 将多尺度小波基作为LS-SVM的核函数, 得到多尺度LS-SVM模型, 然后根据CS通过稀疏信号重构原始信号的原理, 在多尺度LS-SVM模型的基础上运用LS-OMP贪婪算法, 对信号的有用信息进行保留, 将支持向量稀疏化, 最后得到稀疏多尺度LS-SVM模型. 相比普通LS-SVM, 本文方法不仅可以用较少的支持向量达到很好的效果, 而且可以很好地体现多尺度性能, 更全面地提取信号的细节, 计算也很简便, 更具有现实意义. 通过实验也能很好地说明本文方法的优越学习性能. 对于多尺度LS-SVM, 尺度越多, 对信号的逼近细节的能力就越强, 然而会有更多参数的调整, 比较费时, 如何运用比较快速的参数优化算法是继续研究的重点.