A Synonym Mining Algorithm Based on Pair-wise Character Embedding andNoisy Robust Learning
-
摘要: 同义词挖掘是自然语言处理中一项重要任务. 为了构建大规模训练语料, 现有研究利用远程监督、点击图筛选等方式抽取同义词种子, 而这几种方式都不可避免地引入了噪声标签, 从而影响高质量同义词挖掘模型的训练. 此外, 由于大量实体词所具有的少样本特性、领域分布差异性和预训练词向量训练目标与同义词挖掘任务的不一致性, 在同义词挖掘任务中, 词级别的预训练词向量很难产生高质量的实体语义表示. 为解决这两个问题, 提出了一种利用成对字向量和噪声鲁棒学习框架的同义词挖掘模型. 模型利用预训练的成对字向量增强实体语义表示, 并利用自动标注的噪声标签通过交替优化的方式, 估计真实标签的分布并产生伪标签, 希望通过这些改进提升模型的表示能力和鲁棒性. 最后, 使用WordNet分析和过滤带噪声数据集, 并在不同规模、不同领域的同义词数据集上进行了实验验证. 实验结果和分析表明, 该同义词挖掘模型在各种数据分布和噪声比例下, 与有竞争力的基准方法相比, 均提升了同义词判别和同义词集合生成的效果.Abstract: Synonym mining is an important task in natural language processing. In order to construct large-scale training corpus, existing studies extract synonym seeds using distant supervision and click graph filtering, which inevitably introduce noisy labels, thus affecting the training of high-quality synonym mining models. In addition, due to the few-shot and domain-distribution-shift property of most entity words, and the inconsistency between the training objective of the pre-trained word embeddings and the synonym mining task, it is difficult for the pre-trained word embeddings in the synonym mining task to produce high-quality entity semantic representations. To address these two issues, this paper proposes a synonym mining model that utilizes pair-wise character embeddings and a noise robust learning framework. The model uses pre-trained pair-wise character embeddings to enhance the entity semantic representations, estimate true label distribution and generate pseudo-labels through a joint optimization process. We want to improve the representation ability and robustness of the model through these improvements. Finally, we use WordNet to analyze and filter noisy datasets and conduct the experiments on synonym datasets of different sizes and domains. The experimental results show that the proposed synonym mining model improves the synonym set-instance classification and set generation performances compared to competitive benchmark methods under different data distribution and noise ratios.
-
稀土是由镧系元素, 钪和钇等17种元素组成, 且以共生矿形式存在.稀土元素素有"工业维生素"的美称, 已成为极其重要的战略资源.目前我国稀土萃取分离工艺技术已达到世界先进水平[1], 但稀土工业生产自动化水平普遍较低, 仍停留在"离线分析、手工调整、经验控制"状态, 导致企业生产效率低、资源消耗大、产品质量不稳定, 成为制约稀土工业发展的瓶颈.因此, 部分学者对稀土萃取过程建模与控制进行了大量研究, 并取得了一定成果.公锡泰等[2]在稀土萃取过程的测控敏感点安装在线分析仪, 并在"四出口"萃取生产线上开展自动反馈控制试验, 取得了较好的结果.但在线分析仪因频繁堵塞, 工作人员保养习惯等原因导致难以长时间使用. Giles等[3]提出了基于人工神经网络的稀土萃取控制模型.贾文君等[4]考虑稀土萃取过程的多段动态特性的基础上, 建立了一种具有状态滞后的双线性动态模型.该模型忽略了级间相互作用, 损失了部分动态特性, 难以实现萃取过程流量自动控制, 现场仍采用操作员手动调节模式.黄桂文[5]和Jia等[6]研究了利用稀土离子的特征颜色进行串级萃取工艺控制的可行性, 并总结归纳了萃取剂、料液、洗涤液流量调节的经验公式.
Chai等[7]和杨辉等[8]提出了具有两层体系结构的基于案例推理技术的稀土萃取过程优化控制系统.该方法采用案例推理技术实现上层优化器的功能, 对底层回路值进行预设定, 并利用元素组分含量的离线化验值和预测值对预设定值进行修正, 底层流量回路采用PID控制器实现闭环控制.但是上述方法的优化层只采用了案例推理技术. Yang等[9]提出了稀土萃取过程组分含量分布控制方法, 首先根据每一级建立渐进阶梯式模型, 结合质量平衡模型和监测级组分含量变化趋势, 通过动态补偿萃取剂和洗涤剂流量, 使两端出口产品满足纯度要求, 该方法忽略了较多实际因素, 难以应用于生产实践.针对稀土萃取过程非线性和动态特性, 杨辉等[10]采用自适应神经模糊推理系统(ANFIS)对CePr/Nd萃取过程进行描述, 运用广义预测控制方法(GPC)实现各控制流量的优化控制.文献[11]提出一种稀土萃取过程多模型建模和组分含量预测控制方法, 基于组分含量预测值对CePr/Nd萃取过程中萃取剂和洗涤剂流量进行动态补偿, 以保证两端出口产品的纯度.但一旦工作环境发生变化, 给定参数的PID控制器无法自适应调整, 不能达到最优效果.很明显, 目前还没有较好的稀土萃取过程萃取量和洗涤量控制方法.
针对CePr/Nd稀土萃取过程入矿条件各参数的重要性程度不一致特点, 本文首先提出基于特征属性加权的案例推理预设定模型以实现对萃取剂/洗涤剂的流量预设定, 然后针对镨/钕稀土萃取过程的稀土溶液颜色与组分含量密切相关的特点[12], 利用机器视觉技术获得稀土溶液颜色值, 建立基于LS-SVM的组分含量软测量模型, 在此基础上, 采用基于模糊的智能动态补偿模型补偿萃取剂和洗涤剂流量设定值.
1. 工艺描述与优化控制框架
1.1 工艺描述
由于分馏萃取可同时得到二个高纯度、高收率的产品, 且单级萃取不能达到有效的分离效果, 因此稀土工业生产普遍采用串级分馏萃取方式(若干级萃取槽串联起来), 使含料水相与有机相多次接触, 并从混合稀土溶液中分离、富集、提取所需具有一定纯度和收率的单一稀土元素. CePr/Nd稀土萃取分离工艺如图 1所示.按照Ce、Pr和Nd分离元素的化学特性, 该萃取过程将Ce和Pr设为难萃组分$ B $, 将Nd设为易萃组分$ A $.在稀土元素Pr和Nd位置间切割, 料液进料为有机相进料方式.整个稀土萃取生产线包括$ {n} $级萃取段和$ m $级洗涤段共$ {n+m} $级萃取槽组成, 每级萃取槽上面溶液为有机相下面溶液为水相.该生产工艺流程第1级萃取槽加入萃取剂$ u_1 $, 第$ {n} $级萃取槽加入料液$ u_3 $; 第$ {n+m} $级萃取槽加入洗涤剂$ u_2 $.由于萃取槽体独特的结构设计和搅拌力的作用, 使得各级萃取槽中有机相从左向右顺向流动、水相从右向左逆向流动.稀土溶液在萃取剂和洗涤剂的作用下经过萃取段和洗涤段各级萃取槽的交换和纯化, 最后从萃取段第1级水相出口得到目标纯度为$ {Y_B} $的难萃$ B $产品, 洗涤段第$ {n+m} $级有机相出口得到目标纯度为$ {Y_A} $的易萃$ A $产品.
1.2 萃取量和洗涤量控制方案分析
该萃取工艺包含料液、萃取剂和洗涤剂等进料, 水相、有机相等出料, 料液指混合稀土溶液, 萃取剂用于控制有机相出口易萃组分的纯度(即组分含量), 洗涤剂(酸液)用于控制水相出口难萃组分的纯度.
CePr/Nd稀土萃取过程的控制目标是指产量、有机相出口易萃稀土元素$ A $纯度和水相出口难萃稀土元素$ B $纯度等指标满足生产要求.稀土萃取过程的入矿条件及扰动量包括萃取流程原料处理量、料液稀土元素配分、皂化度、萃取剂浓度、料液浓度和洗涤剂浓度等工艺参数.其控制变量包括稀土萃取过程添加的萃取剂、洗涤剂、料液等流量值(简称萃取量、洗涤量、料液量).当稀土萃取生产工艺产量指标不变时, 料液的流量设定值一般不作调整, 即料液流量与稀土处理量指标直接关联, 一般不作为工业稀土萃取生产过程的调整量.
稀土萃取生产过程对关键工艺参量稀土元素组分含量缺乏有效的在线检测手段; 且萃取机理复杂、工艺流程长, 难以建立精确的萃取量(洗涤量)与稀土元素组分含量的关系数学模型, 并依据组分含量实现萃取量(洗涤量)优化控制.因此, 实际稀土萃取工业生产过程中工作人员一般根据萃取流程原料处理能力、料液稀土元素配分、皂化度、萃取剂浓度、料液浓度和酸液浓度等入矿条件预先设定萃取量和洗涤量, 然后当入矿条件或扰动量波动导致萃取溶液的元素组分含量变化时, 工作人员再根据CePr/Nd萃取溶液颜色或离线化验值凭借操作经验调整萃取量和洗涤量.例如, 当工况异常导致难萃组分$ B $纯度的化验值或易萃组分$ A $纯度的化验值低于目标值时, 操作人员需根据组分含量化验值调整萃取剂和洗涤剂的流量设定值.但因为萃取工艺流程长、离线化验流程(一班组等隔化验2次)等因素导致化验延时较长, 操作人员难以及时有效地调整萃取量和洗涤量, 导致CePr/Nd萃取工艺生产效率较差.当工况变化频繁时, 操作人员不能及时准确地判断工况和调整萃取量(洗涤量)设定值, 将会使控制系统性能变坏甚至瘫痪, 常常造成故障工况[13-14].
根据稀土萃取工业生产操作实践经验可知, 操作人员首先根据入矿条件预先设定萃取剂和洗涤剂流量值, 在萃取生产过程中再根据稀土元素组分含量的变化对流量设定值动态微调补偿, 使萃取生产稳定运行.由于生产工艺指标稀土元素组分含量与底层控制回路的萃取量和洗涤量设定值密切相关, 它们间的静态、动态特性难以用精确模型描述.为此, 本文结合调节控制和过程运行优化思想, 采用两层结构的实时优化过程模型[15-16], 上层采用非线性专家经验模型优化基础控制回路的萃取量(洗涤量)设定值, 下层通过PID基础控制系统跟踪设定值, 尽可能使过程运行在经济优化状态.由于PID控制能够实时有效地调节萃取剂和洗涤剂流量在给定值上, 因此本文重点研究上层优化结构模型, 该模型首先模拟操作人员专家行为, 采用案例推理方法预设定萃取剂和洗涤剂流量值, 其次, 在萃取生产过程中根据稀土元素组分含量变化采用模糊推理技术对预设定值动态微调补偿, 从而实时优化萃取量和洗涤量设定值.
综上所述, 本文提出一种案例推理静态设定和模糊推理动态补偿相结合的CePr/Nd萃取过程萃取量和洗涤量优化控制方法, 其总体方案结构如图 2所示, 主要包括萃取剂/洗涤剂流量预设定模型、稀土元素组分含量软测量模型及模糊推理智能补偿模型.借鉴人工操作专家行为, 预设定模型采用案例推理方法根据稀土生产入矿条件和生产工艺指标从历史操作案例库中按照一定的匹配原则选择最接近实时工况的流量作为流量预设定值; 然后根据稀土溶液组分含量的变化动态补偿流量预设定值, 包括基于稀土溶液颜色特征的组分含量软测量模型和模糊推理智能补偿模型; 组分含量软测量模型根据机器视觉系统采集到的稀土溶液图像颜色特征软测量稀土溶液的组分含量, 模糊推理智能补偿模型根据软测量模型计算的组分含量与目标组分含量的比较值对预设定的萃取量和洗涤量动态补偿; 最终得到一个满足实时工况要求的萃取剂和洗涤剂流量设定值, 作为底层控制回路的给定值, 由PID控制器实现对萃取剂和洗涤剂流量给定值的跟随控制.此外, 为使各个模型更加准确, 离线检测到的组分含量数据也要作为各个模型数据库更新、校正的参考数据源.
图 2 萃取量和洗涤量优化控制方案Fig. 2 Optimal control scheme for the flow rate of the extractant and the detergent2. 基于案例推理的药剂量预设定模型
稀土萃取实际生产过程工作人员通常凭借操作经验根据萃取生产流程原料处理量、料液稀土元素配分、皂化度、萃取剂浓度、料液浓度和酸液浓度等入矿条件预先设定萃取剂和洗涤剂流量值.案例推理(Case based reasoning, CBR)是借鉴人类思维方式对问题进行处理的人工智能推理方法, 并从案例中获取专家知识用于解决新问题.基于此, 采用案例推理技术预设定稀土萃取过程萃取剂/洗涤剂的最初值.
基于CBR技术的分类器主要根据已知类别中的历史案例来判断一个新案例属于哪个类.分类精度是评价案例推理技术的一个重要指标, 案例检索、案例重用、案例更新与删除都对分类精度有着重要的影响.由于每个入矿条件的重要程度不一致, 所以利用CBR检索时需要考虑给每个入矿条件属性分配不同的权重, 显然如何确定属性的权重显得尤为重要.此外, 由于实际稀土萃取生产每隔2分钟就要检索案例并产生新的案例, 如果没有合适的案例更新及退出机制, 则案例库中的案例会急剧膨胀, 导致案例检索的精度下降, 因此本文主要针对这两方面问题进行设计.
1) 案例构造
通过对稀土萃取生产过程工艺机理和过程工况数据的分析表明, 稀土料液配分$ {Y_A} $、料液浓度$ {C_F} $、萃取剂浓度$ {C_S} $、洗涤剂浓度$ {C_W} $、料液处理量$ {G} $、产品纯度指标$ {P_{B, 1}} $及$ {P_{A, n+m}} $等入料参数和工艺指标参数直接影响到CePr/Nd萃取过程萃取量和洗涤量的设定值.每条案例都由工况描述和案例解构成, 可以用式(1)表示:
$$ \begin{equation} {\rm{Case}}(X_k, V_k) = {\rm{Case}}((x_{1, k}, \cdots, x_{7, k}), (v_{1, k}, v_{2, k})) \end{equation} $$ (1) 其中, $ {X_k = (x_{1, k}, \cdots, x_{7, k})} $表示第$ {k} $条工况描述, $ {x_{1, k}, \cdots, x_{7, k}} $分别表示稀土料液配比$ {R_F} $、料液浓度$ {C_F} $、萃取剂浓度$ {C_S} $、洗涤剂浓度$ {C_W} $、料液处理量$ {G} $、产品纯度指标$ {P_{B, 1}} $及$ {P_{A, n+m}} $等; $ {V_k = (v_{1, k}, v_{2, k})} $表示第$ {k} $条工况描述所对应的解答, $ {v_{1, k}, v_{2, k}} $分别表示萃取量预设定值$ {V_S} $和洗涤量预设定值$ {V_W} $.
2) 案例检索、匹配与重用
CBR作为一种重要的问题求解范式, 基于"相似问题具有相似解"的认知假设, 通过检索存储于案例库中的相似案例来解决当前的新问题[17].案例检索策略可采用最近邻检索策略, 通过计算目标案例与源案例的特征向量之间的距离衡量二者的相似性, 距离越小说明两案例间的相似度越高. KNN (K-nearest neighbor)检索策略[18]是最近邻检索策略的扩展, 当$ {K = 1} $时就是最近邻策略; 当$ {K>1} $时, 需将历史案例库中的$ {p} $个案例与目标案例的相似度$ {S(X, X_1), \cdots, S(X, X_P)} $从大到小排列, 依次选出相似度最大的$ {K} $个近邻, 并从这$ {K} $个近邻的结果中取出最多的某类结果作为新问题的建议解答.该策略简单有效, 计算方便, 但这种策略对于噪声或者不相关的数据比较敏感, 其解决通常依赖于给案例属性分配不同的权重.因此在利用KNN计算案例之间的相似度之前, 须对工况描述属性的权重进行合理的分配[19].
根据工况描述$ {X_k = (x_{1, k}, \cdots, x_{7, k})} $进行案例检索和匹配, 由入矿条件对稀土萃取过程的影响程度, 设定权重为$ {w_i\; (i = 1, \cdots, 7)} $.在检索过程中, 由入矿条件和工艺指标计算所有案例与该工况输入条件的相似度, 检索出满足设定阈值的所有案例.
假设案例库中共有$ {n} $条案例, 其工况描述为$ {X_k = (x_{1, k}, \cdots, x_{7, k})} $, 对应案例解为$ {V_k = (v_{1, k}, v_{2, k})} $.设目标工况为$ {X = (x_{1}, \cdots, x_{7})} $, 其对应的案例解为$ {V = (v_{1}, v_{2})} $.定义单个工况输入条件$ {X_k} $和$ {X} $间的相似度函数为:
$$ \begin{align} S(X, X_k) = &1-\left(\sum\limits_{i = 1}^m {{w_i}({x_i-x_{i, k})^2}}\right)^{\frac{1}{2}}, \\& k = 1, 2, \cdots, n \end{align} $$ (2) 其中, $ {w_i} $是第$ {i} $个特征属性的权重, 满足$ {\sum\nolimits_{i = 1}^m{w_i = 1}} $.将案例库中与新工况输入条件的相似度$ {S(X, X_k)} $大于或等于阈值的所有历史案例都检测出来作为候选案例.
假设系统检索出大于相似度阈值的$ {l\; (l<n)} $个候选案例, 其相似度值分别为$ {s_1, \cdots, s_l} $, 对应的案例解为$ {V_k = (v_{1, k}, v_{2, k})\; (k = 1, \cdots, l)} $, 则当前新工况的案例解按下式计算:
$$ \begin{equation} \left\{ \begin{array}{l} v_1 = \dfrac{\sum\limits_{k = 1}^l{s_k}\times{v_{1, k}}}{\sum\limits_{k = 1}^l{s_k}}\\ v_2 = \dfrac{\sum\limits_{k = 1}^l{s_k}\times{v_{2, k}}}{\sum\limits_{k = 1}^l{s_k}} \end{array} \right. \end{equation} $$ (3) 属性权重优化的方法较多[20-21], 由于萃取工艺生产过程的复杂多样性, 本文采用内省学习方法调整式(2)的属性权重, 根据两个案例相同属性的描述值, 需将案例属性分为匹配属性和不匹配属性, 给出其定义[22].
定义1. 设历史案例库中的两案例$ C_I = (X_I;Y_I) $和$ {C_{II} = (X_{II};Y_{II})} $, 其中, $ X_I = (x_{1, I}, x_{2, I}, \cdots, $ $ x_{m, I}) $, $ X_{II} = (x_{1, II}, x_{2, II}, \cdots, $ $ x_{m, II}) $, 若满足$ 0\leq $ $ \mid\! x_{i, I}-x_{i, II}\!\mid\leq \xi_{\rm match} $, 则称案例$ {C_I} $与案例$ {C_{II}} $的第$ {i} $个属性为匹配属性, 否则, 称为不匹配属性.其中, $ {\xi_{\rm match}} $为判断属性是否匹配的阈值, 表示两个案例同一属性的接近程度.
基于内省学习原理, 采用如下权重学习策略规则.
规则1. 存在一条案例分类成功时, 匹配属性的权重增加, 同时不匹配属性的权重减少:当检索到的案例$ A $具有和目标案例$ C $相同的类别时(分类成功), 增大案例$ A $中与案例$ C $匹配的属性的权重, 同时减小案例$ A $中与案例$ C $不匹配的属性的权重.如此, $ A $与$ C $的相似度将增大, 保证在求解案例$ C $时, 相似案例$ A $更有可能被检索到.
规则2. 存在一条案例分类失败时, 匹配属性的权重减少, 不匹配属性的权重增加:当检索到的案例$ B $具有和目标案例$ C $不同的类别时(分类失败), 减小案例$ B $中与案例$ C $匹配的属性的权重, 同时增大案例$ B $中与案例$ C $不匹配的属性的权重.如此, $ B $与$ C $的距离增大($ B $被"推离" $ C $), 保证在求解案例$ C $时, 案例$ B $不易被检索到.
根据上述定义和规则, 考虑稀土入矿条件和参数属性对案例属性权重的影响, 对属性权重调整如下.
权重增加:
$$ \begin{equation} w_i(t+1) = w_i(t)+\frac{\triangle_i}{m}, \quad w_i(t+1)\geq0 \end{equation} $$ (4) 权重减少:
$$ \begin{equation} w_i(t+1) = w_i(t)-\frac{\triangle_i}{m}, \quad w_i(t+1)\geq0 \end{equation} $$ (5) 其中, $ {w_i(t)} $是第$ {i} $个属性第$ {t} $次迭代的权重; $ {w_i(t+1)} $是第$ {i} $个属性第$ {t+1} $次迭代的权重; $ {\triangle_i/m} $决定权重的变化量, $ {m} $是案例属性的个数, 对于不同的分类问题, 如果属性个数不同, 即使$ {\triangle_i} $相同，权重的变化量也不相同.但是对于同一个案例库而言, $ {m} $是固定不变的, 因此权重的变化主要与$ {\triangle_i} $有关, 为实现属性权重有效调整, 且保证属性权重调整值不会超过属性权重之和, $ {\triangle_i} $在$ {(0, m)} $区间内取值, 并且需满足式(4)和式(5)更新后的权重不小于零.
当一条案例所有属性的权重都被调整之后, 为保证所有属性的权重之和为1, 需进行归一化操作:
$$ \begin{equation} w_i(t+1)' = \frac{w_i(t+1)}{\sum\limits_{i = 1}^m w_i(t+1)} \end{equation} $$ (6) 其中, $ {w_i(t+1)'} $是第$ {i} $个属性第$ {t+1} $次迭代的最终权重.
3) 案例修正、存储和删除
经案例推理得到的案例结果与新工况不相匹配时, 则需应用其他领域相关知识对案例结果进行人工修正, 或更改参数和检索规则, 使得修正后的案例解(各回路流量设定值)与新工况相匹配.如果根据当前的工况描述没有被正确地分类成案例, 则说明当前案例库中没有该工况的案例, 则需要把当前的工况及案例加入案例库.如果根据当前的工况描述被正确地分类了, 但是其相似度太小, 则说明分类信息不完善, 则需要重新更新该类工况的案例, 并使得该类工况案例的相似度小于$ {\sigma[0, 1]}$并保存.
很明显, 案例推理的案例库随生产工况变化不断增加, 不但增加了检索的难度, 而且降低检索的精确度.所以, 伴随着检索案例的增加, 同时应该删除一些已经不适合新工况的案例.
假定每一个新的案例被保存时都被赋予一个初始遗忘因子, 根据内省学习原理, 其遗忘值的更新如下[23]:
$$ \begin{equation} F_i(t+1) = F_i(t)+\beta\times{r_i}\times{F_i(0)} \end{equation} $$ (7) 其中, $ {\beta} $为遗忘增强因子; $ {r_i} $为奖励函数, 当检索案例与新案例一致时为$ -1, $否则为1. $ {F_i(0)} $为案例的初始遗忘值, $ {F_i(t)} $为案例当前迭代的遗忘值, $ {F_i(t+1)} $为案例当前迭代后的遗忘值.很明显, 当检索案例每次都能成功地匹配当前工况时, 则遗忘值不断减少.当检索案例每次不能成功地匹配当前工况时, 则遗忘值不断增加, 当$ {F_i(t+1) > \varsigma} $时, 该案例需要删除.
3. 基于稀土溶液颜色的智能补偿模型
通常情况下, 采用基于案例推理的预设定模型可得到一个相对合理的萃取剂和洗涤剂流量预设定值, 但该模型没有考虑到实时外界干扰导致的工况变化.当稀土萃取生产过程遇扰动使工况变化时, 难以保证生产指标满足工艺要求.实际铈镨/钕萃取工业生产过程中, 工作人员周期性地根据溶液颜色或组分含量化验值等调整萃取剂和洗涤剂流量差值, 使得生产指标满足工艺要求.本质上, 领域专家或工作人员是根据稀土元素组分含量变化差和变化率调节药剂量流量, 因此, 基于铈镨/钕溶液颜色能够表征其组分含量, 本文采用基于稀土溶液颜色的在线补偿模型, 该模型主要包括基于稀土溶液颜色的组分含量软测量模型和基于模糊推理的智能补偿模型.
3.1 组分含量软测量模型
稀土元素独特的电子层结构可使稀土离子具有丰富的发射光谱. CePr/Nd萃取生产工艺的易萃组分和难萃组分分别显现紫色和绿色颜色特征, 且颜色深浅与稀土离子溶度有关.由于难萃稀土组分含量和易萃稀土组分含量之和为1, 所以一般情况下只需要知道其中一个即可.将采集的稀土溶液颜色图像在HSI颜色空间下提取出H、S、I颜色特征分量.颜色H分量和S分量与组分含量的相关性分析如图 3所示, 图 3(a)为二维图, 图 3(b)为三维图.从图 3中可知, 溶液图像颜色与组分含量关系具有一定的规律, 且为非线性关系, 可表示如下[24]:
$$ \begin{equation} y = f(C_h, C_s) \end{equation} $$ (8) 
图 3 颜色分量H、S特征值和组分含量相关性分析Fig. 3 Correlation between color feature and component content其中, $ {y} $表示组分含量, $ C_h $、$ C_s $分别表示HSI颜色空间的H和S分量.该非线性关系可采用非线性回归、神经网络等建模.由于最小二乘支持向量机(LS-SVM) 在求解二次规划问题时遇到的稀疏性及运算复杂问题时简化了采用二次规划求解优化问题的方式, 对小样本建模效果较好[25].因此, 式(8)采用LS-SVM建模.
LS-SVM算法的最小化目标函数为[26]:
$$ \begin{align} & \min\;J = \frac{1}{2}w^{ {\rm{T}}}w+\frac{1}{2}\gamma\sum\limits_{i = 1}^l{e_i^2} \\ & {\rm{s.t.}}\;y_i = w^ {{\rm{T}}}\cdot\varphi(x_i)+b+e_i, \;i = 1, \cdots, l \end{align} $$ (9) 根据式(9), 构造其拉格朗日函数为:
$$ \begin{equation} L = J-\sum\limits_{i = 1}^l \alpha_i[w^ {{\rm{T}}}\cdot\varphi(x_i)+b+e_i-y_i] \end{equation} $$ (10) 其中, $ {\alpha_i} $为拉格朗日乘子, 根据KTT条件得:
$$ \begin{equation} \begin{cases} \dfrac{\partial L}{\partial w} = 0 \to {w} = \sum\limits_{i = 1}^l \alpha_i\varphi(x_i)\\ \dfrac{\partial L}{\partial b} = 0 \to \sum\limits_{i = 1}^l \alpha_i = 0 \\ \dfrac{\partial L}{\partial e_i} = 0 \to \alpha_i = \gamma_{e_i}\\ \dfrac{\partial L}{\partial a_i} = 0 \to w^ {\rm{T}}\cdot\varphi(x_i)+b+e_i-y_i = 0\\ \end{cases} \end{equation} $$ (11) 对于$ {i = 1, \cdots, l} $, 消去$ {w} $和$ {e} $, 得到如下线性方程:
$$ \begin{equation} \left[ {\begin{array}{*{20}{c}} {0}&{{\bf{\mathord{\buildrel{\lower3pt\hbox{$ \rightharpoonup$}} \over 1} }}^ {\rm{T}}} \\ {\bf{\mathord{\buildrel{\lower3pt\hbox{$ \rightharpoonup$}} \over 1} }} &{ZZ^ {\rm{T}}+{\gamma^{-1}}I} \\ \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{b}}\\ {{ \alpha}}\\ \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {0}\\ {y}\\ \end{array}} \right] \end{equation} $$ (12) 其中, $ {\bf{\mathord{\buildrel{\lower3pt\hbox{$\scriptscriptstyle\rightharpoonup$}} \over 1} }} = [1\cdots1]^ {\rm{T}} $, $ {a = [\alpha_1, \cdots, \alpha_l]^ {\rm{T}}} $, $ {y = [y_1, \cdots, y_l]^ {\rm{T}}} $, $ {Z = [\varphi(x_1), \cdots, \varphi(x_l)]^ {\rm{T}}} $, 令 $ {K(x, x_i) = \varphi(x)^ {\rm{T}}\varphi(x_i)} $, 根据核函数方法, 引入$ {n\times n} $的高斯径向基函数为核函数:
$$ \begin{equation} K(x_i, x_k) = {\rm{exp}}(-\frac{\|x_i-x_k\|}{2\sigma^2}) \end{equation} $$ (13) 则采用支持向量机进行预测的输出为:
$$ \begin{equation} y(x) = \sum\limits_{i = 1}^l a_iK(x, x_i)+b \end{equation} $$ (14) LS-SVM模型的参数$ {a, b} $由式(12)计算, 高斯核函数宽度$ {\sigma} $和误差惩罚系数$ {\gamma} $等由粒子群优化算法计算[27]:
$$ \begin{align} v_{i, d}(t+1) = &wv_{i, d}(t)+c_1r_1(P_{i, d}-x_{i, d}(t))+ \\& c_2r_2(P_{g, d}-x_{i, d}(t)) \end{align} $$ (15) $$ \begin{equation} x_{i, d}(t+1) = x_{i, d}(t)+v_{i, d}(t+1) \end{equation} $$ (16) 其中, $ {x_{i, d}} $, $ {v_{i, d}} $, $ {P_{i, d}} $, $ {P_{g, d}} $分别表示粒子当前位置、当前速度、当前最佳位置和粒子的最佳位置. $ {\beta} $ 称为内部系数, 为[0, 1]间常量; $ {c_1} $和$ {c_2} $为学习速率; $ {r_1} $和$ {r_2} $为[0, 1]随机系数. $ v_{id}\in[-v_{ \rm{max}}, v_{ \rm{max}}], {v_{ \rm{max}}}$ 为最大速率.
3.2 基于模糊推理的流量智能补偿模型
稀土萃取生产过程中, 工作人员根据组分含量的变化量及变化率对当前的流量预设定值进行补偿, 使稀土元素组分含量满足生产指标.工作人员调节药剂量完全依赖于其经验知识, 且调节量是估计值.相比其他智能模型, 模糊推理是以模糊系统理论为基础、专家经验和领域知识为决策依据, 把定性模型转化成定量模型, 且不需要依据萃取机理建立关系模型.因此, 本节采用模糊推理建立萃取量和洗涤量补偿模型.该模型根据稀土元素组分含量软测量值, 补偿萃取量和洗涤量设定值.
通过第3.1节得到的组分含量 ${Y_{B}(k-1)}$ , ${Y_{A}(k-1)} $与目标组分含量$ {P_{B, 1}} $, $ {P_{A, n+m}} $比较, 得到其偏差$ e_s = Y_A(k-1)-P_{A, n+m} $, $ e_w = Y_B(k-1)-P_{B, 1} $及其偏差的变化$ \triangle e_s = Y_A(k-1)-Y_A(k-2) $, $ \triangle e_w = Y_B(k-1)-Y_B(k-2) $作为模糊系统的输入量, 萃取剂和洗涤剂的补偿增量$ {\triangle v_s} $和$ {\triangle v_w} $作为模糊推理系统的输出量.
基于模糊推理的智能补偿器如图 4所示, 主要包括模糊化/解模糊部分、模糊推理、知识库等; 知识库包括输入输出变量的比例(尺度)因子、隶属度函数和模糊语义控制规则.通常, 萃取剂流量模糊控制器的输入与输出之间的关系可表示为[28-29]:
$$ \begin{equation} \triangle v_s(k) = f(e_s(k), \triangle e_s(k)|\psi) \end{equation} $$ (17) 其中, $ {f(\cdot|\psi)} $表示参数为$ {\psi} $ (如隶属度函数和模糊语义控制规则等)的模糊函数.假定萃取剂补偿量为$ {\triangle v_s(k)} $, 洗涤剂补偿量为$ {\triangle v_w(k)} $, 水相出口分数为$ {f_b'} $, 根据萃取机理模型[30], 可推导出下列公式:
$$ \begin{equation} \triangle v_w(k) = \triangle v_s(k)+f_b' \end{equation} $$ (18) 一般情况只需要模糊推理萃取剂或洗涤剂补偿量即可.
式(17)所示的模糊补偿器需要确定模糊逻辑控制器的参数向量$ {\psi} $, 该参数向量包括模糊化方法、模糊推理方法、解模糊方法和知识库等.由于参数向量$ {\psi} $里面的参数相互作用影响输出控制量, 所以实际工业过程的模糊控制器要满足控制性能并非容易得到, 需要大量的时间和精力调整设计参数.基于模糊系统理论, 参数$ {\psi} $可写成[31]:
$$ \begin{equation} \psi = [k_h, k_g, k_u;a_h, b_h, c_h;a_g, b_g, c_g;a_u, b_u, c_u] \end{equation} $$ (19) 其中, $ {k} $表示模糊控制的比例(尺度)因子, $ {a} $、$ {b} $和$ {c} $表示三角形隶属度函数的参数集, 下标$ {h} $、$ {g} $和$ {u} $分别表示组分含量误差、组分含量变化差和萃取量.
为实现对萃取量和洗涤量预设定值的补偿, 组分含量误差和组分含量变化差须模糊化成语义输入量, 经模糊推理得到的语义输出量须解模糊成实际补偿萃取量和洗涤量.假定组分含量误差的论域$ {e_s} $为$ [-e_{ \rm{smax}}, e_{ \rm{smax}}]$, 组分含量变化差$ {\triangle e_s} $的论域为 $ [-\triangle e_{ \rm{smax}}, \triangle e_{ \rm{smax}}]$, 补偿萃取量$ {\triangle v_s} $的论域为$ [-\triangle e_{ \rm{wmax}}, \triangle e_{ \rm{wmax}}]$. 语义变量 $ {E_s} $的论域为$ {-n, \cdots, 0, \cdots, n} $;语义变量$ {\triangle E_s} $的论域为$ {-m, \cdots, 0, \cdots, m-1, m} $; 语义变量$ {\triangle V_s} $ 的论域为$ {-l, \cdots, 0, \cdots, l-1, l} $ .因此, 比例因子表示为:
$$ \begin{equation} k_g = \frac{n}{e_{ \rm{smax}}}, k_h = \frac{m}{\triangle e_{ \rm{smax}}}, k_u = \frac{\triangle v_{ \rm{smax}}}{l} \end{equation} $$ (20) $ {E_s} $和$ {\triangle E_s} $的论域定义七个模糊集为: "NB", "NM", "NS", "ZE", "PS", "PM", "PB". $ {\triangle V_s} $的论域定义七个模糊集为: "NL", "NB", "NM", "NS", "ZE ", "PS ", "PM ", "PB ", "PL".正如图 5(a)所示, 三角形隶属度函数主要有三个顶点参数$ {a} $、$ {b} $、$ {c} $确定.当两个相邻的隶属度函数确定后, 其交点$ {\lambda} $即确定.在一般情况下, 交点$ {\lambda} $ 应该位于两个隶属度函数中心位置, 能够对输入量快速响应及输入量小范围内变化精确响应.组分含量误差、组分含量变化差和萃取剂补偿量的隶属度函数如图 5(b)、5(c)和(d)所示.
图 5 组分含量误差、组分含量变化差和萃取剂补偿量的隶属度函数Fig. 5 Membership functions of component content, change error of component content and compensator of the flow rate of the extractant根据专家经验和领域知识, 模糊规则表如表 1所示, 利用下面的语义控制规则构建模糊规则:
表 1 语义规则表Table 1 Semantic rules tableNB NM NS ZO PS PM PB \hline NB PL PL PB PM PM PS ZO NM PL PB PM PS PS ZO NS NS PB PM PS PS ZO NS NM ZO PM PM PS ZO NS NM NM PS PM PS ZO NS NS NM NB PM PS ZO NS NS NM NB NL PB ZO NS NM NM NB NL NL $ {R_i} $:如果$ {E_s} $为$ {\Gamma_i(E_s)} $和$ {\triangle E_s} $为$ {\Gamma_i(\triangle E_s)} $则$ {\triangle V_s} $为 $ {\Gamma_i(\triangle V_s)} $.
其中, $ {R_i} $表示$ {{\rm if}\cdots {\rm then}\cdots} $规则, $ \Gamma_i(\cdot)\in $ $ \{{\rm NL, NB, NM, NS, ZO, PS, PM, PB, PL}\} $. $ {NL} $、$ {NB} $等代码为模糊简写符号. $ {E_s} $、$ {\triangle E_s} $ 和$ {\triangle V_s} $ 分别表示组分含量误差、组分含量变化差和萃取量.
由于模糊推理的输出结果为一模糊集, 反映了模糊语义输出变量论域各元素隶属度大小的组合, 为了能够得到萃取剂补偿量的精确答案, 使用重心法解模糊:
$$ \begin{equation} \triangle v_s = \frac{\sum\limits_{i = 1}^n(\Gamma_i(\triangle v_s)\cdot\mu_v(\triangle v_s))}{\sum\limits_{i = 1}^n\mu_v(\triangle v_s)} \end{equation} $$ (21) 其中, $ {n} $指输出论域元素的总数, $ {\Gamma_i(\triangle v_s)} $表示输出论域的元素, 权系数$ {\mu_v(\triangle v_s)} $表示相应的隶属度函数.需要注意的是, $ {\triangle v_s} $需要乘以比例因子$ {k_u} $才能施加于预设定值.
4. 试验结果与分析
为了验证基于LS-SVM的组分含量软测量模型, 以某公司CePr/Nd萃取分离生产过程为对象, 在CePr/Nd萃取生产现场采集350份混合溶液样品, 287份作为训练样本, 63 份作为测试样本.溶液样本经机器视觉和化验两个基本预处理过程, 其提取出混合溶液图像的H、S颜色特征分量一阶矩作为软测量模型的输入变量, 化验后的CePr/Nd组分含量作为模型的输出变量.为了消除变量间由于数量级差异带来的影响, 将输入/输出样本组成的数据集进行归一化处理.在案例推理模型中, 案例阈值设为0.93, $ {\triangle_i} $设为2, 遗忘因子$ {\beta} $设为0.1, $ {\varsigma} $设为2.其案例推理权重属性通过学习策略计算分别为{0.12, 0.11, 0.21, 0.21, 0.11, 0.12, 0.12}. 在LS-SVM 模型中, 通过粒子群优化算法确定核宽度$ {\sigma} $ 为10.37, 惩罚系数(核参数) $ {\gamma} $为0.53, 287组样本数据集训练LS-SVM 模型, 利用63 组测试样本在已经训练好的模型上进行测试, 并与人工化验得到的63组样本所对应的组分含量化验值进行对比分析, 结果如图 6所示.结果表明该软测量模型基本满足要求, 为了说明该方法的有效性, 与RBF、SVM方法比较, 采用均方根误差(反映测量数据偏离真实值的程度)和均方差(反映一个数据集的离散程度)作为评价指标, 计算公式分别为: $ {{\rm RMSE} = \sqrt{\frac{1}{n}\sum\nolimits_{i = 1}^n(\hat{y_i}-y_i)^2}} $ 和 $ {{\rm MSE} = \sqrt{\frac{1}{n}\sum\nolimits_{i = 1}^n(y_i-\bar{y})^2}} $. 结果如表 2所示.本文采用的LS-SVM相比较于RBF和SVM方法效果更好.
图 6 基于溶液颜色的组分含量软测量与化验值比较Fig. 6 Component content by soft sensing based on color feature of rare earth solution and lab test表 2 不同方法建模结果的性能比较Table 2 Performance comparison of different modelsNd (%) CePr (%) $ {\rm Method} $ $ {\rm RMSE} $ $ {\rm MSE} $ $ {\rm RMSE} $ $ {\rm MSE} $ $ {\rm RBF} $ 0.5829 0.623 0.6243 0.6109 $ {\rm SVM} $ 0.6021 0.528 0.5820 0.652 $ {\rm LSSVM} $ 0.5012 0.4891 0.5391 0.509 模糊药剂量补偿模块主要确定特征参数$ {\psi} $的值, 即$ \psi = [k_h, k_g, k_u; a_h, b_h, c_h; a_g, b_g, c_g; $ $ a_u, b_u, c_u] $.根据工艺试验, Nd组分含量误差的论域为$ [-3, 3] $, 其预定值为0, 因此$ \triangle h $的论域为 $ [-3, 3] $, 则$ {k_h = 3/6 = 0.5} $. Nd组分含量变化率的论域为$ [-0.18, 0.18], $其预定值为0, 因此$ {\triangle g} $的论域为$ [-0.18, 0.18] $, 则$ {k_g = 0.18/6 = 0.03} $.萃取量范围为 [3ml/min, 5ml/min] 且其预定值为4ml/min, 则$ {\triangle u} $的论域[$ -\rm{ml}/min, 1ml/min]$, 则$ {k_u = 8/1 = 8} $. $ {\triangle h} $, $ {\triangle g} $和$ {\triangle u} $隶属度函数的特征参数如表 3所示.工业现场工艺实验可知水出口分数$ {f_b' = 0.9298} $.
表 3 使用特征参数的隶属度函数Table 3 Membership functions of the fuzzy logic controller using characteristic parametersNd组分含量误差 Nd组分含量变化率 萃取补偿量 NO. $ {a_h} $ $ {b_h} $ $ {c_h} $ $ {a_g} $ $ {b_g} $ $ {c_g} $ $ {a_u} $ $ {b_u} $ $ {c_u} $ 1 -8 -6 -4 -8 -6 -4 -10 -8 -6 2 -6 -4 -1.5 -6 -4 -1.5 -8 -6 -4 3 -4 -1.5 0 -4 -1.5 0 -6 -4 -1.5 4 -1.5 0 1.5 -1.5 0 1.5 -1.5 0 1.5 5 0 1.5 4 0 1.5 4 -4 -1.5 0 6 1.5 4 6 1.5 4 6 0 1.5 4 7 4 6 8 4 6 8 1, 5 4 6 8 $ {\times} $ $ {\times} $ $ {\times} $ $ {\times} $ $ {\times} $ $ {\times} $ 4 6 8 9 $ {\times} $ $ {\times} $ $ {\times} $ $ {\times} $ $ {\times} $ $ {\times} $ 6 8 10 采用人工方法、单独采用案例推理预设定模型与本文方法的控制效果相比较如何?为此, 结合图 1所示的铈镨/钕稀土萃取过程, 将图 2所提出的本文方法与人工设定方法、基于案例推理的单模型方法进行对比试验.三组萃取工艺生产流程来自于同一料液, 一组生产流程采用本文的智能设定方法; 另一组萃取生产流程采用人工设定方法; 第三组采用基于案例推理的单模型设定方法.三组萃取生产过程的料液相同, 萃取生产过程条件相同.每隔2小时记录萃取量和洗涤量、图像分析的组分含量及其对应的离线化验的组分含量, 各得到60组运行数据, 统计结果如图 7所示.由于图像采集安装在萃取段第20级, 在该级萃取槽中镨的组分含量应该在[26, 30]范围内, CePr的组分含量在[70, 74]范围内.
图 7 人工方法、单模型方法与本文方法的组分含量Fig. 7 Component content obtained by manual method、CBR based method and the proposed method图 7方法1采用本文提出智能设定方法对其设定, 方法2表示人工方法设定, 方法3表示仅采用基于案例推理的单模型设定方法进行设定.图 8为三种方法的药剂量变化情况.图 7和图 8反映了组分含量的变化及相应的萃取剂和洗涤剂流量变化情况.在61个样本点里, 当组分含量变化时, 其对应的萃取剂和洗涤剂流量也就相应地变化, 并反映到了下一个组分含量上面.由图 7可看出, 方法2的人工调节随意性较大, 调节时喜欢采用一步到位法, 导致组分含量波动较大.方法3的组分含量波动较大, 并且不满足要求的数据点较多, 其原因在于通过案例推理模型计算萃取量, 但没有利用反馈补偿机制.采用方法1的组分含量波动较小, 满足要求的数据点较多.通过计算, 单独采用预设定模型时精矿品位合格率为73.78%, 采用人工方法的合格率为75.4%, 而采用本文方法时的合格率为83.5%.这说明经过智能动态补偿模型的补偿作用, 所提方法克服了工况变化带来的扰动, 弥补了人工方法、基于案例推理的单模型设定方法的不足.
图 8 人工方法、案例推理方法与本文方法的萃取量Fig. 8 Flow rate of the extractant and the detergent consumed by manual method、CBR based method and the proposed method在稀土萃取工业生产领域, 除了生产指标, 萃取量和洗涤量消耗也是萃取生产厂家最为关注的指标之一, 与工厂绩效密切相关.为评估本文方法的有效性, 比较人工设定、单模型方法及智能优化设定的生产指标和萃取量和洗涤量消耗量等.图 8显示本文方法的萃取量和洗涤量波动比另外两种方法要小, 说明药剂量控制相对比较平缓; 而且, 如表 4所示, 本文方法的萃取量和洗涤量消耗比另外两种方法要少.结果表明, 比起另外两种方法, 本文方法的三个模型为紧密联系的有机整体, 能够实现更好的萃取剂和洗涤剂流量控制, 并达到了降低药剂量消耗的目的.
表 4 萃取量和洗涤量消耗统计表(升)Table 4 Sum of the extractant and detergent comsumend by three methods (L)人工方法 案例推理方法 本文方法 洗涤量 82.67 82.29 81.54 萃取量 28.63 28.26 27.54 5. 结论
萃取生产过程具有机理复杂、非线性、时滞大等特点, 难以建立精确的萃取量和洗涤量优化控制模型, 当前稀土生产企业采用主观性强的人工设定方式, 易造成工艺指标波动较大.本文根据稀土溶液颜色与组分含量密切相关的特点, 提出了一种基于案例推理静态设定和机器视觉动态补偿的萃取量和洗涤量优化控制方法.首先根据案例推理确定萃取剂/洗涤剂预设定值, 然后根据软测量组分含量和目标组分含量的差值采用模糊推理方法智能补偿萃取量预设定值, 实现了萃取生产过程萃取溶液组分含量的优化控制, 试验表明该方法能够实现较好的生产指标及经济效益.
-
图 3 不同集合大小的中、英文数据性能效果对比
Fig. 3 Comparison of performance enhancement in Chinese and English data with different set sizes
图 4 超参数以及训练集噪声比例的影响分析
Fig. 4 Analysis of the impact on hyper-parameters and training set noise percentage
图 5 不同优化器和生成策略下集合生成效果
Fig. 5 Model performances with different optimizers and set generation policy
图 6 加入成对字向量之前和之后词表示可视化对比
Fig. 6 Visualization of word distributed representations with or without pair-wise character vector embeddings
表 1 数据集统计信息
Table 1 Dataset statistics
数据集 Wiki NYT PubMed CILIN 文档 100000 118664 1554433 — 句子 6839331 3002123 15051203 — 训练集单词 8731 2600 72627 75614 训练集同义词集合 4359 1273 28600 17317 测试集单词 891 389 1743 2237 测试集同义词集合 256 117 250 500 
下载: 导出CSV
表 2 超参数设置
Table 2 Hyper-parameter settings
数据集 Wiki NYT PubMed CILIN 词向量维度$d_w$ 50 50 50 300 词级别表示维度$d_p$ 250 250 250 250 集合表示隐单元维度$d'_s$ 500 500 500 500 学习率 0.0001 0.0001 0.0003 0.0003 训练轮数 800 500 50 50 负样本采样数量$K$ 50 20 50 70 批大小 64 32 32 32 随机失活比例 0.5 0.3 0.3 0.3 字向量维度$d_c$ 50 50 50 150 卷积窗口大小$w_c$ 5 5 5 5 字级别表示维度$d_v$ 24 24 24 50 辅助判别器损失比率$\alpha$ 0.15 0.15 0.15 0.15
下载: 导出CSV
表 3 数据集噪声比例
Table 3 Noise data percentage on datasets
统计类别 Wiki PubMed 训练集 测试集 训练集 测试集 原始词对 4372 635 44027 1493 噪声样本对 875 169 2740 70 遗漏样本对 380 182 12851 331 干净词对 3877 648 54138 1754 原始集合数量 4359 256 28600 250 干净集合数量 3327 228 25761 259
下载: 导出CSV
表 4 实验结果(%)
Table 4 Main experimental results (%)
方法 Wiki NYT PubMed ARI (± std) FMI (± std) NMI (± std) ARI (± std) FMI (± std) NMI (± std) ARI (± std) FMI (± std) NMI (± std) K-means* 34.35
(± 1.06)35.47
(± 0.96)86.98
(± 0.27)28.87
(± 1.98)30.85
(± 1.76)83.71
(± 0.57)48.68
(± 1.93)49.86
(± 1.79)88.08
(± 0.45)Louvain* 42.25 (± 0) 46.48 (± 0) 92.58 (± 0) 21.83 (± 0) 30.58 (± 0) 90.13 (± 0) 46.58 (± 0) 52.76 (± 0) 90.46 (± 0) SetExpan + Louvain* 44.78
(± 0.28)44.95
(± 0.28)92.12
(± 0.02)43.92
(± 0.90)44.31
(± 0.93)90.34
(± 0.11)58.91
(± 0.08)61.87
(± 0.07)92.23
(± 0.15)约束K-means* 38.80
(± 0.51)39.96
(± 0.49)90.31
(± 0.15)33.80
(± 1.94)34.57
(± 2.06)87.92
(± 0.30)49.12
(± 0.85)51.92
(± 0.83)89.91
(± 0.15)SVM + Louvain* 6.03
(±0.73)7.75
(± 0.81)25.43
(± 0.13)3.64
(± 0.42)5.10
(± 0.39)21.02
(± 0.27)7.76
(± 0.96)8.79
(± 1.03)31.08
(± 0.34)L2C* 12.87
(± 0.22)19.90
(± 0.24)73.47
(± 0.29)12.71
(± 0.89)16.66
(± 0.68)70.23
(± 1.20)— — — SynSetMine* 56.43
(± 1.31)57.10
(± 1.17)93.04
(± 0.23)44.91
(± 2.16)46.37
(± 1.92)90.62
(± 1.53)74.33
(± 0.66)74.45
(± 0.64)94.90
(± 0.97)SynSetMine 54.52
(± 1.23)54.87
(± 1.08)92.80
(± 0.20)47.33
(± 1.84)47.96
(± 2.07)90.16
(± 1.29)71.61
(± 0.66)72.20
(± 0.60)94.38
(± 0.60)NL-P2V 63.01
(± 1.06)63.54
(± 0.98)93.92
(± 0.12)50.72
(± 1.63)52.88
(± 2.10)91.66
(± 1.02)75.54
(± 0.88)75.65
(± 0.56)94.98
(± 0.49)NL-Word-P2V 61.31
(± 0.94)61.18
(± 0.76)93.70
(± 0.41)49.13
(± 1.07)51.69
(± 1.71)91.21
(± 0.45)74.67
(± 0.96)74.58
(± 0.50)95.02
(± 0.46)NL-P2V w/o P2V 56.09
(± 1.01)56.34
(± 0.83)93.13
(± 0.31)49.04
(± 1.43)50.02
(± 1.79)91.07
(± 0.57)73.48
(± 0.92)73.49
(± 0.47)94.47
(± 0.56)
下载: 导出CSV
表 5 CILIN实验结果(%)
Table 5 Experimental results on CILIN (%)
方法 训练噪声比例 ARI FMI NMI SynSetMine 0 17.07 17.97 71.94 NL-P2V 1 20.26 20.73 73.97 SynSetMine 2 17.02 17.57 73.34 NL-P2V 3 17.01 17.96 73.36 SynSetMine 3 14.28 15.80 75.00 NL-P2V 5 16.24 16.91 74.01
下载: 导出CSV
表 6 效率对比
Table 6 Efficiency comparison
方法 训练 集合预测 Wiki
(h)NYT PubMed
(h)Wiki
(s)NYT
(s)PubMed
(s)K-means — — — 1.82 0.88 2.95 Louvain — — — 3.94 20.59 74.60 SynSetMine 7.7 77 min 3.6 3.57 1.24 19.11 NL-P2V w/o P2V 8.2 80 min 4.9 3.60 1.18 20.58 NL-P2V 18.1 2.9 h 7.1 6.47 2.69 27.04
下载: 导出CSV
-
[1] Azad H K, Deepak A. Query expansion techniques for information retrieval: a survey. Information Processing & Management, 2019, 56(5): 1698-1735. [2] Gui T, Ye J, Zhang Q, Zhou Y, Gong Y, Huang X. Leveraging document-level label consistency for named entity recognition. In: Proceedings of the 29th International Joint Conference on Artificial Intelligence. Virtual Event: 2020. 3976−3982 [3] Zhang H, Cai J, Xu J, Wang J. Complex question decomposition for semantic parsing. In: Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Florence, Italy: ACL, 2019. 4477−4486 [4] 饶子昀, 张毅, 刘俊涛, 曹万华. 应用知识图谱的推荐方法与系统. 自动化学报, 2020, 46(x): 1-16.Rao Zi-Yun, Zhang Yi, Liu Jun-Tao, Cao Wan-Hua. Recommendation methods and systems using knowledge graph. Acta Automatica Sinica, 2020, 46(x): 1-16. [5] 侯丽微, 胡珀, 曹雯琳. 主题关键词信息融合的中文生成式自动摘要研究. 自动化学报, 2019, 45(3): 530-539.HOU Li-Wei, HU Po, CAO Wen-Lin. Automatic Chinese Abstractive Summarization With Topical Keywords Fusion. ACTA AUTOMATICA SINICA, 2019, 45(3): 530-539. [6] Qu M, Ren X, Han J. Automatic synonym discovery with knowledge bases. In: Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Halifax, Canada: ACM, 2017. 997−1005 [7] Wang Z, Yue X, Moosavinasab S, Huang Y, Lin S, Sun H. SurfCon: Synonym discovery on privacy-aware clinical data. In: Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. Anchorage, USA: ACM, 2019. 1578−1586 [8] Li C, Zhang M, Bendersky M, Deng H, Metzler D, Najork M. Multi-view embedding-based synonyms for email search. In: Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. Paris, France: ACM. 575−584 [9] Shen J, Lyu R, Ren X, Vanni M, Sadler B, Han J. Mining entity synonyms with efficient neural set generation. In: Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Honolulu, Hawaii, USA: AAAI, 2019. 249−256 [10] Song H, Kim M, Park D, Lee J. Learning from noisy labels with deep neural networks: A survey [Online], available: https://arxiv.org/abs/2007.08199, July 22, 2020 [11] Arazo E, Ortego D, Albert P, O＇Connor N E, McGuinness K. Unsupervised label noise modeling and loss correction. In: Proceedings of the 36th International Conference on Machine Learning. Long Beach, USA: PMLR, 2019. 312−321 [12] Zhang H, Long D, Xu G, Zhu M, Xie P, Huang F, et al. Learning with noise: Improving distantly-supervised fine-grained entity typing via automatic relabeling. In: Proceedings of the 29th International Joint Conference on Artificial Intelligence. Virtual Event: IJCAI, 2020. 3808−3815 [13] Chen B, Gu X, Hu Y, Tang S, Hu G, Zhuang Y, et al. Improving distantly-supervised entity typing with compact latent space clustering. In: Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Minneapolis, USA: ACL, 2019. 2862−2872 [14] Jiang L, Huang D, Liu M, Yang W. Beyond synthetic noise: Deep learning on controlled noisy labels. In: Proceedings of the 37th International Conference on Machine Learning. Virtual Event: PMLR, 2020. 4804−4815 [15] Mikolov T, Sutskever I, Chen K, Corrado G S, Dean J. Distributed representations of words and phrases and their compositionality. In: Proceedings of the 27th Annual Conference on Neural Information Processing Systems. Lake Tahoe, USA: NIPS, 2013. 3111−3119 [16] 李小涛, 游树娟, 陈维. 一种基于词义向量模型的词语语义相似度算法. 自动化学报, 2020, 46(8): 1654-1669.Li Xiao-Tao, You Shu-Juan, Chen Wai. An algorithm of semantic similarity between words based on word single-meaning embedding model. Acta Automatica Sinica, 2020, 46(8): 1654-1669. [17] Fei H, Tan S, Li P. Hierarchical multi-task word embedding learning for synonym prediction. In: Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. Anchorage, USA: ACM, 2019. 834−842 [18] Roth M, Upadhyay S. Combining discourse markers and cross-lingual embeddings for synonym-antonym classification. In: Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Minneapolis, USA: ACL, 2019. 3899−3905 [19] Miller G. Wordnet: a lexical database for english. Communications of the ACM, 1995, 38(11): 39-41. doi: 10.1145/219717.219748 [20] Zaheer M, Kottur S, Ravanbakhsh S, Póczos B, Salakhutdinov R, Smola A J. Deep sets. In: Proceedings of the Annual Conference on Neural Information Processing Systems. Long Beach, USA: NIPS, 2017. 3391−3401 [21] Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks. In: Proceedings of the 5th International Conference on Learning Representations. Toulon, France: ICLR, 2017. [22] Hazem A, Daille B. Word embedding approach for synonym extraction of multi-word terms. In: Proceedings of the 11th International Conference on Language Resources and Evaluation. Miyazaki, Japan: ELRA, 2018. 297−303 [23] Devlin J, Chang M W, Lee K, Toutanova K. Bert: Pre-training of deep bidirectional transformers for language understanding. In: Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Minneapolis, USA: ACL, 2019. 4171−4186 [24] Banar N, Daelemans W, Kestemont M. Character-level transformer-based neural machine translation. In: Proceedings of the 4th International Conference on Natural Language Processing and Information Retrieval. Seoul, South Korea: ACM, 2020. 149−156 [25] Miyamoto Y, Cho K. Gated word-character recurrent language model. In: Proceedings of the Conference on Empirical Methods in Natural Language Processing. Austin, USA: ACL, 2016. 1992−1997 [26] Lukovnikov D, Fischer A, Lehmann J, Auer S. Neural network-based question answering over knowledge graphs on word and character level. In: Proceedings of the 26th International Conference on World Wide Web. Perth, Australia: ACM, 2017. 1211−1220 [27] Joshi M, Choi E, Levy O, Weld D S, Zettlemoyer L. Pair2Vec: Compositional word-pair embeddings for cross-sentence inference. In: Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Minneapolis, USA: ACL, 2019. 3597−3608 [28] Pereyra G, Tucker G, Chorowski J, Kaiser L, Hinton G E. Regularizing neural networks by penalizing confident output distributions. In: Proceedings of the 5th International Conference on Learning Representations. Toulon, France: ICLR, 2017. [29] Nguyen X V, Epps J, Bailey J. Information theoretic measures for clusterings comparison: Variants, properties, normalization and correction for chance. The Journal of Machine Learning Research, 2010, 11: 2837-2854. [30] Blondel V, Guillaume J, Lambiotte R, Lefebvre E. Fast unfolding of communities in large networks. Journal of Statistical Mechanics: Theory and Experiment, 2008, 2008(10): 10008. doi: 10.1088/1742-5468/2008/10/P10008 [31] Shen J, Wu Z, Lei D, Shang J, Ren X, Han J. Setexpan: Corpus-based set expansion via context feature selection and rank ensemble. Machine Learning and Knowledge Discovery in Databases, 2017. 1: 288-304. [32] Hsu Y, Lv Z, Kira Z. Learning to cluster in order to transfer across domains and tasks. In: Proceedings of the 6th International Conference on Learning Representations. Vancouver, Canada: ICLR, 2018. [33] Xu P, Barbosa D. Neural fine-grained entity type classification with hierarchy-aware loss. In: Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. New Orleans, Louisiana, USA: ACL, 2018. 16−25 [34] van der Maaten L. Accelerating t-sne using tree-based algorithms. The Journal of Machine Learning Research, 2014, 15(1): 3221-3245. [35] He Y, Chakrabarti K, Cheng T, Tylenda T. Automatic discovery of attribute synonyms using query logs and table corpora. In: Proceedings of the 25th International Conference on World Wide Web. Montreal, Canada: ACM, 2016. 1429−1439 [36] Liu X, Wang L, Zhang J, Yin J, Liu H. Global and local structure preservation for feature selection. IEEE Transactions on Neural Networks and Learning Systems, 2013, 25(6): 1083-1095. [37] Grigonyte G, Cordeiro J, Dias G, Moraliyski R, Brazdil P. Paraphrase alignment for synonym evidence discovery. In: Proceedings of the 23rd International Conference on Computational Linguistics. Beijing, China: ACL, 2010. 403−411 [38] 王亚珅, 黄河燕, 冯冲, 周强. 基于注意力机制的概念化句嵌入研究. 自动化学报, 2020, 46(7): 1390-1400.WANG Ya-Shen, HUANG He-Yan, FENG Chong, ZHOU Qiang. Conceptual Sentence Embeddings Based on Attention Mechanism. ACTA AUTOMATICA SINICA, 2020, 46(7): 1390-1400. [39] Ustalov D, Panchenko A, Biemann C. Automatic induction of synsets from a graph of synonyms. In: Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics. Vancouver, Canada: ACL, 2017. 1579−1590 [40] Tang C, Liu X, Li M, Wang P, Chen J, Wang L, Li W. Robust unsupervised feature selection via dual self-representation and manifold regularization. Knowledge-based Systems, 2018. 145: 109-120. doi: 10.1016/j.knosys.2018.01.009 [41] Wang X, Hua Y, Kodirov E, Robertson N M. ProSelfLC: Progressive self label correction for training robust deep neural networks. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Virtual Event: CVPR, 2021. [42] Lin Y, Shen S, Liu Z, Luan H, Sun M. Neural relation extraction with selective attention over instances. In: Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. Berlin, Germany: ACL, 2016. 2124−2133 -
下载:
计量
- 文章访问数: 483
- HTML全文浏览量: 115
- PDF下载量: 165
- 被引次数: 0
