Robust Cross-lingual Dialogue System Based on Multi-granularity Adversarial Training
-
摘要:
跨语言对话系统是当前国际研究的热点和难点. 在实际的应用系统搭建中, 通常需要翻译引擎作为不同语言之间对话的桥梁. 然而, 翻译引擎往往是基于不同训练样本构建的, 无论是所在领域, 还是擅长处理语言的特性, 均与对话系统的实际应用需求存在较大的差异, 从而导致整个对话系统的鲁棒性差、响应性能低. 因此, 如何增强跨语言对话系统的鲁棒性对于提升其实用性具有重要的意义. 提出了一种基于多粒度对抗训练的鲁棒跨语言对话系统构建方法. 该方法首先面向机器翻译构建多粒度噪声数据, 分别在词汇、短语和句子层面生成相应的对抗样本, 之后利用多粒度噪声数据和干净数据进行对抗训练, 从而更新对话系统的参数, 进而指导对话系统学习噪声无关的隐层向量表示, 最终达到提升跨语言对话系统性能的目的. 在公开对话数据集上对两种语言的实验表明, 所提出的方法能够显著提升跨语言对话系统的性能, 尤其提升跨语言对话系统的鲁棒性.
Abstract:Cross-lingual dialogue system is attractive and also very difficult for current international research. In real-word system implementations, machine translation engines are often needed to serve as a bridge for different languages. However, machine translation engines are often built based on different training data. No matter the field they focus on, or the characteristics of the language that they are expert at processing, there still remains huge gaps to the demands of the dialogue system, resulting in poor robustness and low response performance of the entire dialogue system. Therefore, how to improve the robustness of the cross-lingual dialogue system has very important realistic significance for boosting its practicability. This paper proposes a robust cross-lingual dialogue system building method based on multi-granularity adversarial training. This method firstly constructs multi-granularity noise data oriented to machine translation, generating corresponding adversarial samples at the word, phrase, and sentence level. Then, the adversarial training over multi-granularity noise data and clean data is adopted to update the parameters of the dialogue system, guiding the dialogue system to learn noise-independent hidden representations, so as to improve the performance of the cross-lingual dialogue system. Experimental results on publicly available dialogue datasets and two language pairs show that the proposed method can significantly improve the performance of the cross-lingual dialogue system, especially the robustness of the cross-lingual dialogue system.
-
Key words:
- Multi-granularity noise /
- adversarial training /
- robust /
- cross-lingual /
- dialogue system
-
人工交通系统是利用人工社会的基本理论与方法, 通过抽取交通环境中单个个体或局部交通行为的基本属性或动态规律, 基于Agent建模技术, 通过交通系统个体或局部Agent之间相互作用, "涌现(Emergence)"出复杂的交通现象, 这是一个"自下而上"、基于"简单一致原则"人工"培育"出来的交通系统[1-3].人工交通系统可把"仿真"结果作为现实的一个替代版本, 而把实际系统也作为可能出现的现实中的一种, 与仿真结果等价[4-6].
霍兰指出: "涌现现象是以相互作用为中心的, 它比单个行为的简单累加要复杂得多"[7].对代理、环境及规则上描述的细微差别, 在涌现过程中, 就可能出现"差之毫厘, 谬以千里"的结果, 从而仿真结果失去了对现实的指导意义, 甚至给出完全错误的指导方案.正如社会学家Helmreich所批评的一样:人工社会的模型反映的是其创造者的潜意识中的文化假设和偏见[8].
如何避免这一问题?在人工交通的建模及平行系统的研究中, 需要引入严密的量化评估体系, 建立系统"可信"或"可用"的数学描述, 并从多维度、多粒度的数据层面进行量化评估, 从理论上保证人工交通系统与现实交通系统在统计特性上、在动态演化规律上、在行为特性上的一致性.本文针对人工交通系统, 基于人工交通系统基本体系结构, 将二型模糊集合方法引入人工交通系统可信度评估中, 建立了一种适用于人工交通系统的可信度评估理论体系与具体评估方法.并利用一个"人工公交交通系统"模型, 进行了可信度评估的数据验证.
本文结构安排如下.第1节介绍了可信度研究的意义, 对可信度研究方法和成果进行了综述, 并提出了本文的可信度评估框架.第2节为可信度评估使用的核心算法介绍.第3节仿真验证.最后给出结论.
1. 可信度研究综述及评估体系
可信度定义:对于一个事物或现象为真的相信程度.可信度的量化值一般在[0, 1]之间, 值越大, 表示该事物越"真"[9].评估复杂仿真系统可信度的过程称为复杂仿真系统的可信度评估.通过开展复杂仿真系统的可信度评估研究和应用, 可以提高综合仿真系统的仿真结果的正确性, 降低其应用的风险保证仿真系统的质量.可信度评估在交通仿真、网络管理、信息管理、远程通讯以及导弹系统等各个领域都有广泛的应用[10-13].
文献[12]针对微观交通仿真模型开发者和使用者的不同需求, 研究了交通仿真模型可信度评价内容及其与仿真模型校正、校核、验证和确认的关系; 分析了三种可用于微观交通仿真模型可信度评价的方法:层次分析法、相似度法以及模糊综合评判.文献[14]使用模糊三角函数与层次分析法及网络层次分析法综合评价列车控制仿真系统的可信度, 获取定量的可信度结果.文献[15]在对当前城市交通导航系统的分析中发现, 许多共享交互的弱点会损害系统的可信度.论文提出了改进的交互机制, 以提高导航系统的可信度.在比较用户的研究中评估了所提议的机制, 并给出了确认其可信度的积极影响的结果.
从应用上分类, 可信度评估方法主要有仿真结果评估与VV & A (Verification, validation and accreditation)两种模式[16-18].基于仿真结果验证的方法主要是应用定性或定量评估方法, 并结合统计学的相关知识, 通过仿真结果与实际或预想结果的比较, 得出仿真可信度评价[16], 是交通仿真系统中主要使用的可信度评估模式.人工交通概念提出以来, 关于其建模方法及应用的研究成果较多, 但可可信度评估的研究相对较少[19]. Li等[20]在前期研究中, 建立了基于二型模糊集合方法的人工交通系统可信度评估体系.
因为一般现代综合评估方法存在: 1)因评价专家主观上的随机性和不一致性导致问题描述的混乱; 2)隶属度函数及权重难以精确确定; 3)简单的评价结果无法精确地反映评价结果与评价对象内在因素的多维关系等问题[21-22].同时考虑到人工交通系统不依赖精确数学模型、不确定性因素多、输入输出数据随机性强等特点, 本文应用二型模糊集理论, 利用其较强的处理不确定性及随机性的能力来对人工交通系统的可信度做具体的评估研究.建立了以区间二型模糊集合理论为核心数据处理算法的评估方法, 如图 1所示.评估方法的核心由三部分构成:数据处理、区间二型模糊集、Jaccard算法.
图 1 基于二型模糊集合理论的人工交通系统评估过程Fig. 1 Artificial traffic system assessment process based on type-2 fuzzy set theory该方法应用可信度概念, 描述将人工交通系统视为交通系统的现实版本的真实程度, 通过评估人工交通系统和实际交通系统输出数据的统计一致性程度, 来评估人工交通系统的可信度.即在一致输入条件下, 输出的统计特性一致.具体思路描述如下:
1) 将来自于实际交通场景的大量数据进行前期处理, 考虑到交通系统的非严格重复的周期性、随机性和不确定性, 基于置信区间概念, 将其处理为区间化数据:同理, 将相应的人工交通系统的输出数据也做同样的处理.
2) 区间化数据表达符合对开放复杂系统的输出数据不确定性和波动性的描述, 在剔除了噪声数据的同时, 也完成了二型模糊集建模的输入数据准备.
3) 应用区间二型模糊集合算法, 将处理后的区间输入进行深度加工, 得到更准确刻画系统特性的两个交通系统(实际交通系统和人工交通系统)的数据集合.
4) 基于Jaccard算法对二型模糊集输出数据集合进行一致性比较, 通过一致性结果数据, 评价人工交通系统的可信度.
上述评价方法, 有效地实现了基于Agent建模的复杂系统评估问题.该方法以系统数据为驱动, 不依赖于数学模型, 同时通过数据的波动性描述系统的不确定性特征:应用了二型模糊集处理带有噪声及不确定性数据的优越性能, 保证二次数据的精准性.
2. 核心算法
2.1 区间二型模糊集合
Zadeh[23]在1975年提出了二型模糊集合的概念, 二型模糊集合是传统模糊集合(称为一型模糊集合)的拓展.二型模糊集合由于隶属度本身是不确定的, 可以对不确定的数据进行确定描述, 在处理带有噪声及不确定性数据方面具有优越的性能[24], 这使它用于处理不确定性强、随机性强的交通流数据成为可能. 2017年, 二型模糊集合理论得到了进一步的修正[25].
定义 1. 设${C}(I)$是由单位区间$I$的全体非空闭子集构成的一个集合.论域$X$上的一个二型模糊集合$\omega $定义为
$ \omega = \ \{ {{( {x, u, z} )} |}\forall x\in X, \forall u \in {L_x} \in {C}( {{2^I}}) , \nonumber\\ \ {z = \mu _\omega ^2( {x, u} ) \in I} \} $
(1) 其中, $x$为主变量, $u$为次变量, $z$为第3变量, ${L_x}$为主隶属度, 由一个多值映射定义而得, 表示为
$ \mu _\omega ^1:\Omega \to {C}\left( {{2^I}} \right)\\ $
(2) $ x\mapsto L_x $
(3) 即$\forall x\in X$, 存在${L_x} \in {C}({{2^I}}) $, 使得$\mu _\omega ^1 (x) = L_x$.
称$\mu _\omega ^1 (x)$为主隶属度函数, 设$\mu _\omega ^2 (x)$为次隶属度函数, 定义为
$ \mu _\omega ^2:\bigcup\limits_{x \in X } {x \times {L_x}} \to I\notag \\x\times u \mapsto z $
(4) 次隶属度函数可以看成是一个以$\bigcup_{x \in X } {x \times {L_x}}$为论域上的一型模糊集合的隶属函数, 该定义称为二型模糊集合的二段式定义.
定义 2. 二型模糊集合$\omega$的支集为在$X\times I$中使次隶属度大于0的全体元素构成的集合, 记为$Supp(\omega)$, 即
$ Supp(\omega)=\left\{( {u, x})|\mu _\omega ^2 (x, u) >0 \right\} $
(5) 若$\mu _\omega ^2$为一个连续函数, 则由连续函数的性质, 可记$CoS(\omega)$为支集$Supp(\omega)$的闭包(Closure of support), 表示为
$ CoS(\omega) = \overline{\left\{( {x, u})|\mu _\omega ^2 (x, u) >0 \right\}} $
(6) 如果对$\forall x \in X$, $\forall u \in L_x$, 都有$\mu^2_\omega(x, u)=1$, 则称$\omega$为一个区间二型模糊集合.
2.2 交通数据的区间化方法
城市交通环境因其开放性、不确定性和随机性较强, 导致交通数据具有不确定性和随机性特征, 但同时, 城市交通环境作为一个大惯性系统, 其数据的非严格重复性又使其具有较好的统计特征.
图 2以24小时交通流量数据为例, 刻画了多天交通流量的分布及区间化描述.在某一给定时刻, 区间的最大和最小值表明了该时刻交通流量可能的变化范围.
交通流量的区间化描述方式不仅能够给出交通流量丰富的分布信息, 并可以用构造内嵌一型模糊集合, 以作为二型模糊集的源数据.
本文引入置信区间的概念, 应用中心极限定理, 将交通流数据由点值数据转化为区间描述[26].
置信区间是指由样本统计量所构造的总体参数的估计区间:
设$\theta $是总体的一个参数, 该参数空间为$\Theta $, ${x_1}$, 是来自该总体的样本, $n$为样本量.对于给定的一个$\alpha$ $(0<\alpha<1)$, 若有两个统计量: ${\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\frown}$}}{\theta } _L}={\mathord{\buildrel{\lower3pt\hbox{}} \over\theta } _L}({x_1}, {x_2}, \cdots, {x_n})$和, 对任意的$\theta\in\Theta$, 有${P_\theta }({{\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\frown}$}}{\theta } }_L}\le\theta\le {{\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\frown}$}}{\theta } }_H})\ge 1 - \alpha $.称随机区间为$\theta $的置信水平为$1-\alpha $的置信区间.
构造未知参数$\theta $的置信区间最常用的方法是轴枢量法.考虑到对于非正态分布的随机序列总体, 一般难以求出其总体的轴枢量, 因此利用中心极限定理将其近似分布转化为正态分布, 从而求得参数的置信区间估计[27].
勒维-林德伯格定理如下:
设${x_1}, {x_2}, \cdots, {x_n}$为相互独立同分布的随机序列, 且$E\left({{x_i}} \right) = \mu $, $D\left({{x_i}} \right) = {\sigma ^2} > 0$, $i = 1, 2, 3, \cdots, $则服从正态分布, 即.
针对这样一个正态分布, 可按照式(7)构造轴枢量
$ G = G\left( {{x_1}, {x_2}, \cdots , {x_n}, \mu } \right) = \frac{{\bar x - \mu }}{{\frac{\sigma }{\sqrt n} }} \sim \rm N \left( {0, 1}\right) $
(7) 经过不等式变形, 方差${\sigma ^2}$已知条件下, 期望$\mu $的置信区间为
$ \left( {\bar x - {\mu _{\frac{\alpha }{2}}}\frac{\sigma }{{\sqrt n }}, \bar x + {u_{\frac{\alpha }{2}}}\frac{\sigma }{{\sqrt n }}} \right) $
(8) 这是一个以样本均值$\overline x $为中心, 半径为${\mu _{\frac{\alpha }{2}}}\frac{\sigma }{{\sqrt n }}$的对称区间.之所以取${\mu _{\frac{\alpha }{2}}}$, 是因为$\frac{\alpha }{2}$分位点很好地处理了置信区间区间可靠性和精度的关系.
2.3 基于Jaccard算法的集合相似性计算
Jaccard算法是由Jaccard在1908年提出的, 用于对两个集合的相似度进行比较[28].其中被广泛使用的参数为Jaccard相似系数(Jaccard similarity coefficient), 用于比较有限样本集之间的相似性与差异性, Jaccard相似系数越大, 样本相似度越高.
从20世纪初到现在, Jaccard算法已经在生物学、经济和社会研究领域中被广泛运用并取得了较好的效果. Bell等[29]在评估植物图像分割的子集匹配时采用了Jaccard算法, 对分割图像和地面实际图像这两个像素集合进行相似度的计算. Rinartha等[30]在文章搜索中运用Jaccard相似度对关键词的处理时间和搜索文章的结果精确性进行了比较分析.结果发现Jaccard相似性查询建议将产生更加准确的搜索结果.研究表明, Jaccard相似度的平均绝对误差(Mean absolute error, MAE)相较于皮尔逊相关系数法、对数似然值相似度和余弦相似度等误差较低, 且算法简单, 运算速度快.在通常情况下, Jaccard系数值越大, 样本相似度越高, 本文采用Wu等[31]提出的针对二型模糊集合Jaccard算法, 如式(9)所示.
$ s{m_J} \left( {\tilde A, \tilde B} \right) =\notag\\ {\frac{ \sum\limits_{i = 1}^N {\min ( {{{\bar \mu }_{\tilde A}}( {{x_i}} ), {{\bar \mu }_{\tilde B}}( {{x_i}} )} )}+ \sum\limits_{i = 1}^N {\min ( {{{\underline{\mu } }_{\tilde A}}( {{x_i}} ), {\underline{\mu } }_{\tilde B}( {{x_i}} )} )} }{ \sum\limits_{i = 1}^N {\max ( {{{\bar \mu }_{\tilde A}}( {{x_i}} ), {{\bar \mu }_{\tilde B}}( {{x_i}} )} )} + \sum\limits_{i = 1}^N {\max ( {{{\underline{\mu } }_{\tilde A}}( {{x_i}} ), {\underline{\mu } }_{\tilde B}( {{x_i}} )} )} }} $
(9) 3. 人工交通系统可信度评估实例验证
3.1 系统建模
本文选择北京海淀区某道路为典型建模场景进行可信度实验研究, 该路段双向2车道, 包含三个公交车站、两个定时控制的信号灯路口和3条公交线路, 全长约为1.4公里.
研究者以2015年3月至4月中旬的每周二、周三、周四共计六周18天, 在每一天的上午8点到下午8点进行数据调研, 以调研数据作为人工交通系统的数据来源.包括双方向车流量、车辆类型、多点车辆速度等.因为在该场景中, 有比较繁忙的公交线路, 公交线路的参与者又受到周边环境的影响, 具有复杂系统典型性数据特征.因此本文特别对参与公共交通运输的数据:包括上下车乘客数、公交车到、发站时间等也进行了数据调研, 完成了该典型交通场景的人工交通系统建模的数据准备.并选取随机性较强、对公共交通调度规划具有重要影响的乘客上车人数作为人工交通系统可信度评估参数, 进行可信度验证.该路段上三个公交车站在调研时段的乘客等车调研数据如表 1所示(实际系统).限于篇幅, 关于人工交通建模的研究内容将在另文进行阐述.
表 1 三个公交车站上车人数的实际调研数据和人工交通系统运行数据Table 1 The actual data and simulation data of people get on the three bus stops时段 实际系统第1站 仿真系统第1站 实际系统第2站 仿真系统第2站 仿真系统第3站 实际系统第3站 3:00 $\sim$ 3:05 9 13 8 15 4 5 3:06 $\sim$ 3:10 10 15 10 13 0 1 3:11 $\sim$ 3:15 14 9 5 8 3 3 3:16 $\sim$ 3:20 0 25 6 9 1 2 3:21 $\sim$ 3:25 29 20 16 0 6 3 3:26 $\sim$ 3:30 25 3 11 19 3 5 3:31 $\sim$ 3:35 15 17 5 6 4 8 3:36 $\sim$ 3:40 10 0 7 6 3 2 3:41 $\sim$ 3:45 15 9 8 0 5 1 3:46 $\sim$ 3:50 19 15 6 11 1 0 3:51 $\sim$ 3:55 9 21 10 9 4 4 3:56 $\sim$ 4:00 19 4 16 18 0 2 搭建的人工交通系统运行界面如图 3所示.根据实际调研数据, 在人工交通系统中设置该路段初始计划乘车人数为50人, 系统将这50个人随机分布在路段的不同地方, 然后各自判断自己离哪个公交车站更近, 从而选择自己的前进方向.多次运行人工交通系统, 得到三个车站等车乘客人数的仿真数据, 其均值也列入表 1 (仿真系统).
3.2 数据处理
为了对数据进行统一处理, 把每个参数的输入数据除以一个比例因子进行"归十化"到区间$[0, 1]$.对"归十化"得到的数据进行一型模糊化处理, 由式(8)将交通流数据由点数据转化为区间数据, 表 2展示了区间化数据结果.基于此数据基础, 即可构造内嵌的一型隶属度模糊集.设每一个区间左端点为$b$, 右端点为$c$, 左右端点的中间值为$a$, 本仿真中, 用区间数据构造三角型隶属度函数, 则
表 2 三个公交车站上车人数模糊化以后的实际数据和仿真数据Table 2 The actual data and simulation data after fuzzified of people get on the three bus stops时段 实际系统第1站 仿真系统第1站 实际系统第2站 仿真系统第2站 仿真系统第3站 实际系统第3站 3:00 $\sim$ 3:05 2 4 3 5 3 5 6 8 3 5 4 6 3:06 $\sim$ 3:10 2 4 4 6 4 6 6 8 0 1 0 2 3:11 $\sim$ 3:15 3 5 2 4 1 3 3 5 2 4 2 4 3:16 $\sim$ 3:20 0 1 7 9 2 4 3 5 0 2 1 3 3:21 $\sim$ 3:25 6 8 6 8 7 9 0 1 5 7 2 4 3:26 $\sim$ 3:30 6 8 0 2 4 6 5 7 2 4 4 6 3:31 $\sim$ 3:35 4 6 5 7 1 3 2 4 3 5 7 9 3:36 $\sim$ 3:40 2 4 0 1 3 5 2 4 2 4 1 3 3:41 $\sim$ 3:45 4 6 2 4 3 5 0 1 4 6 0 2 3:46 $\sim$ 3:50 5 7 4 6 2 4 4 6 0 2 0 1 3:51 $\sim$ 3:55 2 4 6 8 4 6 4 6 3 5 3 5 3:56 $\sim$ 4:00 5 7 0 2 7 9 8 9 0 1 1 3 $ {\mu _F}\left( x \right) = \begin{cases} \frac{{x - b}}{{a - b}}, &b \leq x \leq a \\ \frac{{c - x}}{{c - a}}, &a < x \leq c \\ 0, &x < b ~\mbox{或}~ x > c \end{cases} $
(10) 因此, 每一个区间都对应着一个一型模糊集.运用式(10)进行集合并运算:
$ {\mu _C}\left( x \right) = \max \left( {{\mu _A}\left( x \right), {\mu _B}\left( x \right)} \right) = {\mu _A}\left( x \right) \cup {\mu _B}\left( x \right) $
(11) 其中, ${\mu _A}\left(x \right)$和${\mu _B}\left(x \right)$为一型模糊集合$A$和$B$的隶属度函数, ${\mu _C}\left(x \right)$为集合并运算得到的新集合${ C}$的隶属度函数, 即二型模糊集合$CoS$.本文将某5分钟的前两个时段和本时段及后一个时段共四个时段进行了并运算, 得$CoS$如图 4所示.
对实际交通系统和人工交通系统, 研究时间轴为每一天的上午8点到下午8点, 共12个小时.因为按照5分钟进行数据统计, 所以得到144个$CoS$, 限于篇幅, 仅列出一个5分钟数据采样时段, 两个系统的二型模糊集合图例, 结果如图 5所示.
图 5 三个候车站实际候车乘客数据和对应的人工交通系统候车乘客人数数据的二型模糊集合Fig. 5 Two-type fuzzy set of three stations actual data and corresponding simulation data经过解模糊化处理, 可以得到两个系统分别由144个重心组成的上限重心和下限重心值构造出来的144个集合, 根据式(9)可计算出两个系统三个站点各144个集合的相似度值, 记为$Jsm(x)$ $(x=1$, $2$, $3)$.
3.3 模型评估
由式(9)可计算得到人工公共交通系统可信度评估结果:
第1站的评估结果为$Jsm (1) = 1$
第2站的评估结果为$Jsm (2) = 1$
第3站的评估结果为$Jsm (3) = 0.6331$
整个系统的评估结果为
$ Jsm = \frac{1}{3}\sum\limits_{x = 1}^3 {Jsm(x) =0.88} $
针对这一结果, 本文使用克朗巴哈系数(Cronbach$'$s alpha)进行评价, 通常Cronbach系数的值在0和1之间.如果系数不超过0.6, 一般认为内部一致可信度不足:达到0.7 $\sim$ 0.8时表示量表具有相当的可信度, 达到0.8 $\sim$ 0.9时说明量表可信度非常好, 如表 3所示[32].本文所建立的人工交通系统, 以车站候车人数为计算指标, 得到的可信度为0.88, 表明人工交通系统很可信.
表 3 可信度值与Cronbach系数的关系Table 3 The relationship between the value of credibility and Cronbach coefficient系统可信程度 Cronbach系数(可信度） 不可信 $ < 0.3$ 勉强可信 $0.3 \leq\alpha < 0.4$ 可信 $0.4 \leq\alpha < 0.5$ 很可信(最常见) $0.5 \leq\alpha < 0.7$ 很可信(次常见) $0.7 \leq\alpha < 0.9$ 十分可信 $0.9 \leq\alpha$ 4. 结束语
本文进行了人工交通系统模型可信度评估的研究:针对交通数据的不确定性和随机性特性, 在可可信度评估中引入区间二型模糊集理论, 利用基于统计的数据一致性分析思想, 构建了基于区间二型模糊集方法的人工系统可信度评估方法.本文核心思想是对实际系统和人工系统的输出数据进行了二重处理, 一重处理通过置信区间获取数据的统计特征, 同时区间化得到二重处理的输入数据:二重处理通过二型模糊集方法处理不确定性数据、随机性数据以及噪声数据的能力, 获得更细致刻画系统特性的输出数据集, 通过两个数据集的相似性程度评估系统的可信度.
本文使用人工交通系统中候车乘客人数这一类易受周边环境影响的数据进行了计算验证, 结果表明了基于区间二型模糊集合的可信度评估方法的有效性和合理性.
本文的研究过程中还存在着如下一些问题: 1)在建模过程中没有完全提取交通系统的所有参数及特性; 2)在案例研究中, 也只针对公交运行过程中乘客上车人数数据进行评估, 相对单一.后续的研究工作要继续完善人工交通系统模型, 获得更多类型的数据, 通过更多案例研究实现系统的可信度评估.同时, 也将研究如何通过可信度评估过程及结果对人工交通系统建模过程提出优化建议.
-
图 3 词汇级和短语级对抗样本生成框架
Fig. 3 The framework of word-level and phrase-level adversarial examples generation
表 1 数据集统计信息
Table 1 Statistics of datasets
数据集 CamRest676 规模 训练集: 405 验证集: 135 测试集: 136 领域 餐馆预定 数据集 KVRET 规模 训练集: 2425 验证集: 302 测试集: 302 领域 日程规划、天气信息查询、导航 
下载: 导出CSV
表 2 CamRest676数据集上的实验结果
Table 2 Experimental results on CamRest676
对抗样本 Cross-test Mono-test BLEU 实体匹配率 成功率${{F} }_{1}$ 组合分数 BLEU 实体匹配率 成功率${{F} }_{1}$ 组合分数 0 基线系统 0.1731 0.4776 0.6485 0.7361 0.2001 0.9328 0.8204 1.0767 1 随机交换 0.1759 0.4851 0.6599 0.7484 0.2159 0.9104 0.7639 1.0530 2 停用词 0.1692 0.5000 0.6347 0.7365 0.2300 0.9179 0.7803 1.0791 3 同义词 0.1805 0.4403 0.7051 0.7532 0.2159 0.9030 0.7824 1.0586 4 词汇级 0.1941 0.4552 0.7503 0.7969 0.2056 0.8955 0.8227 1.0647 5 短语级 0.2017 0.4478 0.7602 0.8057 0.2215 0.8507 0.7992 1.0465 6 句子级 0.1937 0.4925 0.7662 0.8231 0.2127 0.8731 0.8121 1.0553 7 多粒度 0.2178 0.5149 0.7925 0.8715 0.2343 0.8881 0.8269 1.0918
下载: 导出CSV
表 3 KVRET数据集上的实验结果
Table 3 Experimental results on KVRET
对抗样本 Cross-test Mono-test BLEU 实体匹配率 成功率${{F} }_{1}$ 组合分数 BLEU 实体匹配率 成功率${{F} }_{1}$ 组合分数 0 基线系统 0.1737 0.4218 0.7073 0.7382 0.2096 0.7929 0.7948 1.0034 1 随机交换 0.1751 0.4436 0.7122 0.7531 0.2056 0.8400 0.8033 1.0273 2 停用词 0.1676 0.4327 0.7183 0.7431 0.1961 0.8109 0.8016 1.0023 3 同义词 0.1680 0.4145 0.7234 0.7370 0.1944 0.8109 0.7898 0.9947 4 词汇级 0.1805 0.4436 0.7696 0.7871 0.2095 0.8109 0.8202 1.0251 5 短语级 0.1933 0.4727 0.7603 0.8097 0.2219 0.8255 0.8170 1.0431 6 句子级 0.1803 0.4727 0.7843 0.8088 0.1965 0.8218 0.8136 1.0142 7 多粒度 0.1762 0.5236 0.7859 0.8309 0.1944 0.8218 0.8235 1.0171
下载: 导出CSV
表 4 KVRET数据集上德到英的跨语言实验结果
Table 4 Cross-lingual experimental results from German to English on KVRET
对抗样本 Cross-test Mono-test BLEU 实体匹配率 成功率${{F} }_{1}$ 组合分数 BLEU 实体匹配率 成功率${{F} }_{1}$ 组合分数 0 基线系统 0.1641 0.3964 0.7162 0.7203 0.2096 0.7927 0.7948 1.0034 1 词汇级 0.1661 0.4618 0.7596 0.7768 0.2011 0.8109 0.8163 1.0147 2 短语级 0.1842 0.5127 0.7922 0.8367 0.1975 0.8218 0.8248 1.0208 3 句子级 0.1844 0.5091 0.7774 0.8277 0.2067 0.8291 0.8095 1.0260 4 多粒度 0.1743 0.5309 0.8117 0.8456 0.1905 0.7964 0.8186 0.9981
下载: 导出CSV
表 5 跨语言对话实验结果实例
Table 5 Examples of cross-lingual experimental results
Cross-test Mono-test CamRest676 实验结果实例 实例1 User: 请推荐给我一些位于南方的价位适中的餐厅.
MT: please recommend me some restaurant at the
appropriate price in the south.User: please suggest me some moderately priced
restaurant in the south.Gold_bspan: moderate south Gold_response: i found two moderately priced restaurants in the south part of town. would you prefer food_SLOT or food_SLOT food? 基线系统 generated_bspan: south
generated_response: there are no restaurants in the
south part of town.generated_bspan: moderate south
generated_response: there are two restaurants in
the south part of town.多粒度 generated_bspan: moderate south
generated_response: there are two moderately priced
restaurants in the south part of town. would you like
more information?generated_bspan: moderate south
generated_response: there are two moderately priced
restaurants in the south part of town. would you like
more information?KVRET 实验结果实例 实例2 Driver: 最近的停车场怎么走?
MT: how can the latest car park go?Driver: what are the direction to the closest parking garage? Gold_bspan: parking garage
Gold_response: the closest parking garage is poi_SLOT, located distance_SLOT away at address_SLOT.基线系统 generated_bspan: ITEM_3
generated_response: there is a ITEM_0 one and poi_SLOT, distance_SLOT away with traffic_info_SLOT.generated_bspan: parking garage
generated_response: the nearest parking garage is
poi_SLOT, distance_SLOT away.多粒度 generated_bspan: parking garage
generated_response: the closest parking garage is
distance_SLOT away.generated_bspan: parking garage
generated_response: the closest parking garage is
poi_SLOT.实例3 Driver: 安排 5 日上午 11 点与副会长会面.
MT: arranged for him to meet with the vice
president at 11am on the 5th.Driver: schedule a conference with the vice president
on the 5th at 11am.Gold_bspan: 5th; vice president; conference; 11am
Gold_response: conference scheduled for the 5th at 11am with the vice president.基线系统 generated_bspan: 5th; vice president; vice president
generated_response: the 5th is set the president
to discus the president.generated_bspan: 5th; vice president; conference; 11am
generated_response: the 5th is with a vice president for
the 5th at address_SLOT with a high of the 5th of the 5th
of the 5th of the 5th of the 5th of the 5th is with the 5th.多粒度 generated_bspan: 5th; vice president; conference; 11am
generated_response: your conference with vice president
at this 5th at with the vice president at the 5th.generated_bspan: 5th; vice president; conference; 11am
generated_response: you have a conference with the
vice president on the 5th at this 5th.
下载: 导出CSV
表 6 翻译现象类别实例
Table 6 Categories of translation phenomena
类别 1 原始单语句子 I am looking for a moderately priced restaurant in the south part of town. 中文测试集 你知道镇北部有什么价格适中的餐馆吗? MT I＇ m looking for a cheap restaurant in the south of the town. 类别 2 原始单语句子 A restaurant in the moderately priced range, please. 中文测试集 请给我一家中等价位的餐馆. MT Please give me a mid-priced restaurant. 类别 3 原始单语句子 I would like a cheap restaurant that serves greek food. 中文测试集 我想要一家供应希腊食物的便宜餐馆. MT I＇ d like a cheap restaurant to supply greek food.
下载: 导出CSV
表 7 翻译系统噪声类型分析
Table 7 Noise type analysis of machine translation
翻译结果分类 轮数 类别 1 27 类别 2 72 类别 3 23 类别 4 55
下载: 导出CSV
表 8 4种翻译现象上的实验结果
Table 8 Experimental results on four translation phenomena
类别 Cross-test Mono-test BLEU/ 实体匹配率/ 成功率${{F} }_{1}$ BLEU/ 实体匹配率/ 成功率${{F} }_{1}$ 基线系统 1 0.1229/ 0.2632/ 0.3548 0.1987/ 1.0000/ 0.6571 2 0.1672/ 0.2879/ 0.4234 0.2093/ 0.9394/ 0.6239 3 0.1429/ 0.3500/ 0.5538 0.1588/ 0.8500/ 0.6757 4 0.1640/ 0.5909/ 0.5629 0.1891/ 0.8864/ 0.6595 多粒度 1 0.1706/ 0.4737/ 0.5135 0.2301/ 1.0000/ 0.6835 2 0.2327/ 0.5000/ 0.6748 0.2594/ 0.8939/ 0.6935 3 0.1607/ 0.3000/ 0.5352 0.1801/ 0.7000/ 0.5278 4 0.2066/ 0.5909/ 0.5989 0.1924/ 0.8182/ 0.6448
下载: 导出CSV
表 9 CamRest676数据集上使用其他单语基线对话系统的跨语言实验结果
Table 9 Cross-lingual experimental results using other monolingual baseline dialogue systems on CamRest676
对抗样本 Cross-test Mono-test BLEU 实体匹配率 成功率${{F} }_{1}$ 组合分数 BLEU 实体匹配率 成功率${{F} }_{1}$ 组合分数 SEDST 0 基线系统 0.1671 0.6455 0.7294 0.8545 0.2107 0.9545 0.8120 1.0940 1 多粒度 0.2093 0.8333 0.8193 1.0356 0.2292 0.9259 0.8378 1.1111 LABES-S2S 2 基线系统 0.1910 0.7450 0.7260 0.9265 0.2350 0.9640 0.7990 1.1165 3 多粒度 0.2300 0.8150 0.8290 1.0520 0.2400 0.9440 0.8580 1.1410
下载: 导出CSV
-
[1] Li X J, Chen Y N, Li L H, Gao J F, Celikyilmaz A. End-to-end task-completion neural dialogue systems. In: Proceedings of the Eighth International Joint Conference on Natural Language Processing. Taipei, China: Asian Federation of Natural Language Processing, 2017. 733−743 [2] Liu B, Lane I. End-to-end learning of task-oriented dialogs. In: Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Student Research Workshop. New Orleans, Louisiana, USA: Association for Computational Linguistics, 2018. 67−73 [3] Wen T H, Vandyke D, Mrkšić N, Gašić M, Rojas-Barahona L M, Su P H, et al. A network-based end-to-end trainable task-oriented dialogue system. In: Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics. Valencia, Spain: Association for Computational Linguistics, 2017. 438−449 [4] Wang W K, Zhang J J, Li Q, Zong C Q, Li Z F. Are you for real? Detecting identity fraud via dialogue interactions. In: Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. Hong Kong, China: Association for Computational Linguistics, 2019. 1762−1771 [5] Wang W K, Zhang J J, Li Q, Hwang M Y, Zong C Q, Li Z F. Incremental learning from scratch for task-oriented dialogue systems. In: Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Florence, Italy: Association for Computational Linguistics, 2019. 3710−3720 [6] Goodfellow I J, Shlens J, Szegedy C. Explaining and harnessing adversarial examples. In: Proceedings of the 3rd International Conference on Learning Representations. San Diego, California, USA: arXiv Press, 2015. 1412.6572 [7] Szegedy C, Zaremba W, Sutskever I, Bruna J, Erhan D, Goodfellow I J, et al. Intriguing properties of neural networks. arXiv preprint arXiv: 1312. 6199, 2013. [8] 董胤蓬, 苏航, 朱军. 面向对抗样本的深度神经网络可解释性分析. 自动化学报, DOI: 10.16383/j.aas.c200317Dong Yin-Peng, Su Hang, Zhu Jun. Towards interpretable deep neural networks by leveraging adversarial examples. Acta Automatica Sinica, DOI: 10.16383/j.aas.c200317 [9] 孔锐, 蔡佳纯, 黄钢. 基于生成对抗网络的对抗攻击防御模型. 自动化学报, DOI: 10.16383/j.aas.c200033Kong Rui, Cai Jia-Chun, Huang Gang. Defense to adversarial attack with generative adversarial network. Acta Automatica Sinica, DOI: 10.16383/j.aas.c200033 [10] Young S, Gasic M, Thomson B, Williams J D. POMDP-based statistical spoken dialog systems: a review[J]. Proceedings of the IEEE, 2013, 101(5): 1160−1179. doi: 10.1109/JPROC.2012.2225812 [11] Williams J D, Young S. Partially observable markov decision processes for spoken dialog systems[J]. Computer Speech & Language, 2007, 21(2): 393−422. [12] Mesnil G, Dauphin Y, Yao K, Bengio Y, Zweig G. Using recurrent neural networks for slot filling in spoken language understanding[J]. IEEE/ACM Transactions on Audio Speech & Language Processing, 2015, 23(3): 530−539. [13] Bai H, Zhou Y, Zhang J J, Zong C Q. Memory consolidation for contextual spoken language understanding with dialogue logistic inference. In: Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Florence, Italy: Association for Computational Linguistics, 2019. 5448−5453 [14] Lee S, Stent A. Task lineages: Dialog state tracking for flexible interaction. In: Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue. Los Angeles, California, USA: Association for Computational Linguistics, 2016. 11−21 [15] Zhong V, Xiong C, Socher R. Global-locally self-attentive encoder for dialogue state tracking. In: Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics. Melbourne, Australia: Association for Computational Linguistics, 2018. 1458−1467 [16] Wang W K, Zhang J J, Zhang H, Hwang M Y, Zong C Q, Li Z F. A teacher-student framework for maintainable dialog manager. In: Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Brussels, Belgium: Association for Computational Linguistics, 2018. 3803−3812 [17] Sharma S, He J, Suleman K, Schulz H, Bachman P. Natural language generation in dialogue using lexicalized and delexicalized data. In: Proceedings of the 5th International Conference on Learning Representations Workshop. Toulon, France: arXiv Press, 2017. 1606.03632v3 [18] Eric M, Manning C D. Key-value retrieval networks for task-oriented dialogue. In: Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue. Saarbrücken, Germany: Association for Computational Linguistics, 2017. 37−49 [19] Madotto A, Wu C S, Fung P. Mem2seq: Effectively incorporating knowledge bases into end-to-end task-oriented dialog systems. In: Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics. Melbourne, Australia: Association for Computational Linguistics, 2018. 1468−1478 [20] Wu C S, Socher R, Xiong C. Global-to-local memory pointer networks for task-oriented dialogue. In: Proceedings of the 7th International Conference on Learning Representations. New Orleans, Louisiana, USA: arXiv Press, 2019. 1901.04713v2 [21] Lei W Q, Jin X S, Kan M Y, Ren Z C, He X N, Yin D W. Sequicity: Simplifying task-oriented dialogue systems with single sequence-to-sequence architectures. In: Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics. Melbourne, Australia: Association for Computational Linguistics, 2018. 1437−1447 [22] García F, Hurtado L F, Segarra E, Sanchis E, Riccardi G. Combining multiple translation systems for spoken language understanding portability. In: Proceedings of the 2012 IEEE Spoken Language Technology Workshop (SLT). Miami, FL, USA: IEEE, 2012. 194−198 [23] Calvo M, García F, Hurtado L F, Jiménez S, Sanchis E. Exploiting multiple hypotheses for multilingual spoken language understanding. In: Proceedings of the Seventeenth Conference on Computational Natural Language Learning. Sofia, Bulgaria: Association for Computational Linguistics, 2013. 193−201 [24] Calvo M, Hurtado L F, Garcia F, Sanchis E, Segarra E. Multilingual Spoken Language Understanding using graphs and multiple translations[J]. Computer Speech & Language, 2016, 38: 86−103. [25] Bai H, Zhou Y, Zhang J J, Zhao L, Hwang M Y, Zong C Q. Source critical reinforcement learning for transferring spoken language understanding to a new language. In: Proceedings of the 27th International Conference on Computational Linguistics. Santa Fe, New Mexico, USA: Association for Computational Linguistics, 2018. 3597−3607 [26] Chen W H, Chen J S, Su Y, Wang X, Yu D, Yan X F, et al. Xl-nbt: A cross-lingual neural belief tracking framework. In: Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Brussels, Belgium: Association for Computational Linguistics, 2018. 414−424 [27] Schuster S, Gupta S, Shah R, Lewis M. Cross-lingual transfer learning for multilingual task oriented dialog. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Minneapolis, Minnesota: Association for Computational Linguistics, 2019. 3795−3805 [28] Ebrahimi J, Rao A, Lowd D, Dou D J. HotFlip: White-box adversarial examples for text classification. In: Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics. Melbourne, Australia: Association for Computational Linguistics, 2018. 31−36 [29] Miyato T, Dai A M, Goodfellow I. Adversarial training methods for semi-supervised text classification. In: Proceedings of the 5th International Conference on Learning Representations. Toulon, France: arXiv Press, 2017. 1605.07725 [30] Belinkov Y, Bisk Y. Synthetic and natural noise both break neural machine translation. In: Proceedings of the 5th International Conference on Learning Representations. Vancouver, BC, Canada: arXiv Press, 2018. 1711.02173 [31] Cheng Y, Jiang L, Macherey W. Robust neural machine translation with doubly adversarial inputs. In: Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Florence, Italy: Association for Computational Linguistics, 2019. 4324−4333 [32] Cheng Y, Tu Z P, Meng F D, Zhai J J, Liu Y. Towards robust neural machine translation. In: Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics. Melbourne, Australia: Association for Computational Linguistics, 2018. 1756−1766 [33] Li J W, Monroe W, Shi T L, Jean S, Ritter A, Jurafsky D. Adversarial learning for neural dialogue generation. In: Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Copenhagen, Denmark: Association for Computational Linguistics, 2017. 2157−2169 [34] Tong N, Bansal M. Adversarial over-sensitivity and over-stability strategies for dialogue models. In: Proceedings of the 22nd Conference on Computational Natural Language Learning. Brussels, Belgium: Association for Computational Linguistics, 2018. 486−496 [35] Gu J T, Lu Z D, Li H, Li V O K. Incorporating copying mechanism in sequence-to-sequence learning. In: Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. Berlin, Germany: Association for Computational Linguistics, 2016. 1631−1640 [36] Och F J, Ney H. A systematic comparison of various statistical alignment models[J]. Computational Linguistics, 2003, 29(1): 19−51. doi: 10.1162/089120103321337421 [37] Koehn P, Hoang H, Birch A, Callison-Burch C, Federico M, Bertoldi N, et al. Moses: Open source toolkit for statistical machine translation. In: Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions. Prague, Czech Republic: Association for Computational Linguistics, 2007. 177−180 [38] Kingma D, Ba J. Adam: A method for stochastic optimization. In: Proceedings of the 3rd International Conference on Learning Representations. San Diego, California, USA: arXiv Press, 2015. 1412.6980 [39] Mehri S, Srinivasan T, Eskenazi M. Structured fusion networks for dialog. In: Proceedings of the 20th Annual SIGdial Meeting on Discourse and Dialogue. Stockholm, Sweden: Association for Computational Linguistics, 2019. 165−177 [40] Jin X S, Lei W Q, Ren Z C, Chen H S, Liang S S, Zhao Y H, et al. Explicit state tracking with semi-supervision for neural dialogue generation. In: Proceedings of the 27th ACM International Conference on Information and Knowledge Management. New York, USA: Association for Computing Machinery, 2018. 1403−1412 [41] Zhang Y C, Ou Z J, Wang H X, Feng J L. A probabilistic end-to-end task-oriented dialog model with latent belief states towards semi-supervised learning. In: Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing. Online: Association for Computational Linguistics, 2020. 9207−9219 期刊类型引用(0)
其他类型引用(3)
-
下载:
计量
- 文章访问数: 1506
- HTML全文浏览量: 428
- PDF下载量: 217
- 被引次数: 3
