-
摘要: 模糊熵（Fuzzy entropy，FuzzyEn）是衡量时间序列在维数变化时产生新模式的概率，反映时间序列复杂性和无规则程度的参数指标.本文针对传统模糊熵算法只针对时间信号序列进行总体分析，忽略了瞬时信号变化的问题，提出了一种改进模糊熵的算法.算法将指数函数的宽度进行了优化设置，设置为0.15倍一阶差分时间序列的标准差，以此保证充分提取时间序列瞬时复杂性特征.与传统模糊熵相比，改进模糊熵包含更多时间模式信息.基于改进模糊熵结合锁相位算法，分析孤独症儿童脑电信号（Electroencephalogram，EEG）复杂性与同步性，结果表明：孤独症（Autism spectrum disorders，ASD）前颞叶的脑电信号同步性下降、复杂性降低，具有显著性差异（P < 0.05）.Abstract: Fuzzy entropy (FuzzyEn) is used to measure the probability of a new model when the dimension of the time series changes, and to represent the complexity and irregularity of time series. Traditional FuzzyEn only analyzes the signal sequence in a period of time, ignoring the signal changes in each time series. Focusing on this problem, we proposed an improved FuzzyEn algorithm, which sets the width of the exponential function to 0.15 times the standard deviation of the first-order difference time series. Compared with the traditional FuzzyEn, the improved FuzzyEn contains more time pattern information. Electroencephalogram (EEG) signals of autism spectrum disorders (ASD) are analyzed based on the improved FuzzyEn combined with phase locking value. The results showed that synchronization in the anterior temporal lobe of the brain decreases in ASD and the complexity is reduced (P < 0.05).
-
评价对象抽取是情感分析(亦称意见挖掘[1-2])中的重要问题, 例如在产品评论中, "这手机的屏幕挺好的, 就是电池太不耐用了", "屏幕"和"电池"均为评价对象, 该评论对屏幕的情感倾向体现为正向, 对电池的情感倾向体现为负向, 但是按照传统的情感分析方法, 如果将评论文本看作一个整体, 便会造成分析结果准确率下降甚至错误.又如, 在新闻评论中, "可怜的孩子呀!一定要将罪犯绳之于法!", 评论者对孩子的情感为同情, 对罪犯的情感为憎恨, 评论文本对不同评价对象表达了不同的情感, 因此不能对整个句子进行情感分析, 需要首先抽取出句子中的评价对象, 然后再判别针对评价对象的情感倾向.评价对象抽取的有效解决有利于挖掘出不同对象的情感, 有助于对产品或公共事件进行细粒度的情感分析.
本文立足于国内外现有研究成果, 对评价对象抽取进行综述.第1节介绍评价对象的定义和抽取的形式化表示; 第2节按照研究者使用的主要技术对评价对象抽取方法进行详细归纳和梳理; 第3节介绍相关评测和语料资源; 第4节剖析评价对象抽取的难点问题; 第5节对领域内的研究进展进行总结, 并对未来的发展趋势进行展望.
1. 问题定义与形式化表示
1.1 问题定义
在国际著名评测SemEval中, 将评价对象定义为能够用来指代给定文本中评价实体特征的表达方式.按照该定义的描述, 评价实体可以是产品, 也可以是抽象概念.当评价实体为产品时, 例如手机、笔记本等, 评价对象可以是产品特征、产品功能或产品零件; 当评价实体为抽象概念时, 例如新闻事件等, 评价对象往往是人、组织机构或利益集团.从语言学角度看, 评价对象通常是名词或名词短语.以下通过具体实例进行分析.
例1. The noise level was unbearable, conversation impossible. (from = "4" to = "15")
例2. Highly recommended is the spicy fried clam rolls and spider rolls. (from = "26" to = "48"; from = "53" to = "65")
例3. Great for a romantic evening, but over-priced.
例1中, 评价对象为noise level, 是名词短语, 由两个单词组成, 其中from和to指评价对象在句子中的位置(从0开始); 例2中, spicy fried clam rolls和spider rolls均为评价对象, 它们是并列关系, 共享同一情感评价词; 例3中评价对象没有出现在文本中, 但根据上下文语义可知评价对象是price, 称为隐式评价对象.因为隐式评价对象抽取难度较大, 所以对其研究相对较少.对同一评论文本, 不同的人对其中隐含评价对象会有不同的看法, 往往很难通过实验评测界定; 此外, 有些隐式评价对象通过隐喻或反讽进行表达, 需要事先了解背景知识才能作出判断.
评价对象抽取问题容易与命名实体识别问题混淆, 两者既有相同点, 也有区别.两者都可以看作序列标注问题, 但后者重点在于识别出待处理文本中出现的人名、地名和机构名等专有名词, 评价对象只出现在主观性句子中而不出现在陈述句中.
1.2 形式化表示
针对任务和粒度的不同, 评价对象抽取可以划分为语料级别抽取和语句级别抽取.语料级别评价对象抽取旨在获取一个评价对象集合, 例如关于一个产品的所有评价对象(整体、属性、部件、部件属性等), 关于一个新闻话题或事件涉及的所有人物、机构等利益团体.语句级别评价对象抽取侧重于识别出一个句子单位中提及的评价对象.二者的区别如图 1所示.前者适用于产品领域的观点摘要等应用级任务; 后者适用于对不同评价对象的观点进行精确统计分析, 例如在新闻事件中, 很可能需要统计对于每个评价对象持正负向观点的数目.这里重点介绍两者的形式化表示: 1)对于语料级别评价对象抽取, 形式化表示为:给定语料$C = \{ {r_1},{r_2},{r_3}, \cdots ,{r_m}\} $, 其中, $m$为评论数量, $r_m$为第$m$条评论, 任务的目标是根据$C$得到评价对象词语集合$T = \{ {t_1},{t_2},{t_3}, \cdots ,{t_n}\} $, 其中, $n$为得到的评价对象数量, $t_n$表示第$n$个评价对象, 评价对象可以是一个词或包含一个词以上的短语; 2)对于语句级别评价对象抽取, 形式化表示为:给定语句$S = \{ {w_1},{w_2},{w_3}, \cdots ,{w_m}\} $, 其中, $m$为词语数量, $w_m$表示语句中第$m$个词, 任务的目标是由$S$得到评价对象元组集合$T = \{ \langle {t_1},{p_1}\rangle ,\langle {t_2},{p_2}\rangle ,\langle {t_3},{p_3}\rangle , \cdots ,\langle {t_n},{p_n}\rangle \} $, 其中, $n$为评价对象数量, $t$为评价对象词语, $p$为评价对象在语句中的位置信息, $\langle {t_n},{p_n}\rangle $为第$n$个评价对象元组.
图 1 语料级别和句子级别任务的区别Fig. 1 Difference between corpus level task and sentence level task语料级别抽取一般可以使用无监督学习方法进行识别, 而无监督方法通常具有领域无关、语言无关的优势, 因此可以很方便地迁移到其他领域或语言上.无监督评价对象抽取方法在某些场合下非常有用, 例如给定一个没有经过标注的话题事件新闻和对应的网民评论, 通过此方法可以得到该事件主要涉及的评价对象.缺点是难以确定最终评价对象数目的阈值和容易混入噪音.语句级别抽取通常把问题看作是序列标注问题, 优点在于能精确抽取出评价对象及其在句子中的位置, 这种方法依赖于评价对象在句子中的上下文信息, 对于缺少语境信息的短评, 这种方法难以取得好的效果.
2. 评价对象抽取研究方法
自评价对象抽取问题提出10多年以来, 文献中已经出现了许多方法和模型, 从最开始的基于频率的方法到近年来的基于深度学习方法, 评价对象抽取的性能获得大幅提升.本文按照研究者使用的主要技术将其分为基于频率、基于模板规则、基于图论、基于条件随机场和基于深度学习的方法, 如图 2所示.下面进行详细阐述.
2.1 基于频率的方法
由于评价对象往往是评论文本中的名词和名词短语, 而人们在对产品或新闻事件进行评论时, 描述评价对象的用语较为集中且在语料中频繁出现, 基于此假设提出了基于频率的抽取方法, 即通过频率统计方法抽取评论文本中的评价对象. Hu等最早使用关联规则方法识别评价对象[3], 该方法的流程图如图 3所示, 对于频繁评价对象, 首先将产品评论文本中的名词或名词短语看作是候选评价对象, 然后利用关联规则算法抽取频繁评价对象, 之后, 利用剪枝方法进行评价对象的筛选; 对于非频繁的评价对象, 选取离评价词位置最近的名词或名词短语作为评价对象.这种方法简单易行, F值达到80%.但对于频繁的评价对象, 容易引入较多噪音(非评价对象), 例如人们生活中的常用语, 造成准确率不高; 对于非频繁的评价对象抽取, 容易出现评价词缺失和远距离评价对象的情况, 造成召回率不高.
针对以上问题, 学者们设法寻找评价对象的词频、评价文本的语法语义等特点, 通过总结相关规律以提高准确率和召回率. Popescu等[4]利用点互信息(Point-wise mutual information, PMI)技术评估每个候选评价对象, 从而剔除那些可能的非评价对象的词语, 在相同的数据集上, 较文献[3]的方法在准确率上提高了6%.因为该算法通过计算候选评价对象和产品类别指示词(Class-specific discriminator)之间的PMI值, 所以需要事先知道产品类别信息.同时该方法需要借助搜索引擎, 所以会增加耗费额外的时间开销. Blair-Goldensohn等[5]结合句法模板、相对词频和情感词等进行评价对象的抽取和筛选.例如在句法模板方面, 如果形容词后面是名词或名词短语, 则该名词或名词短语很可能是评价对象.
Scaffidi等[6]假设评价对象在产品评论中出现的频率要高于一般语料, 提出了一种语言模型来解决产品评论文本评价对象抽取问题.该方法基于统计模型, 对于出现次数较多的评价对象抽取效果较好, 但对于出现次数不多的评价对象效果不稳定, 并且该实验仅度量了准确率, 对于召回率情况并无描述.
当然, 还有一些其他的基于频率的方法, 如Yi等[7]提出了基于混合语言模型和似然比检验(Likelihood ratio test, LRT)的方法. Xu等[8]将中文文本句子通过Skip-bigram来表示, 避免了中文分词在产品评论文本中准确率较低的问题, 然后通过关联规则和筛选剪枝得到最终结果. Li等[9]在文献[3]的基础上, 通过去除通用词和领域常用词, 采用基于词序的剪枝和基于语义相似度(PMI-IR)的剪枝改进性能.基于频率的评价对象抽取方法见表 1.
表 1 基于频率的抽取方法比较Table 1 Comparison of frequency-based extraction methods文献 方法 级别 数据集 语言 实验结果1 文献[3]Hu等2004 关联规则挖掘频繁项集+剪枝+根据评价词获取非频繁评价对象 语料 Digital Camera 1 English 0.747 0.822 0.783 Digital Camera 2 English 0.710 0.792 0.749 Cellular Phone English 0.718 0.761 0.739 MP3 Player English 0.692 0.818 0.750 DVD Player English 0.743 0.797 0.770 文献[4]Popescu等2005 PMI Assessment 语料 Digital Camera 1 English 0.89 0.80 0.84 Digital Camera 2 English 0.87 0.74 0.80 Cellular Phone English 0.89 0.74 0.81 MP3 Player English 0.86 0.80 0.83 DVD Player English 0.90 0.78 0.84 文献[8]Xu等2012 Skip-Bigram +关联规则+剪枝 语料 Mobile Phone Chinese 0.4081 0.9529 0.5715 Digital Camera Chinese 0.3828 0.7153 0.4987 文献[9]Li等2015 文献[3]的基础上+基于词序的过滤+基于PMI-IR的过滤 语料 Mobile Phone 1 Chinese 0.732 0.667 0.698 Mobile Phone 2 Chinese 0.791 0.850 0.819 Digital Camera 1 Chinese 0.721 0.756 0.738 Digital Camera 2 Chinese 0.719 0.639 0.676 1实验结果分别表示精确率(Precision)、召回率(Recall)和F1值. 2.2 基于模板规则的方法
基于模板规则的评价对象抽取方法通过观察评价对象特有的位置信息或评价对象与评价词之间的句法或语法关系, 然后构建词形模板、词性模板、依存关系模板或语义角色模板等进行评价对象抽取.该类方法的优点在于抽取的准确率较高, 缺点是需要事先准备好评价词集合.此外, 模板规则的制定、规则匹配的先后顺序和冲突问题也是基于模板规则方法的难点.
Zhuang等[10]在训练语料中使用Stanford Parser进行依存句法分析, 根据评价对象和评价词抽取出频率较高的依存关系模板, 然后使用预先定义好的评价对象和评价词列表, 结合依存关系模板对电影评论文本进行"特征-观点"对抽取. Jakob等[11]在文献[10]的基础上, 改进了现有的指代消解技术来提高评价对象抽取的准确率.宋晓雷等[12]对汽车评论语料进行挖掘, 提出一种针对特定领域的无须借助外部资源的评价对象抽取方法, 该方法使用词性和词形模板、模糊匹配和剪枝法得到候选评价对象, 然后使用双向Bootstrapping方法筛选出评价对象, 最后使用K均值算法区分产品名称和产品属性.该方法简单易行, 特别在新领域语料不充分的情况下处理海量在线产品评论具有重要研究意义.
Qiu等[13]提出了一种Double propagation (DP)的非监督学习评价对象和评价词的抽取方法, 流程图如图 4所示.此方法根据预先定义好的依存关系模板来刻画评价词和评价对象之间的关系, 以此根据评价词来抽取评价对象, 根据评价对象抽取评价词, 然后根据评价词和评价对象来抽取新的评价词和评价对象, 依此循环, 直到没有新的评价词和评价对象.最后, 利用剪枝方法对评价对象进行筛选提纯.此方法无需外部资源, 仅需要少量种子词, 避免了监督学习的人工标注过程, 受到学者的广泛重视.
DP算法在语料较大的情况下会引入较多无法剔除的噪音, 导致准确率降低; 在语料较小的情况下, 召回率会有所下降.针对此问题, Zhang等[14]首先增加"部分-整体"模板和No模板来提高召回率; 然后使用HITs算法进行评价对象的排序, 并将上一步获取的候选评价对象作为Authority节点, 特征指示词作为Hub节点, 其中特征指示词包括评价词、评价实体和No, 以此构建二部图, 同时计算每个候选评价对象的权威值, 最后结合候选评价对象的频率得到最终得分, 得分超过一定阈值的即为最终的评价对象.实验结果显示, 语料较小(1 000个句子)时, 在准确率稍微降低的情况下, 召回率得到较大提升; 语料较大(3 000个句子)时, 除了在手机领域准确率下降, 在其他领域中准确率和召回率都有提升.
模板规则的构建通常受限于相似领域, 存在领域迁移困难的问题, 因此有学者研究规则的自动构建[15-16], 以解决领域适应问题.赵妍妍等[15]提出了句法路径库的自动构建方法, 并用于评价对象的识别, 该方法分为两个步骤, 1)从大量未标注语料中构建句法路径库; 2)使用基于编辑距离的句法路径匹配算法识别情感句中的情感评价单元.实验结果表明, 句法路径频率为70, 编辑距离为1时能获得最好的结果.该方法的有效性表明评价词和评价对象在句法结构树中存在一定关系, 而且这种关系在评论文本中普遍存在.
江腾蛟等[17]研究了金融领域上市公司研究文本的"评价对象-情感词"对抽取.首先构造了3 947个金融领域情感词, 然后对大量金融评论文本进行句法结构、依存关系和浅层语义分析后, 归纳了8种规则以实现根据金融领域情感词抽取其所修饰的评价对象.运用特殊情感词评价搭配表、上下文语义关联评价搭配表和频繁评价搭配表以实现隐式评价对象的抽取.实验结果显示, 准确率达到80%以上, 召回率为97.3%.该方法在行文较为规范、语法单一的金融文本中能取得较好的效果, 对于股吧评论等行文随意、句法语法复杂多变的文本效果不佳.基于模板规则的评价对象抽取方法见表 2.
表 2 基于模板规则的抽取方法比较Table 2 Comparison of pattern-based extraction methods文献 方法 级别 数据集 语言 实验结果1 文献[10]Zhuang等2006 Dependency template, Supervised 语料 IMDb Movie Reviews English 0.483 0.585 0.5292 文献[19]刘鸿宇等2010 句法路径+词频过滤+ PMI过滤+名词剪枝 句子 Car Chinese 0.3126 0.4127 0.3557 (S) 0.4513 0.5958 0.5136 (L) Camera Chinese 0.3219 0.4006 0.3569 (S) 0.4556 0.567 0.5052 (L) Phone Chinese 0.3472 0.381 0.3633 (S) 0.4976 0.546 0.5206 (L) NoteBook Chinese 0.3379 0.4566 0.3883 (S) 0.4693 0.6342 0.5394 (L) 文献[13]Qiu等2011 Double propagation 语料 D1 English 0.87 0.81 0.84 D2 English 0.90 0.81 0.85 D3 English 0.90 0.86 0.88 D4 English 0.81 0.84 0.82 D5 English 0.92 0.86 0.89 1实验结果中S表示Strict评测方式, L表示Lenient评测方式.
2Based on feature-opinion pairs.2.3 基于图论的方法
基于图论的评价对象抽取方法考虑了评价词和评价对象之间的关系, 其基本流程如下: 1)将名词或名词短语加入到候选评价对象集, 把形容词加入到候选评价词集; 2)采用依存句法分析器或词对齐模型等技术捕获候选评价对象和候选评价词之间的关系, 以候选评价对象和候选评价词作为顶点, 候选评价词与候选评价对象之间的关系作为连边, 构建一个异构图; 3)在图上使用协同排序(Co-ranking)算法计算得到候选项(候选评价对象和候选评价词)的置信度, 置信度较高的项往往就是正确的评价对象或评价词.基于图论的评价对象抽取方法见表 3.
表 3 基于图论的抽取方法比较Table 3 Comparison of graph-based extraction methods文献 方法 级别 数据集 语言 实验结果 文献[18]Liu等2012 词对齐+随机游走 语料 Camera Chinese 0.75 0.81 0.78 Car Chinese 0.71 0.71 0.71 Laptop Chinese 0.61 0.85 0.71 Phone Chinese 0.83 0.74 0.78 Hotel English 0.71 0.80 0.75 MP3 English 0.70 0.82 0.76 Restaurant Chinese 0.80 0.84 0.82 D1 English 0.84 0.85 0.84 D2 English 0.87 0.85 0.86 D3 English 0.88 0.89 0.88 D4 English 0.81 0.85 0.83 D5 English 0.89 0.87 0.88 文献[20]Xu等2013 依存句法分析+随机游走+直推式支持向量机 语料 D1 English 0.86 0.82 0.84 D2 English 0.88 0.83 0.85 D3 English 0.89 0.86 0.87 D4 English 0.83 0.86 0.84 D5 English 0.89 0.85 0.87 文献[21]Zhou等2013 标签传播 句子 Tencent Weibo Chinese 0.43 0.39 0.41 (Strict)
0.61 0.55 0.58 (Soft)Liu等[18]最早使用基于图论和词对齐模型进行评价对象抽取. 1)通过词对齐模型挖掘候选评价对象和候选评价词之间的关系; 2)使用基于图论的方法对候选评价对象进行评分, 选取评分较高的作为最终评价对象.
给定一个包含$n$个词的句子$S = \{ {w_1},{w_2},{w_3}, \cdots ,{w_n}\} $, 词对齐集合$A = \{ (i,{a_i})|i \in [1,n]\} $可通过最大化句子之间词对齐的概率获得
$ \hat A = \arg \mathop {\max }\limits_A P(A|S) $
其中, $(i, a_i)$表示在第$i$个位置的名词或名词短语与在第$a_i$个位置的形容词的词对齐信息.然后, 分别使用了三个IBM词对齐模型刻画它们之间的关系
$ \begin{array}{l} {P_{IBM - 1}}(A|S) \propto \prod\limits_{j = 1}^n t ({w_j}|{w_{{a_j}}})\\ {P_{IBM - 2}}(A|S) \propto \prod\limits_{j = 1}^n t ({w_j}|{w_{{a_j}}})d(j|{a_j},n)\\ {P_{IMB - 3}}(A|S) \propto \prod\limits_{i = 1}^n n ({\phi _i}|{w_i}) \times \\ \;\;\;\;\;\;\;\;\;\;\;\prod\limits_{j = 1}^n t ({w_j}|{w_{{a_j}}})d(j|{a_j},n) \end{array} $
其中, $t({w_j}|{w_{{a_j}}})$刻画了名词或名词短语$w_j$与形容词$w_{a_j}$在语料中的共现关系; $d(j|{a_j},n)$刻画了词之间的位置信息; $n({\phi _i}|{w_i})$刻画了词的搭配能力, $\phi_i$表示在句子中与词$w_i$对齐的词的数量.三个模型是递进关系, 后一个模型是前一个模型的强化版本.构造二部图时, 连边的权重刻画了名词或名词短语(评价对象)与形容词(评价词)之间的相关性, 顶点的权重刻画了候选评价对象的置信度.其中名词或名词短语与形容词之间的关系度量由$Association(w_N, w_A)$给出, 顶点初始权重由$Importance(c)$给出.
$ \begin{array}{l} Association({w_N},{w_A}) = \\ \;\;\;\;\;\;\;\;\;\;\frac{1}{{\frac{t}{{p({w_N},{w_A})}} + \frac{{1 - t}}{{p({w_A},{w_N})}}}} \end{array} $
其中, $t$为调和因子, $p(w_N, w_A)={Count(w_N, w_A)}/ {Count(w_A)}$, $p(w_A, w_N)={Count(w_A, w_N)}/ {Count(w_N)}$.
$ Importance(c) = \frac{{tf - idf(c)}}{{\sum\limits_c t f - idf(c)}} $
其中, $c$为候选项, $tf - idf(c)$即为著名的TF-IDF公式, 用于刻画词的重要性.
二部图构建完毕后, 在二部图上使用基于随机游走算法, 收敛后可获得每个顶点的最终权重, 然后选择权重超过一定阈值的候选评价对象作为最终的评价对象.分别在COAE2008 Dataset 2, Large, CRD[3]三个数据集上进行实验, 其中Large为搜集整理的数据集.实验结果显示, 该模型相比文献[3, 13-14]在准确率、召回率和F值上均有提升.
Xu等[20]提出了一个二阶段框架来实现评价词和评价对象的抽取, 在第一阶段, 使用MiniPar和Stanford Parser对句子文本进行词性标注和依存句法分析, 将所有的形容词标记为候选评价词, 将所有的名词或名词短语标记为候选评价对象, 记录候选评价词和候选评价对象之间的最短依存路径, 之后, 利用上述产生的候选评价词、候选评价对象和依存路径模板作为顶点, 构建三部图, 顶点之间的连边权值由函数$w({v_a},{v_b}) = freq({v_a},{v_b})/freq({v_b})$给出, 其中, $v_a$, $v_b$为顶点, $freq({v_a},{v_b})$表示共现频率, 然后在图上使用带重启的随机游走算法得到评价词和评价对象的顺序表, 在顺序表上排名靠前的很可能是正确的评价词和评价对象; 在第二阶段, 由于上一阶段挖掘出来的候选项混有较多噪音, 例如某些出现频率很高但不是评价对象的词语, 或某些出现频率不高, 但却是评价对象的词语, 即长尾评价对象, 在此阶段使用直推式支持向量机算法予以解决.
除了利用评价词和评价对象之间的关系外, Zhou等[21]提出了一种非监督标签传播算法用来抽取微博文本的评价对象, 依据标签传播算法的基本思想, 假设同一话题下相似的句子往往共享相同的评价对象, 然后, 每个句子作为图的顶点, 句子之间的相似度由余弦相似度计算得到, 构造概率转移矩阵, 将微博文本中抽取的所有名词短语和微博话题标签文本的分词结果作为候选评价对象, 以此构建每个节点的标签向量(Label vector), 最后, 使用非监督标签传播算法来对候选评价对象进行排名, 从而确定最佳评价对象.与标签传播算法不同, 非监督标签传播算法使用不同节点之间的链接信息来获得所有节点的正确标签.
2.4 基于条件随机场模型的方法
一些学者尝试利用解决自然语言基本任务的模型和方法来对评价对象进行抽取, 例如隐马尔科夫模型(Hidden Markov model, HMM)、最大熵马尔科夫模型(Maximum entropy Markov model, MEMM)、条件随机场模型(Conditional random fields, CRFs)等传统的序列标注模型, CRF是HMM和MEMM的改进版本, 得到了学界的一致认可, 并成为目前解决序列标注问题的主流方法. HMM和MEMM模型, 详见文献[22-23].下面详细介绍基于CRF的方法.
Lafferty等[24]于2001年提出著名的CRF模型, 用于序列数据的切分和标注. CRF模型是典型的判别式概率无向图模型.相比HMM模型, 没有严格的独立性假设, 能更好捕捉上下文信息, 特征设计更加灵活.相比MEMM模型, 不是局部归一化, 而是对概率进行全局归一化, 所以能避免标记偏置(Label bias)问题.
令$\mathit{\pmb{x}} = \{ {x_1},{x_2},{x_3}, \cdots ,{x_n}\} $表示观测序列, $\mathit{\pmb{y}} = \{ {y_1},{y_2},{y_3}, \cdots ,{y_n}\} $表示状态序列, 则给定一观测序列$\mathit{\pmb{x}}$的情况下$\mathit{\pmb{y}}$的条件概率为
$ p(\mathit{\pmb{y}}|\mathit{\pmb{x}},\lambda ) = \frac{1}{{Z(\mathit{\pmb{x}})}}\exp \left( {\sum\limits_{i = 1}^n {\sum\limits_j {{\lambda _j}} } {f_j}({y_{i - 1}},{y_i},\mathit{\pmb{x}},i)} \right) $
其中, $Z(\mathit{\pmb{x}}) = \sum\nolimits_\mathit{\pmb{y}} {\exp \left( {\sum\nolimits_{i = 1}^n {\sum\nolimits_j {{\lambda _j}{f_j}({y_{i - 1}},{y_i},\mathit{\pmb{x}},i)} } } \right)} $为归一化因子, ${f_j}({y_{i - 1}},{y_i},\mathit{\pmb{x}},i)$为一特征函数, $\lambda_j$为权值, 是模型需要学习的参数.模型的关键在于特征函数的构造.
对于评价对象抽取问题, 则$\mathit{\pmb{x}}$为文本序列, $\mathit{\pmb{y}}$为标记序列, 标注方法可采取IOB形式或IOBES形式.若采用IOB形式, 则${y_i} \in \{ I,O,B\} $, 若采用IOBES形式, 则${y_i} \in \{ I,O,B,E,S\} $, 其中$B$, $I$, $E$分别表示评价对象组块的开始、内部和结束, $O$表示组块外的词语, $S$表示该组块只有一个词.例如餐馆评论句子"A few tips: skip the turnip cake and roast pork buns."使用两种标注方法见表 4.
表 4 IOB和IOBES标注例子Table 4 Example of IOB and IOBES annotationA few tips : skip the turnip cake and roast pork buns . IOB O O O O O O B I O B I I O IOBES O O O O O O B E O B I E O Jakob等[25]利用CRF模型对多个领域的语料进行了实验.选取的特征包括词特征、词性特征、依存句法特征、词距特征和观点句特征.对多种特征组合进行实验发现, 在电影评论领域的准确率、召回率和F值最高达到0.749, 0.661和0.722, 但在汽车领域仅为0.622, 0.414, 0.497.原因在于汽车领域描述评价对象的词语比电影领域更加多样, 当在测试集中遇到训练集中未出现或出现次数非常少的评价对象词语时, 这些评价对象往往难以被识别.这也从侧面反映了监督学习方法的局限性:结果的好坏与训练语料的规模密切相关, 要得到好的结果往往需要大量的训练语料.
对于长句文本, 句子中通常会出现较多除评价对象之外的名词或名词短语, 对基于词性特征的机器学习方法有较大影响.张莉等[26]针对此问题提出了核心句(核心句即通过分析将长句转换为短句, 短句为原长句的关键部分, 能够代表原长句的主要观点)的概念, 并总结归纳了七种规则进行核心句的转换.在此步骤之后, 使用基于词、词性、句法结构特征的CRF模型进行训练, 实验结果表明核心句方法的引入使得准确率、召回率和F值均有较大提升, 证明了基于核心句方法的有效性.
为了改善名词短语型评价对象的识别效果, 徐冰等[27]提出在模型训练过程中引入浅层句法分析和启发式位置特征, 以提高评价对象识别的准确率.浅层句法分析是指识别文本中结构相对简单但核心的语法单位, 例如名词短语等.浅层句法分析技术相对来说较为成熟, 主流方法在CoNLL 2000评测语料中F值可达90%以上, 因此, 试图利用浅层句法分析器学习句法特征, 并加入到特征模板中, 提高短语级别的评价对象抽取性能.此外, 使用距离评价词的位置信息作为特征, 结合浅层句法分析特征一同进行训练.在COAE 2008任务3的语料进行实验, 结果显示, 启发式位置特征使评价对象识别平均F值提高1.47%, 浅层句法分析特征使平均F值提高5.61%, 两个特征同时引入时使平均F值提高5.85%. 表 5归纳梳理了基于CRF模型进行评价对象抽取的方法.
表 5 基于CRF模型抽取方法比较Table 5 Comparison of CRF-based extraction methods文献 方法 级别 数据集 语言 实验结果 文献[25]Jakob等20101 CRF (Lexicon-related features) 句子 Movies English 0.749 0.661 0.702 Web Services English 0.722 0.526 0.609 Cars English 0.622 0.414 0.497 Cameras English 0.614 0.423 0.500 文献[27]徐冰等2011 CRF (浅层句法特征+启发式位置特征) 句子 数码相机 Chinese 0.5097 0.3579 0.4206 (S) 0.7295 0.5122 0.6019 (L) 手机 Chinese 0.5679 0.3631 0.4430 (S) 0.7761 0.4962 0.6054 (L) 笔记本 Chinese 0.5843 0.4200 0.4887 (S) 0.7692 0.5529 0.6433 (L) 汽车 Chinese 0.4302 0.2060 0.2786 (S) 0.6265 0.3001 0.4058 (L) 文献[31]Liao等2016 CRF (Lexicon-related features + Syntactic and semantic information) 句子 COAE 2014微博数据 Chinese 0.6901 0.4605 0.5523 (S) 0.7432 0.4855 0.5873 (L) 1作者还进行了跨领域的实验, 这里只给出单领域的结果. 2.5 基于深度学习的方法
2006年以来, 深度学习在语音识别和计算机视觉等领域的重要突破重新引起了学术界的高度重视, 相比传统的机器学习方法, 深度学习可以自动地学习特征, 避免了需要大量领域知识的特征提取过程.此外, 深度学习因有大量的可调参数和层次结构, 因而具有更强的特征表示能力.
之后, 学者开始利用深度学习自动学习特征的能力和CRF的优点进行融合[28-29], 深层神经网络负责学习句子文本的语义表示, 获得的分布式表示作为CRF模型的输入, 以此得到最终的标签. Wang等[28]提出使用递归神经网络(Recursive neural networks)和CRF相结合的方法进行评价对象和评价词的抽取, 在DT-RNN(Dependency-tree RNN)后增加一CRF层, 以帮助CRF捕捉到词语的上下文信息, 结构图如图 5所示.此方法虽然在实验结果上比传统的CRF模型无明显优势, 但避免了手工构建特征的繁杂工作. Yin等[29]将学习到的嵌入(Embedding)串联起来作为CRF模型的特征, 嵌入的学习例子如图 6所示, 其中词嵌入和依存句法上下文嵌入由图 6(a)得到, 线性上下文嵌入由图 6(b)得到.也有学者完全使用深度学习的框架, Liu等[30]使用预先训练好的词向量初始化循环神经网络(Recurrent neural networks)模型的输入, 在模型训练过程中词向量得到微调.实验结果表明, 无需任何特征工程的深度学习模型比传统的CRF模型得到更好的结果, 此外, 模型可以灵活地融合词性、语块等语言学特征. Poria等[32]使用卷积神经网络(Convolutional neural network, CNN)识别评价对象, 利用Amazon评论文本训练词向量作为特征输入到CNN中. 表 6归纳总结了基于深度学习进行评价对象抽取的方法.
表 6 基于深度学习的抽取方法比较Table 6 Comparison of deep learning based extraction methods文献 方法 级别 数据集 语言 实验结果 文献[30]Liu等2015 Recurrent Neural Networks + Word Embedding + Linguistic Features 句子 Laptop1 English 0.7457 (F1)3 0.7500 (F1)4 Restaurant1 English 0.8206 (F1)3 0.8082 (F1)4 文献[28]Wang等2016 Dependency-Tree Recursive Neural Networks + CRF + Linguistic/Lexicon Features (Name List and POS Tag) 句子 Laptop1 English 0.7809 (F1) Restaurant1 English 0.8473 (F1) 文献[29]Yin等2016 Word Embedding + Dependency Path Embedding + CRF 句子 Laptop1 English 0.7516 (F1) Restaurant1 English 0.8497 (F1) Restaurant2 English 0.6973 (F1) 文献[32]Poria等2016 Convolutional Neural Network + Linguistic Patterns 句子 Laptop1 English 0.8672 0.7835 0.8232 Restaurant1 English 0.8827 0.8610 0.8717 1SemEval-2014 Task 4数据集
2SemEval-2015 Task 12数据集
3双向Elman Type RNN + Amazon词向量+语言学特征
4LSTM-RNN + Amazon词向量+语言学特征目前, 深度学习在自然语言处理领域取得的进展大多来自于词语的实数向量表示, 而非采用层次结构具有抽象能力的深度学习本身[33].在自然语言处理领域, 此深度层次结构还没有被真正挖掘和利用.此外, 深度学习也有缺点, 例如需要的训练数据量较大、计算时间复杂度较高.相信随着计算机计算能力的提升和大数据的发展, 深度学习在语义表示取得关键性突破的同时会给评价对象抽取问题带来启示.
2.6 分析
目前评价对象抽取研究并没有统一的评测语料, 不同的研究者往往选取了来自不同来源(网站)、领域、语言和语料规模的评论文本, 同一算法在不同语料中性能存在较大差异, 单纯分析最后的实验结果不具备可比性, 因此, 本文选取学界使用范围最广的CRD (Customer review datasets)和SemEval-2014 ABSA (SemEval-2014 aspect based sentiment analysis datasets)作为实验比较的基准语料, 并据此分析各种算法在同一数据集的性能表现, 实验结果见表 7和表 8.从表 7和表 8可以看出, 在CRD数据集上, 基于规则的评价对象抽取方法取得了最好的F值, 在SemEval-2014 ABSA数据集上, CRF和深度学习获得最好结果.出现这种差异的原因在于CRD数据集数据量较少, 因此基于模板规则等人工分析成分较多的方法能取得较好成绩; 对于SemEval-2014 ABSA数据集而言, 数据量较大, 因此适合像CRF和深度学习等依赖训练数据规模的机器学习方法.但是否这两种方法就是最好的方法呢?需要指出的是, 实验结果除了与模型方法的先进性有关, 还与多种因素有关, 例如数据预处理阶段分词和词性标注质量、选取的情感词典差异、语法分析器优劣、模型参数调谐技巧等, 因此仅从评测结果评判各种方法的优劣会丢失其在特定情况下的特点, 下面对各类方法特点进行深入分析.
表 7 在Customer Review Datasets上的实验结果Table 7 Experimental results on Customer Review Datasets文献 方法 实验结果 准确率(%) 召回率(%) F1值 文献[3], 2004 Frequency-based 72.20 79.80 75.81 文献[4], 2005 PMI 88.20 77.20 82.33 文献[13], 2011 Double Propagation 88.00 83.60 85.74 文献[18], 2012 Word Alignment + Random Walk 85.80 86.20 86.00 文献[35], 2014 Rule-based 89.41 91.42 90.40 文献[32], 2016 CNN-based 90.19 86.18 88.14 表 8 在SemEval-2014 Task 4 ABSA Datasets上的实验结果Table 8 Experimental results on SemEval-2014 Task 4 ABSA Datasets文献 方法 实验结果1 准确率(%) 召回率(%) F1值 文献[36], 2014 Frequency-based 23.00 25.00 24.00 37.00 40.00 38.00 文献[37], 2014 Pattern-based 32.10 42.50 36.60 57.50 64.50 60.80 文献[38], 2014 CRF-based N/A N/A 74.55 N/A N/A 79.62 文献[32], 2016 Convolutional Neural Network + Linguistic Patterns 86.72 78.35 82.32 88.27 86.10 87.17 1上行表示Laptop领域数据集实验结果, 下行表示Restaurant领域数据集实验结果. 产品评论文本中, 描述评价对象的词语有限且较快收敛, 因此基于频率的评价对象抽取方法比较常见.文献[34]分析指出, 在语料规模为4 000的书籍领域, 标注数接近300时可囊括全部评价对象.其主要有三个方面的缺点: 1)只能抽取在语料中频繁出现的评价对象, 对于非频繁评价对象需要使用额外的技术手段进行抽取; 2)难以捕捉到句子含义, 当句子仅为陈述句表达客观事实时, 此时并无评价对象; 3)不相似领域间迁移效果差, 例如迁移到新闻评论领域, 因为此类型评论中频繁名词性词语中充斥了大量非评价对象.
基于模板规则的方法由于算法时间复杂度低, 无需大量标注语料, 因此往往成为工业界的首选方法.其不足之处在于依赖句法分析器的质量, 而目前句法分析器在口语化严重的文本中表现差强人意; 此外, 模板规则难以适应日新月异的语言现象, 特别是当今互联网时代层出不穷的新词新意、词类活用和语法错误等现象, 不完善的规则会导致召回率下降, 错误的规则会导致准确率下降.
基于图论的方法一般通过评价对象和评价词的共现强化来实现评价对象和评价词的联合抽取, 这种思路利用了形容词和名词的先验知识, 在特定的评论句子中具有很好效果, 例如汽车产品评论"输出输入稳定, 动力充沛, 推背感较强, 电子助力转向轻盈顺滑, 方向指向性强, 配置很高; 胎躁比较大, 底盘悬挂硬, 过减速带很颠".其中假设评价词为形容词, 评价对象为名词或名词性短语, 然而, 这种假设具有局限性.如"郎平是个铁榔头", 这个句子使用了隐喻的修辞手法表达了自己的情感, 但句子中并无形容词性的评价词.另外, 此类方法存在的频繁噪音词和非频繁长尾词也是一个需要解决的问题.
基于条件随机场的方法可以较为精确地抽取出评价对象, 这取决于选取适当有效的特征.其不足之处主要在于: 1)依赖训练集的大小和标注质量, 大规模标注语料的获取非常昂贵而且语料质量参差不齐, 低质量语料对评价对象的抽取结果影响极大; 2)依赖于特定领域, 不同领域的语言表述方式存在极大差异, 例如产品评论和新闻事件评论, 进行领域迁移时往往需要重新训练模型.
基于深度学习的方法由于能避免大量特征工程方面的工作, 因此在近几年受到学术界的广泛关注.此方法的核心在于词向量, 词向量训练的时间较久, 通常需要几个小时.如果希望取得好的效果, 训练词向量语料通常需要与领域相关, 因此如果需要进行领域迁移, 则需要重新训练词向量.此外, 深度学习的方法由于具有巨大的参数空间, 通常达到百万级别, 因此需要大量的训练语料才展现出比传统方法在识别性能上的优势.
上述各类评价对象抽取方法的特点见表 9.
表 9 各种方法优缺点比较Table 9 Comparison of advantages and disadvantages of various methods方法 优点 缺点 基于频率的方法 方法简单直观, 在产品评论领域可以取得较好效果 抽取非频繁评价对象需要额外手段 相似领域间迁移容易 难以捕捉句子含义 不相似领域间迁移效果差, 如新闻评论领域 基于模板规则的方法 时间复杂度低 依赖依存句法分析器的质量 不需要大量标注语料 编制模板规则需要专家知识 基于图论的方法 结合了评价对象和情感词的共现频率关系 没考虑无形容词性评价词的句子 领域可移植性强 频繁噪音词和非频繁长尾词需要进一步筛选 基于CRF的方法 识别准确率高 需要大量训练语料 可以任意添加特征 模型训练时间长 领域迁移则需要重新训练 基于深度学习的方法 避免大量特征工程工作 领域相关词向量训练耗时 识别效果好 需要大量标注训练语料 从一定程度上能从语义角度分析评价对象 模型训练时间复杂度高 领域迁移困难 除了方法各自特有的优缺点之外, 待处理评论文本的特征也是需要注意的问题.新闻述评、专业影评或产品评测等书面化长文本用语相对符合正字法, 对其进行常规的自然语言处理分析(例如分词、词性标注、命名实体识别、依存句法分析等)可以取得较好的效果, 这些分析结果在作为输入特征帮助评价对象识别中起到非常重要的作用.而网民用户临时性评论等口语化短文本具有特征稀疏、用语不规范、噪音严重等特点, 严重影响了评价对象识别特征提取的效果.常见的例子有拼写错误(例如像素写成相素)、同音字(例如手机写成手鸡)、缩写(例如政府写成ZF, 警察写成JC)等, 此外, 随着微博、微信等社交媒体的流行, 人们开始习惯使用表情符号表达自己的态度和意见.表情符常常是充当情感增强或表达形象化的角色, 在句子中并不构成语言单位, 移除后不影响对文本进行处理, 所以许多学者在预处理时一般不考虑这些表情符或仅作为情感标志辅助评价对象的识别.然而, 随着表情符号的广泛使用, 越来越多的表情符开始充当句子成分, 例如微博"这个产品真[cow]啊"、"这家店的[hamburger]挺好吃的呀", 这些表情符号的出现使得对其进行常规自然语言处理分析变得极具挑战, 在对此类文本进行评价对象识别之前需要判断这些符号是否在句子中充当了语法角色.
对于口语化短文本, 在预处理阶段通常会进行"恢复"操作, 例如拼写检查、标点符号更正等规范化步骤, 这些规范化过程并不是简单地使用正则表达式匹配就可以解决, 有时需要根据上下文语境进行判断, 例如Goood可能表示Good或God.对于短文本特征稀疏和上下文语境信息不足的问题, 主要有两种方法: 1)借助人工构建的大规模知识库(例如Freebase)或本体库的概念化信息进行辅助识别; 2)通过挖掘互联网海量文本中词语之间的联系(例如共现关系)对短文本进行补充.这两种方法均是利用外源知识, 但前者的构建需要花费较多人工.
3. 评价对象抽取评测及语料资源
3.1 评价标准
在评价对象抽取中, 一般采取精确率(Precision)、召回率(Recall)和F1作为评价标准.计算公式如下:
$ \begin{array}{l} {\rm{Precision}} = \frac{{\# SystemCorrect}}{{\# SystemProposed}}\\ {\rm{Recall}} = \frac{{\# SystemCorrect}}{{\# Gold}}\\ {\rm{F1}} = \frac{{2 \times {\rm{Precison}} \times {\rm{Recall}}}}{{{\rm{Precison}} + {\rm{Recall}}}} \end{array} $
其中, $\#SystemCorrect$是系统判断正确的评价对象的数目, $\#SystemProposed$是系统识别出来的评价对象的数目, $\#Gold$是人工标注的评价对象的数目(标准答案).
通常一个评价对象由四元组$\langle cid,sid,from,to\rangle $界定, 其中$cid$为评论ID, $sid$为句子ID, $from$和$to$分别为评价对象在句子中的起始和结束位置, 只有当系统和标准答案在四元组各个元素上均匹配时, 才判断为正确抽取.
以上评价方法是目前国内外常用的评测标准, 然而, 有学者认为此方法对于评价对象抽取来说过于严格或对于意见挖掘的目的来说不太合适, 因此出现了基于此评价方法的一些变种, 例如宽松评价方式.
首先定义覆盖率$c$:
$ c(s,s') = \left\{ {\begin{array}{*{20}{l}} {\frac{{\left| {s \cap s'} \right|}}{{\left| {s'} \right|}},} & {{\rm{若}}cid = cid'{\rm{且}}sid = sid'}\\ {0,} & {{\rm{其他}}} \end{array}} \right. $
其中, $s$和$s'$分别表示系统和标准答案评价对象的起始位置区间, $\cap$表示计算两个区间的交集, $\left | \cdot \right|$表示计算区间的长度.结果集合覆盖率$C$.
$ C(S,S') = \sum\limits_{s \in S} {\sum\limits_{s' \in S'} c } (s,s') $
其中, $S$为系统结果集, $S'$为标准结果集.则最终精确率(Precision)、召回率(Recall)和F1为
$ \begin{array}{l} {\rm{Precision}} = \frac{{C(S,S')}}{{\left| S \right|}}\\ {\rm{Recall}} = \frac{{C(S,S')}}{{\left| {S'} \right|}}\\ {\rm{F1}} = \frac{{2 \times {\rm{Precision}} \times {\rm{Recall}}}}{{{\rm{Precision}} + {\rm{Recall}}}} \end{array} $
这种宽松评价方式在一定程度上减轻了评价对象边界争议问题, 例如句子"是义诊, 该不是议诊吧?这么多的人, 充分说明了医疗保险体系纯粹是瞎扯淡", 当系统抽取"医疗"作为评价对象时, 如按照严格的评测方式, 则判断为错误, 但若按照宽松评价方式, 则分数仅作了一些惩罚(0.5).然而, 此评价方法也存在一些弊端, 如系统抽取"医疗保险体系"作为评价对象时, 分数为1, 因此当系统将整个句子作为结果输出时可以取得非常高的分数.由于此问题, 所以一般将宽松评价方式作为辅助的评测指标.
此外, 有学者认为, 不同的评价对象重要程度不同, 对于常见的评价对象应该赋予更高的分数.例如在产品评论中, 频率较高的评价对象往往被人们特别关注, 频率较低的评价对象往往意义不大, 可以忽略.基于此思想, 有如下Precision和Recall的计算方法.
$ \begin{array}{l} {\rm{Precision}} = \frac{{\sum\limits_{i = 1}^{\left| A \right|} {{f_i}} \times g({a_i},A)}}{{\sum\limits_{i = 1}^{\left| A \right|} {{f_i}} }}\\ {\rm{Recall}} = \frac{{\sum\limits_{i = 1}^{\left| T \right|} {{f_i}} \times g({a_i},T)}}{{\sum\limits_{i = 1}^{\left| T \right|} {{f_i}} }} \end{array} $
其中,
$ \begin{array}{l} g({a_i},A) = \left\{ {\begin{array}{*{20}{l}} {1,} & {{a_i} \in A}\\ {0,} & {{a_i} \notin A} \end{array}} \right.\\ g({a_i},T) = \left\{ {\begin{array}{*{20}{l}} {1,} & {{a_i} \in T}\\ {0,} & {{a_i} \notin T} \end{array}} \right. \end{array} $
$A$为系统得到的评价对象集, $T$为标准标注集, $f_i$为评价对象$a_i$的频率.注意这里的集合不包含位置信息, 例如size[0, 4]和size[10, 14]在集合中当作一个元素, 频率为2.
除了上述评价方法, 还有一些参照信息检索领域的评测指标, 例如Precision@k, 适用于数据集数量太过庞大而人工难以进行标注的情况[39].
3.2 相关评测
目前在情感分析评测任务中包含了评价对象抽取子任务.国际上关于评价对象抽取任务的评测主要是SemEval. 2014年SemEval任务4—"方面级情感分析(Aspect based sentiment analysis)"提供了Restaurant和Laptop两个领域的用户评论数据[40]. Chernyshevich[38]实现的系统使用了词典、句法和统计特征进行训练, 在Laptop领域中排名第一, F1值为74.55%. Toh等[41]设计的DLIREC系统在Restaurant领域中取得最好成绩, F1值为84.01%, 除了词性和依存句法特征, 还使用了来自Yelp和Amazon的外部资源进行聚类得到的词簇特征等. Brun等[42]的XRCE系统在Restaurant领域取得了与第一名非常接近的成绩, F1值为83.98%, 此系统和前两个基于CRF的系统不同, 其使用语义分析器抽取出"评价词-评价对象"对.语义分析器的词典除了在训练过程中通过训练语料扩充外, 还通过维基百科和WordNet抽取关于餐馆和食物的词语. 2015年SemEval的任务12[43]与2014年大同小异, 不同的是2015年不再将句子视作一个独立的单位, 而是拓展至整个评论文本.在对评价对象抽取的评测中, 排名靠前的有Saralegi等[44]的EliXa系统和Toh等[45]的NLANGP系统. EliXa系统采用基于感知器算法(Perceptron algorithm)进行训练, 获得了第一名的成绩, F1值达到70.05%. NLANGP系统延续使用基于CRF的方法, 使用CRFsuite工具进行模型构建和训练, F1值达到67.11%.
国内对于评价对象抽取的评测相对较早.在第一届中文情感倾向性分析评测(COAE2008)中, 要求给出每个评价句子中的评价对象并对其倾向性做出判断, 例如输入句子为"(杭州大酒店)酒店的服务不错, 位置也不错, 可惜酒店没有游泳池", 输出应为"{服务, positive}, {位置, positive}, {游泳池, negative}". Zhang等[46]使用基于CRF的模型, 取得精确评价方式第一名和宽松评价方式第二名的成绩.刘鸿宇等[19]设计的系统在宽松评价方式中取得第一名的成绩, 将提取到的名词和名词短语看作候选评价对象, 然后使用频率过滤、PMI和名词剪枝等算法进行筛选得到最终的评价对象.在2012年CCF自然语言处理与中文计算会议(NLPCC 2012)中, 评测数据来自于腾讯微博平台用户对热门事件的评论, 例如"三亚春节宰客"等, 评测数据包括20个话题, 每个话题约1 000条微博.在观点句评价对象抽取任务中, 侯敏等[47]的CUCsas系统取得最好成绩, 采用了基于短语情感词典及语义规则进行观点句识别和情感要素的抽取.
3.3 语料资源
除了上述评测中提供的数据, 还有一些学者和研究机构提供了语料资源:
1) Customer review datasets (CRD)1是Liu等[3]提供的5个英文产品评论语料, 数据采集于Amazon和CNET.每条评论包括评论标题和评论文本主体, 均已标注了评价对象、二元情感倾向及强度.
1https://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets
2) Multi-perspective question answering (MPQA)2由Wiebe等[48]提供, 是新闻领域意见挖掘的英语语料库, 语料来源于不同国家187个新闻源, 包含535篇新闻文档共10 657个句子. MPQA语料库除了标注评价者、评价对象和情感倾向性三元组之外, 还对新闻文本进行了言语事件、指代等深度标注.
3) Darmstadt service review corpus(DSRC)3由达姆施塔特工业大学Ubiquitous Knowledge Processing Lab的Toprak等[49]提供, 数据来自http://www.rateitall.com和http://www.epinio-ns.com两个在线评论网站, 包括对大学(例如凯佩拉大学)和在线服务公司(例如PayPal)的评价.此语料在句子和短语级别进行了情感信息标注.为基于服务型机构的细粒度情感分析提供了良好的语料资源.
3https://www.ukp.tu-darmstadt.de/data/sentiment-analysis/darmstadt-service-review-corpus/
4) Arabic opinion target corpus(AOTC)4是哥伦比亚大学Farra等[50]提供的阿拉伯语新闻评论语料库, 收集自卡塔尔半岛电视台新闻网站, 包含政治、文化和体育三个主题, 共1 177条评论, 约7 346个评价对象.为研究多语言或跨语言细粒度情感分析提供了可能性.
4http://www.cs.columbia.edu/~noura/Resources.html
5) Corpus for implicit aspect extraction and implicit aspect indicator extraction:5由墨西哥国立理工大学Cruz等[51]提供, 是CRD语料库的再标注, 主要标出了语料中隐式评价对象的指示词, 比如small[size]、light[weight]和slick[appearance], 中括号中的词语表示隐式评价对象.可为产品评论挖掘隐式评价对象提供思路和数据.
5http://www.gelbukh.com/resources/implicit-aspect-extraction-corpus/
6) Chinese product review opinion corpus(CPRO)是Xu等[52]提供的电子产品领域中文语料库, 其中Digital camera包含1 100条评论, Mobile phone包含500条评论.总共10 935个句子, 7 864个句子包含观点, 12 724个意见单位(语料中称为Comment).语料中标注了评价对象、是否为隐式评价对象、评价短语、评价词、否定词、程度副词、情感极性及强度等信息, 对产品评论文本进行深度意见挖掘非常有用.
7) 汽车领域情感分析语料库是2016 CCF大数据与计算智能大赛中"基于视角的领域情感分析"赛题下提供的数据, 标注了评价对象和情感极性.语料仅限汽车领域, 且评价对象特指汽车品牌名(语料中称为视角), 语料规模约为8 000个评论句子, 其中标注有1 000多个情感单位(评价对象, 情感极性).
4. 评价对象抽取难点
从评测结果看, 评价对象抽取离实际应用还有较大差距, 许多问题和挑战亟需解决和深入研究.一方面在自然语言处理的任务中, 特别是在中文信息处理中, 其词义、词性、句法、语法和语义分析都有歧义问题.另一方面, 语言是人类表达情感、交流思想、传播知识的载体, 具备很大的灵活性, 在Web 2.0时代更体现无遗, 网络文本充满了噪音和不规范, 网络新词、符号或旧词新意层出不穷.此外, 评价对象抽取亦有自身特定的难题需要解决, 以下从隐式评价对象和跨句子评价对象两个角度对评价对象抽取的难点进行讨论.
4.1 隐式评价对象
隐式评价对象是文本中未出现、但根据语义可以分析出的评价对象, 此类文本往往较短, 将评价对象进行了省略表达.短文本由于可用特征少, 使用基于机器学习的方法进行评价对象识别往往效果会非常差.下面以具体例子进行分析.
例4. "好是好, 就是太贵了"
例5. "充满电才玩一个小时就没电了, 这什么垃圾手机"
例6. "This camera will not easily fit in a pocket."[1]
例7. "小米手机果然是为发烧而生的, 哈哈哈"
隐式评价对象往往隐含在评价词中, 例如在移动设备的评论文本中, 例4评价对象为"价格", 例5评价对象为"电池", 评价词"贵"和"没电了"隐含了商品评论文本所评价的对象.隐式评价对象也可以隐含在语句描述中, 例如例6描述了相机很难放口袋里, 评价对象为"尺寸", 例7由"发烧"联想到"发热", 评价对象为"散热".当前的隐式评价对象抽取研究往往先将评价对象事先确定好, 然后使用基于监督学习方法进行隐式评价对象分类[53-54]或设计函数将评价词映射到隐式评价对象集合里[55]. Wang等[53]将隐式评价对象识别问题看作是分类问题, 使用约束的潜在狄利克雷分布结合先验知识进行特征提取, 然后通过支持向量机进行隐式评价对象识别.然而, 事先确定隐式评价对象类别的方法不仅领域适用性差, 且可能出现评价对象不属于任何预定类别的情况.此外, 对隐式评价对象识别有时还需要常识, 例如"男星疑出轨并卷入法律纠纷"事件中, 有网友评论"家里有保时捷了还要去挤公交", 分析该评论易知, 短短一句话却包括事件主要对象—男方、女方(隐喻保时捷)和第三方(隐喻公交).对隐式评价对象的有效识别需要对语句进行"理解", 并产生原语句中并不"存在"的评价对象, 因此结合认知和自然语言生成技术可能是解决此问题的一个研究方向.
4.2 跨句子评价对象
在评论文本中, 经常会出现需要上下文信息才能确定评价的人或事物.例如句子"小明是一名研究生, 他不但心地善良乐于助人, 学术能力也是一流的"中"心地善良乐于助人"修饰的是"他"这个代词, 但我们从上下文可以知道"他"指代的是句子首端"小明".倘若我们仅抽取出"他"这个评价对象, 显然对于之后的情感分析等任务没有意义.这里需要指代消解技术, 但这也是自然语言理解中的难点之一.现有的评价对象抽取研究工作大多局限于单个句子, 对于评价信息分布在不同句子的情形尚无有效的解决方法, 将指代消解结合实体链接和篇章分析等跨句子分析技术或许是解决此问题的一个研究思路.
5. 总结与展望
仁者见仁, 智者见智.同一事物, 不同的人在不同时间、不同场合很可能有不同的看法和意见.在当今互联网迅猛发展和网民意见井喷的时代, 大量的用户生成内容给我们对文本情感分析研究带来了机遇与挑战.情感分析任务通常可以分为评价人抽取、评价对象抽取、情感极性以及强度判别等子任务, 这些元素构成了一个完整的意见概念.评价对象抽取作为情感分析的子任务, 在细粒度情感分析中具有举足轻重的地位.本文对评价对象抽取问题的研究方法、研究现状、相关评测和难点问题进行了综述. 10多年来, 评价对象抽取在单领域和单语言语料上取得了一定的成果, 但许多研究尚处于起步阶段, 有许多问题亟待解决, 主要有以下几点:
1) 领域无关的评价对象抽取.领域无关的评价对象抽取一直是评价对象抽取的难点问题.目前的评价对象抽取几乎都限定在特定领域, 在评测中亦是如此.而针对特定领域的评价对象抽取方法在领域迁移时往往会遇到问题, 因此寻求自动、有效、领域无关的评价对象抽取方法具有非常重要的意义.无监督学习方法主要基于规则和语法关系, 依赖的领域知识相对较少, 因此对于解决领域无关的评价对象问题效果较好, 但泛化能力有限, 对于网络文本日新月异的表达方式和旧词新意等难以识别.如何将有监督学习方法的泛化优点与无监督学习方法的领域无关优点结合进行评价对象抽取是当前具有挑战性的问题, 也将成为今后的研究热点.
2) 跨语言评价对象抽取.有监督学习方法需要大量标注好的语料来训练模型以获得较高的准确率和召回率, 然而, 高质量、大规模的标注语料需要较多的人工, 且某些语言的语料严重匮乏, 不同语言之间训练语料规模的不平衡性成为制约评价对象抽取的一大障碍. Zhou等[56]提出了一种跨语言的解决方案, 仅利用一份已标注好的英文评论文本和一份未标注的中文评论文本, 通过Bing Translate和Co-training方法进行中文评论文本的评价对象抽取, 但效果不尽人意.挖掘不同语言之间在主观性文本中的共性与特征转换机制成为当前细粒度情感分析的趋势.
3) 评价对象聚类分析.网络用户评论具有更新速度快、数据量大等特点, 如何对海量评论进行准确、简洁的高质量意见聚合具有重要应用价值, 意见聚合的一个关键技术就是评价对象聚类分析.由于实用性, 其在情感分析和意见挖掘发展之初便受到学者的重视[57-60].在产品评论领域, 消费者对于产品的评价主要集中在有限的几个方面, 例如汽车产品的评论集中在外观、内饰、空间、配置、动力、性价比和售后等方面, 服装产品评价则主要在色彩、版型、材质、质量等方面, 常规的评价对象抽取方法会产生非常多的产品特征, 不利于消费者根据意见挖掘系统的结果对产品进行评价, 亦违背了产品评论挖掘的初衷, 因此对评价对象的聚类分析将成为重要研究内容.
基于以上分析, 未来研究工作可以围绕以下几个方面进行:
1) 基于规则的方法和基于统计的方法结合.从评价对象抽取问题提出以来, 学界一直致力于寻求更合适的语言规则和统计模型.基于规则的方法需要人工编写规则和模板, 需要耗费大量人力物力, 成本较高, 且系统泛化能力弱, 难以适应当前移动互联网时代涌现的各种新词和语言规则; 而基于统计的方法又难以精确地解决评价对象抽取问题.因此, 如何将规则和统计方法进行结合, 应是未来评价对象抽取问题的一个研究方向.
2) 统一通用的计算模型.目前评价对象抽取方法受限于特定领域, 是根据不同领域的语言特点特别定制的方法, 因此需要设计一个在广泛领域内、语言差异大的文本中均表现良好的方法, 例如给定任意评论文本和相关背景知识, 系统能给出这段评论文本描述的评价对象.如何从基于评价理论的角度将评价对象问题进行统一并考虑通用的计算模型, 对于进行开放领域的评价对象抽取研究具有重要意义.
3) 海量互联网数据的有效利用.随着互联网的发展, 用户生成内容呈指数级增长, 网络上充满了大量的未标注数据或以隐式形式存在的"自然标注"数据(例如由句子"轮胎等部件"可得知"轮胎"为汽车部件), 应用深度学习方法于这些数据, 可推进评价对象抽取的研究.
总之, 评价对象抽取是细粒度情感分析中极具挑战性的难题之一, 希望本文能给进入这一领域的研究工作者带来一定的参考和启发.
-
表 1 两种特征获得的识别率
Table 1 The classification accuracy obtained by different features
特征向量 改进模糊熵 传统模糊熵 正确率 86.67 46.67 测试运行时间 0.39 3.68 
下载: 导出CSV
-
[1] American Psychiatric Association. Diagnostic and Statistical Manual of Mental Disorders:DSM-5 (5th Edition). Washington D.C., USA:American Psychiatric Publishing, 2013. 1-991 [2] Belmonte M K, Allen G, Beckel-Mitchener A, Boulanger L M, Carper R A, Webb S J. Autism and abnormal development of brain connectivity. The Journal of Neuroscience, 2004, 24 (42):9228-9231 doi: 10.1523/JNEUROSCI.3340-04.2004 [3] Ozonoff S, Young G S, Carter A, Messinger D, Yirmiya N, Zwaigenbaum L, Bryson S, Carver L J, Constantino J N, Dobkins K, Hutman T, Iverson J M, Landa R, Rogers S J, Sigman M, Stone W L. Recurrence risk for autism spectrum disorders:a baby siblings research consortium study. Pediatrics, 2011, 128 (3):e488-e495 http://d.old.wanfangdata.com.cn/OAPaper/oai_pubmedcentral.nih.gov_3164092 [4] Cherkassky V L, Kana R K, Keller T A, Just M A. Functional connectivity in a baseline resting-state network in autism. NeuroReport, 2006, 17 (16):1687-1690 doi: 10.1097/01.wnr.0000239956.45448.4c [5] Greimel E, Nehrkorn B, Schulte-Rüther M, Fink G R, Nickl-Jockschat T, Herpertz-Dahlmann B, Konrad K, Eickhoff S B. Changes in grey matter development in autism spectrum disorder. Brain Structure and Function, 2013, 218 (4):929-942 doi: 10.1007/s00429-012-0439-9 [6] Kana R K, Keller T A, Cherkassky V L, Minshew N J, Just M A. Sentence comprehension in autism:thinking in pictures with decreased functional connectivity. Brain, 2006, 129 (9):2484-2493 doi: 10.1093/brain/awl164 [7] Coben R, Clarke A R, Hudspeth W, Barry R J. EEG power and coherence in autistic spectrum disorder. Clinical Neurophysiology, 2008, 119 (5):1002-1009 doi: 10.1016/j.clinph.2008.01.013 [8] Duffy F H, Als H. A stable pattern of EEG spectral coherence distinguishes children with autism from neuro-typical controls-a large case control study. BMC Medicine, 2012, 10:Article No.64 doi: 10.1186/1741-7015-10-64 [9] Lazarev V V, Pontes A, Mitrofanov A A, deAzevedo L C. Reduced interhemispheric connectivity in childhood autism detected by electroencephalographic photic driving coherence. Journal of Autism and Developmental Disorders, 2015, 45 (2):537-547 doi: 10.1007/s10803-013-1959-8 [10] Jaime M, McMahon C M, Davidson B C, Newell L C, Mundy P C, Henderson H A. Brief report:reduced temporal-central EEG alpha coherence during joint attention perception in adolescents with autism spectrum disorder. Journal of Autism and Developmental Disorders, 2016, 46 (4):1477-1489 doi: 10.1007/s10803-015-2667-3 [11] 雷敏, 孟光, 张文明, Sarkar N.基于虚拟开车环境的自闭症儿童脑电样本熵.物理学报, 2016, 65 (10):Article No.108701 http://d.old.wanfangdata.com.cn/Periodical/wlxb201610043Lei Min, Meng Guang, Zhang Wen-Ming, Sarkar N. Sample entropy of electroencephalogram for children with autism based on virtual driving game. Acta Physica Sinica, 2016, 65 (10):Article No.108701 http://d.old.wanfangdata.com.cn/Periodical/wlxb201610043 [12] Lei M, Meng G, Zhang W M, Wade J, Sarkar N. Symplectic entropy as a novel measure for complex systems. Entropy, 2016, 18 (11):Article No.412 doi: 10.3390/e18110412 [13] Zavala-Yoé R, Ramírez-Mendoza R, Cordero L M. Novel way to investigate evolution of children refractory epilepsy by complexity metrics in massive information. SpringerPlus, 2015, 4:Article No.437 doi: 10.1186/s40064-015-1173-6 [14] Liang S F, Wang H C, Chang W L. Combination of EEG complexity and spectral analysis for epilepsy diagnosis and seizure detection. EURASIP Journal on Advances in Signal Processing, 2010, 2010:Article No.853434 doi: 10.1155/2010/853434 [15] Wang J, Barstein J, Ethridge L E, Mosconi M W, Takarae Y, Sweeney J A. Resting state EEG abnormalities in autism spectrum disorders. Journal of Neurodevelopmental Disorders, 2013, 5:Article No.24 doi: 10.1186/1866-1955-5-24 [16] Jones T B, Bandettini P A, Kenworthy L, Case L K, Milleville S C, Martin A, Birn R M. Sources of group differences in functional connectivity:an investigation applied to autism spectrum disorder. NeuroImage, 2010, 49 (1):401-414 doi: 10.1016/j.neuroimage.2009.07.051 [17] Chen W T, Wang Z Z, Xie H B, Yu W X. Characterization of surface EMG signal based on fuzzy entropy. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2007, 15 (2):266-272 doi: 10.1109/TNSRE.2007.897025 [18] Kitzbichler M G, Khan S, Ganesan S, Vangel M G, Herbert M R, Hämäläinen M S, Kenet T. Altered development and multifaceted band-specific abnormalities of resting state networks in autism. Biological Psychiatry, 2015, 77 (9):794-804 doi: 10.1016/j.biopsych.2014.05.012 [19] 孟明, 朱俊青, 佘青山, 马玉良, 罗志增.多类运动想象脑电信号的两级特征提取方法.自动化学报, 2016, 42(12):1915-1922 http://www.aas.net.cn/CN/abstract/abstract18978.shtmlMeng Ming, Zhu Jun-Qing, She Qing-Shan, Ma Yu-Liang, Luo Zhi-Zeng. Two-level feature extraction method for multi-class motor imagery EEG. Acta Automatica Sinica, 2016, 42 (12):1915-1922 http://www.aas.net.cn/CN/abstract/abstract18978.shtml [20] 杨默涵, 陈万忠, 李明阳.基于总体经验模态分解的多类特征的运动想象脑电识别方法研究.自动化学报, 2017, 43 (5):743-752 http://www.aas.net.cn/CN/abstract/abstract19052.shtmlYang Mo-Han, Chen Wan-Zhong, Li Ming-Yang. Multiple feature extraction based on ensemble empirical mode decomposition for motor imagery EEG recognition tasks. Acta Automatica Sinica, 2017, 43 (5):743-752 http://www.aas.net.cn/CN/abstract/abstract19052.shtml [21] Tipping M E. Sparse Bayesian learning and the relevance vector machine. The Journal of Machine Learning Research, 2001, 1 (3):211-244 http://d.old.wanfangdata.com.cn/Periodical/dsjs201802008 [22] 王金甲, 陈春.分层向量自回归的多通道脑电信号的特征提取研究.自动化学报, 2016, 42 (8):1215-1226 http://www.aas.net.cn/CN/abstract/abstract18911.shtmlWang Jin-Jia, Chen Chun. Multi-channel EEG feature extraction using hierarchical vector autoregression. Acta Automatica Sinica, 2016, 42 (8):1215-1226 http://www.aas.net.cn/CN/abstract/abstract18911.shtml [23] 邹凌, 严永, 杨彪, 李文杰, 潘昌杰, 周仁来.基于同步EEG-fMRI采集的情绪认知重评数据特征融合分析研究.自动化学报, 2016, 42 (5):771-781 http://www.aas.net.cn/CN/abstract/abstract18866.shtmlZou Ling, Yan Yong, Yang Biao, Li Wen-Jie, Pan Chang-Jie, Zhou Ren-Lai. Feature fusion analysis of simultaneously recorded EEG-fMRI in emotion cognitive reappraisal. Acta Automatica Sinica, 2016, 42 (5):771-781 http://www.aas.net.cn/CN/abstract/abstract18866.shtml [24] Espy K A, Sheffield T D, Wiebe S A, Clark C A C, Moehr M J. Executive control and dimensions of problem behaviors in preschool children. Journal of Child Psychology and Psychiatry, 2011, 52 (1):33-46 doi: 10.1111/j.1469-7610.2010.02265.x [25] Agustín-Pavón C, Braesicke K, Shiba Y, Santangelo A M, Mikheenko Y, Cockroft G, Asma F, Clarke H, Man M S, Roberts A C. Lesions of ventrolateral prefrontal or anterior orbitofrontal cortex in primates heighten negative emotion. Biological Psychiatry, 2012, 72 (4):266-272 doi: 10.1016/j.biopsych.2012.03.007 [26] Duerden E G, Mak-Fan K M, Taylor M J, Roberts S W. Regional differences in grey and white matter in children and adults with autism spectrum disorders:an activation likelihood estimate (ALE) meta-analysis. Autism Research, 2012, 5 (1):49-66 doi: 10.1002/aur.2012.5.issue-1 [27] Sajdel-Sulkowska E M, Xu M, McGinnis W, Koibuchi N. Brain region-specific changes in oxidative stress and neurotrophin levels in autism spectrum disorders (ASD). The Cerebellum, 2011, 10 (1):43-48 doi: 10.1007/s12311-010-0223-4 [28] Azmitia E C, Impallomeni A. Dynamic brain changes in autism:review of telencephalic structures. Comprehensive Guide to Autism. New York, NY, USA:Springer, 2014. 695-716 [29] Ecker C, Suckling J, Deoni S C, Lombardo M V, Bullmore E T, Baron-Cohen S, Catani M, Jezzard P, Barnes A, Bailey A J, Williams S C, Murphy D G, MRC AIMS Consortium. Brain anatomy and its relationship to behavior in adults with autism spectrum disorder:a multicenter magnetic resonance imaging study. Archives of General Psychiatry, 2012, 69 (2):195-209 doi: 10.1001/archgenpsychiatry.2011.1251 -
下载:
计量
- 文章访问数: 1874
- HTML全文浏览量: 387
- PDF下载量: 557
- 被引次数: 0
