A Multi-layer Relation Graph Model for Extracting Opinion Targets and Opinion Words
-
摘要: 中文评价对象与评价词抽取是文本倾向性分析的重要问题.如何利用评价对象与评价词之间的语法、共现等关系设计模型是提高抽取精度的关键.本文提出了一种基于多层关系图模型的中文评价对象与评价词抽取方法.该方法首先利用词对齐模型抽取评价对象与评价词搭配；然后，考虑评价对象与评价词的依存句法关系、评价对象内部的共现关系和评价词内部的共现关系，建立多层情感关系图，接着利用随机游走方法计算候选评价对象与评价词的置信度；最后，选取置信度高的候选评价对象与评价词作为输出.实验结果表明，与现有的方法相比，本文所提出的方法不仅对评价对象和评价词的抽取精度均有显著提升，而且具有良好的鲁棒性.Abstract: Mining opinion targets and opinion words is a fundamental task for the Chinese online media to mine opinion and analyze sentiment. The key to enhancing the effectiveness of opinion target and opinion word is to integrate syntactic relations and co-occurrence relations between opinion target and opinion word into the mining model. A novel approach based on a multi-layer relation graph model is proposed to extract opinion targets and opinion words from Chinese social media. First, the word alignment model is employed to extract the candidates of opinion target and opinion word candidates. Second, a multi-layer relation graph is constructed by the syntactic inter-relations between opinion target and opinion word, the co-occurrence intra-relations among opinion targets, and the co-occurrence intra-relations among opinion words. Third, a random-walk algorithm is adopted to calculate the confidence of each opinion target candidate and opinion word candidate. Finally, opinion targets and opinion words are extracted according to their confidence values. Experimental results show that the presented method can not only achieve significant improvement over previous methods, but also have good robustness.
-
Key words:
- Sentiment analysis /
- opinion mining /
- dependency syntactic parsing /
- random walk
-
随着互联网Web 2.0和社交媒介的快速发展, 用户更加便捷地在诸如微博、微信等新兴媒介上发表自己对某一事件或物品的观点、情感.文本倾向性分析[1], 旨在从网络文本中分析与挖掘用户的态度 (或称观点、情感), 已成为近年来自然语言处理领域研究的热点问题之一.在SIGIR、ACL、WWW、CIKM、WSDM等著名国际会议上, 针对这一问题的研究成果层出不穷[2-3].随着研究的深入展开, 更加细粒度地分析与挖掘网络观点成为新的研究关注.因此, 本文主要研究评价对象与评价词抽取, 评价对象是指网络文本中评论所针对的对象或对象属性, 评价词是指修饰评价对象的情感观点词.在评论中, 评价对象往往是名词或名词短语, 而评价词通常为动词或形容词.
迄今为止, 国内外学者在评价对象与评价词抽取方面已经开展了一系列研究工作, 主要有两类:基于有监督学习方法和基于无监督学习方法. 1) 有监督学习方法, 通过建立统计模型, 基于标注数据集训练模型, 对评价对象与评价词进行抽取.典型的模型有:最大熵模型[4]、隐马尔科夫模型[5]、支持向量机模型[6]、条件随机场模型[7]等.传统的有监督学习方法虽然能取得不错的效果, 但是在不同领域, 需要重新训练模型, 导致模型移植性不强等问题; 另外, 缺少公开有效的标注数据集也是监督方法的一个瓶颈, 人工标注数据集是一项费时费力的工作. 2) 无监督学习方法, 主要借助评价对象与评价词之间的关系, 构建规则或模型直接抽取评价词对.代表性的工作有:关联规则[8]、双向传播机制[9]、直推式支持向量机[10]、词对齐模型[11]等.相对于有监督模型, 无监督方法不需要人工标注数据的参与、具有移植性更强等优点, 更加适合当前日趋开放的网络环境, 因而逐渐成为新的研究点.
基于词对齐模型的评价词对抽取[12]能够有效减少语法、句法等分析错误, 取得较好的抽取精度和鲁棒性, 体现对网络口语化文本的处理优势.然而, 在语言学上, 评价对象与评价词之间除了距离[13]之外, 存在着更多可利用的句法关系.两个典型评论句子的依存句法分析结果, 如图 1所示.从图 1上部可以发现, 评价对象"屏幕"和评价词"亮"之间存在着"SBV (Subjective-verb)" (即主谓关系); 而对于图 1下部, 评价对象"分辨率"和评价词"高"之间存在着"ATT (Attribute)" (即定中关系).显然, 如果评价对象与评价词之间存在一条置信度高的句法关系, 那么它们也具有较高的置信度.如果评价对象与评价词本身拥有较高的置信度, 那么它们之间句法关系的置信度也较高.另一方面, 评价对象往往不是单独出现的.用户进行评论时, 通常是同时描述多个评价对象.例如"手机很好, 但耗电量很大", "手机"和"耗电量"都是评价对象, 并且同时出现在同一个句子中.同样, 在评价词之间也存在着这样的共现关系.如果只考虑评价对象与评价词之间的关系, 而忽略评价对象内部、评价词内部之间的关系, 将有可能遗漏掉一些正确的评价对象和评价词, 影响最终的抽取效果.
本文提出了一种基于多层关系图模型的评价对象与评价词抽取方法.该方法首先基于词对齐模型抽取评价对象与评价词候选关系词对; 接着进行依存句法关系分析, 然后基于LRT (Likelihood ratio test) 检验方法度量评价对象内部、评价词内部的共现关系, 接着建立"评价对象-句法模式-评价词"的多层情感关系图; 最后基于随机游走的方法抽取评价对象与评价词.该方法同时考虑评价对象与评价词的依存句法关系、评价对象内部、评价词内部的共现关系, 进一步提高了评价对象与评价词所含信息度量的多样性.实验结果表明, 与现有的方法相比, 本文所提出的方法不仅保持了基于词对齐模型的鲁棒性等优点, 而且对评价对象和评价词的抽取精度均有显著的提升.
接下来文章的结构安排如下:第1节介绍本文的相关工作; 第2节详细说明本文所提出的基于多层关系图模型的评价对象与评价词抽取方法; 第3节的内容为实验结果及分析, 通过在不同的评价指标下与基准实验的对比验证本文方法的有效性; 第4节为本文的结论.
1. 相关工作
近年来, 国内外学者在评价对象与评价词抽取已经开展了一系列研究工作.一般来说, 文本评价关系抽取方法大致可以分为有监督模型和无监督模型这两类.
1) 有监督模型
该方法首先通过人工标注得到的数据集对统计模型进行训练, 确定参数, 然后将学习后的模型应用于文本评价关系的抽取工作. Kim等[4]首先从句子中识别出所有评价持有者, 然后结合句法特征, 利用最大熵排序模型抽取评价持有者. Jin等[5]利用Lexicalized-HMM (Hidden Markov model) 模型, 并结合了语言学特征和上下文特征进行评价对象与评价词的抽取. Wu等[6]定义了三元组的情感单元 (产品特征、情感表达式、情感态度), 通过建立短语依存分析树, 抽取产品特征和情感表达式, 然后定义核函数, 利用SVM (Support vector machine) 模型来抽取产品特征和情感表达式之间的关系. Jakob等[7]研究单一领域和跨领域的评价对象抽取问题, 在线性链条件随机场模型中加入词、词性、最短句法依赖路径、情感句子等特征. Zhou等[14]针对中英文语料, 研究利用已有的英文标注数据训练条件随机场模型, 结合机器翻译和特征映射关系, 提出一种单语协同训练算法来抽取中文评价对象, 以此解决跨语言的评价对象抽取问题.
2) 无监督模型
该方法借助挖掘评价对象与评价词之间的关系, 结合规则和语言学特征直接抽取文本评价关系.该方法相对于有监督模型, 具有不需要人工标注数据、移植性更强等优点. Li等[15]在评价对象抽取中利用了浅层语义分析树, 通过参数剪枝和启发式规则过滤错误的抽取结果. Huang等[16]抽取评价表达式 (特征、评价短语), 首先, 利用关联规则和过滤策略识别特征和评价词; 然后, 计算每一对表达式的广义互信息值; 最后, 过滤低于阈值的表达式.赵妍妍等[17]提出一种自动获取句法路径的方法, 结合精确匹配算法来获取情感评价单元 (评价词语、评价对象), 然后通过编辑距离计算句法路径的相似度改进精确匹配的不足, 提高系统抽取性能. Qiu等[9]采用双向传播机制, 利用人为构造的种子词典, 扩展评价词, 进而抽取出评价对象. Li等[18]提出一个两阶段框架, 首先在目标领域内构建一些高置信度 (High-confidence) 种子倾向词和主题词, 然后利用RAP (Relational adaptive bootstrapping) 算法通过源领域的部分标注数据扩展目标领域的种子词典. Xu等[10]首先根据评价对象与评价词的依存句法关系, 建立一张情感图, 利用随机游走算法, 迭代计算评价对象与评价词的置信度, 接着利用自学习策略, 用TSVM (Transductive support vector machine) 分类模型来精炼评价对象, 最后利用精炼后的评价对象来进一步过滤评价词, 该方法取得了不错的准确率和召回率. Liu等[11]借助于统计机器翻译的思想描述对象与词之间的关系, 然后将其与句法分析方式进行了对比, 实验结果表明了词语翻译模型对于抽取评价对象与评价词具有一定的鲁棒性.
2. 模型介绍
为了抽取中文评价对象与评价词, 本文利用评价对象与评价词之间的语法、共现等关系, 提出一种基于多层关系图模型的抽取方法.该方法首先基于词对齐模型抽取候选评价词对, 其次利用依存句法分析方法抽取评价对象与评价词之间句法模式, 接着基于LRT检验方法度量词间的共现关系, 最后构建多层关系图模型, 基于随机游走的方法抽取评价对象与评价词.即输入评论句子集合 $R = \{ {S_1}, {S_2}, \cdots, {S_q}\}$ , 通过分词与词性标注后, 得到候选评价对象集合 $T = \{ {t_1}, {t_2}, \cdots, {t_n}\}$ , 候选评价词集合 $W = \{ {w_1}, {w_2}, \cdots, {w_m}\}$ , 计算候选评价对象的置信度向量 $C{}_{tc}$ 和候选评价词的置信度向量 ${C_{wc}}$ , 最后选取置信度高的评价对象和评价词作为输出.具体介绍如下.
2.1 基于词对齐模型的候选评价词对抽取
利用词对齐模型挖掘评价对象与评价词之间关系的方法能取得较好的效果, 并具有一定的鲁棒性[12-13].为了避免两端不对称, 本文选用文献[13]所提出的方法同时训练两个方向的模型.即将候选评价对象词、候选评价词互相作为源语言和目标语言, 训练词对齐模型得到两个对齐结果集, 并将两个结果集分别取并集和交集作为候选评价词对.候选评价关系抽取所采用的方法是基于文献[19]所提出的IBM模型3, 其计算方法如下:
$ \begin{equation} P_{\textrm{IBM-3}}(T|S) \!\propto\! \prod\limits_{i = 1}^n {n({\varphi _i}|{w_i})\prod\limits_{j = 1}^n {t({w_j}|{w_{aj}})d(j, {a_j}, n)} } \end{equation} $
(1) 式中, $t({w_j}|{w_{aj}})$ 为词 ${w_j}$ 与词 ${w_{aj}}$ 在语料库中的共现信息; $d(j, {a_j}, n)$ 为在 ${a_j}$ 位的词与在 $j$ 位的词的对齐概率; $n({\varphi _i}|{w_i})$ 为词 ${w_i}$ 可以对齐到 ${\varphi _i}$ 个词的概率.
2.2 利用依存句法分析的关系度
对于给定的一个中文句子, 利用依存句法分析构建句法关系树, 在树中抽取评价对象与评价词之间的句法路径.本文考虑两种句法模式, 直接依存句法模式和间接依存句法模式, 为了泛化表示, 本文用"T"表示候选评价对象, "W"表示候选评价词, "R"表示依存句法关系, "Pos"表示评价对象与评价词之间相隔词语的词性.
对于直接依存句法模式, 如果评价对象与评价词在依存句法关系树中有直接路径可达, 那么可以得到直接依存句法模式即为“T-{R}-Pos-{R}-W”.
对于间接依存句法模式, 我们发现某些评价对象与评价词在依存句法关系树中不存在着直接相连的路径, 但是它们最终都会依存于根节点 (即Root), 因此对于无法得到直接依存句法模式的情况, 间接依存句法模式就是寻找评价对象或评价词到根节点的路径, 即"T-{R}-Pos-{R}-root"和"W-{R}-Pos-{R}-root".
如图 2所示, 句子"手机外壳太笨重, 分辨率还行以外, 其他没有什么亮点"的依存句法分析结果.在"分辨率"与"行"之间存在着"SBV" (主谓) 的关系, 因此, 我们就可以得到这样的一个直接依存句法模式"T-{SBV}-W".
经过依存句法分析, 得到句法模式库后, 为了估算评价对象-句法模式, 评价词-句法模式的关系强度, 计算公式如下:
$ \begin{equation} m({v_1}, {v_2}) = \delta \times P({v_1}|{v_2}) + (1 - \delta ) \times P({v_2}|{v_1}) \end{equation} $
(2) 其中, $P({v_1}|{v_2}) = {{freq({v_1}, {v_2})}}/{{freq({v_2})}}$ , $P({v_2}|{v_1}) = {{freq({v_1}, {v_2})}}/{{freq({v_2})}}$ , 上述公式中, $freq({v_1}, {v_2})$ 为 ${v_1}, {v_2}$ 在语料库中共现的次数, ${v_1}$ 为评价对象或评价词, ${v_2}$ 为句法模式; $freq({v_*})$ 为 ${v_*}$ 在语料库中出现的总次数, $\delta$ 为权重.
2.3 基于LRT检验的共现关系度量
评价对象内部、评价词内部之间的共现关系对评价对象与评价词抽取有着重要意义.似然比检验 (LRT) 方法[20]是一种用来衡量语料库中两个词共现关系的常用方法, 并且能够有效避免数据稀疏的问题.因此, 我们利用似然比检验方式来挖掘评价对象之间、评价词之间的关系.
如下表 1所示, LRT检验首先从语料库中计算候选项 (评价对象或评价词) ${T_i}$ 和 ${T_j}$ 的统计信息.其中 ${K_1}({T_i}, {T_j})$ 表示 ${T_i}$ , ${T_j}$ 在语料库中的共现频数, ${K_2}(\sim{T_i}, {T_j})$ 表示不包含 ${T_i}$ , 但包含 ${T_j}$ 的文本频数, ${K_3}({T_i}, \sim{T_j})$ 表示包含 ${T_i}$ 但不包含 ${T_j}$ 的文本频数, ${K_4}(\sim{T_i}, \sim{T_j})$ 表示都不包含 ${T_i}$ 和 ${T_j}$ 的文本频数.
表 1 语料库中候选项的统计信息Table 1 The statistics of candidate terms in the corpus${T_i}$ $\sim{T_i}$ ${T_j}$ ${K_1}({T_i},{T_j})$ ${K_2}(\sim{T_i},{T_j})$ $\sim{T_j}$ ${K_3}({T_i},\sim{T_j})$ ${K_4}(\sim{T_i},\sim{T_j})$ 基于表 1的统计信息, 通过以下方式来计算候选项 (评价对象或评价词) ${T_i}$ 和 ${T_j}$ 的共现关系:
$ \begin{equation} \begin{array}{l} {m_{ij}} = 2[\log L({p_1}, {k_1}, {n_1}) + \log L({p_2}, {k_2}, {n_2})-\\ \qquad \log L(p, {k_1}, {n_1})-\log L(p, {k_2}, {n_2})] \end{array} \end{equation} $
(3) 其中
$ \begin{equation} \begin{array}{l} L(p, k, n) = {p^k}{(1 - p)^{n - k}};{n_1} = {k_1} + {k_3} \\ {n_2} = {k_2} + {k_4};~{p_1} = \dfrac{k_1}{n_1}\\ {p_2} = \dfrac{k_2}{n_2};~p = \dfrac{{k_1} + {k_2}}{{n_1} + {n_2}} \end{array} \end{equation} $
(4) 另外, 为了数据的规范化, 将 ${m_{ij}}$ 的值映射到[0, 1]区间范围内, 采用以下方式进行归一化处理:
$ \begin{equation} m_{ij}' = \frac{{\log ({m_{ij}}) - \log (\textrm{Min})}}{{\log (\textrm{Max}) - \log (\textrm{Min})}} \end{equation} $
(5) Max与Min分别表示 ${m_{ij}}$ 计算得到的最大值与最小值.
2.4 评价对象与评价词的置信度估计
为了刻画评价对象与评价词之间、评价对象内部、评价词内部的关系, 本文构建了如图 3所示的多层关系图 $G = (V, E)$ , 其中 $V = {V_t} \cup {V_p} \cup {V_w}$ 表示顶点集, ${V_t} = \{ {t_1}, {t_{2, }}\cdots, {t_n}\} $ 为评价对象集, ${V_p} = \{ {p_1}, {p_2}, \cdots, {p_l}\}$ 为句法模式库, ${V_w} = \{ {w_1}, {w_2}, \cdots, {w_m}\}$ 为评价词集; $E = {E^{tt}} \cup {E^{ww}} \cup {E^{tp}} \cup {E^{wp}}$ 为边集, ${E^{tt}} \subset E$ 为评价对象之间的边集, ${E^{ww}} \subset E$ 为评价词之间的边集, ${E^{tp}} \subset E$ 为评价对象与句法模式之间的边集, ${E^{wp}} \subset E$ 为评价词与句法模式之间的边集.
图 3 评价对象、句法模式和评价词的多层关系图Fig. 3 The multi-layer relation graph on opinion target, syntactic pattern and opinion word从图 3可以看出, 该图可以分为三层:上层顶点 ${V_t}$ 为评价对象, 下层顶点 ${V_w}$ 为评价词, 中间层顶点 ${V_p}$ 为句法模式, 白色部分表示直接依存句法模式, 灰色部分表示间接依存句法模式; ${E^{tp}}$ 、 ${E^{wp}}$ 分别刻画评价对象、评价词与句法模式之间的句法依存关系; ${E^{tt}}$ 、 ${E^{ww}}$ 则分别刻画评价对象之间、评价词之间在文本中的共现关系.因此, 边的权重采用如下方式赋值:基于式 (2) 定义了矩阵 ${M_{tc\mbox{-}p}} \in {{\bf R}^{|{V_t}| \times |{V_p}|}}$ 和 $M_{wc\mbox{-}P}\in {\bf R}^{|{V_w}| \times |{V_w}|}$ , 基于式 (3) 定义了矩阵 ${M_{tt}} \in {{\bf R}^{|{V_t}| \times |{V_t}|}}$ 和 ${M_{ww}} \in {{\bf R}^{|{V_w}| \times |{V_w}|}}$ .
最后, 在图 $G$ 上利用随机游走算法, 迭代计算候选评价对象置信度向量 ${C_{tc}}$ 、评价词置信度向量 ${C_{wc}}$ 与句法模式置信度向量 ${C_p}$ , 计算公式如下:
$ \begin{equation} \begin{array}{c} C_p^{r + 1} = M_{tc - p}^T \times C_{tc}^r + M_{wc - p}^T \times C_{wc}^r\\ C_{tc}^{r + 1} = \alpha \times {M_{tc - p}} \times C_p^{r + 1} + \beta \times {M_{tt}} \times C_{tc}^r +\\ (1 - \alpha - \beta ) \times C_{tc}^0\\ C_{wc}^{r + 1} = \alpha \times {M_{wc - p}} \times C_p^{r + 1} + \beta \times {M_{ww}} \times C_{wc}^r+\\ (1 - \alpha - \beta ) \times C_{wc}^0 \end{array} \end{equation} $
(6) 其中, $C_{wc}^0$ 为初始值向量, $C_{tc}^0$ 置为评价对象的领域相关度向量, 其向量内每个元素值的计算方式[15]:
$ \begin{equation} {\mathop{\rm Re}\nolimits} {l_{{i}}}{{(t) = }}\frac{{{ {F(t, D_i)}}}}{{\sum\limits_{j = i}^{\rm num} {F(t, D_j) + 1} }} \end{equation} $
(7) $Re{l_i}(t)$ 表示对象在 $t$ 领域 ${D_i}$ 的相关度, num为领域个数:
$F(t, {D_i}) = \log (TF(t) \times DF(t) + 1)$
$TF(t)$ 是 $t$ 在领域 ${D_i}$ 内的总词频, $DF(t)$ 为 $t$ 在领域 ${D_i}$ 内的文档频率.
基于多层关系的评价对象与评价词抽取算法流程如算法1所示.下一节我们将通过实验验证模型的有效性.
算法1. 基于多层关系的评价对象与评价词抽取算法
输入. 评论句子集合、预设参数、迭代次数
输出. 候选评价对象、评价词的置信度向量
1:将句子进行分词, 词性标注.
2:利用词对齐模型抽取候选评价词对 $\langle$ 评价对象, 评价词 $\rangle$ .
3:对评论句子进行依存句法分析, 抽取句法模式, 构造句法模式库.
4:根据以下公式分别计算关系矩阵 ${M_{tc\mbox{-}p}}$ , ${M_{wc\mbox{-}p}}$ .
${array}{l} m({v_1}, {v_2}) = \delta \times P({v_1}|{v_2}) + (1 - \delta ) \times P({v_2}|{v_1})\\P({v_1}|{v_2})=\frac{{freq({v_1}, {v_2})}}{{freq({v_2})}}, P({v_2}|{v_1})=\frac{{freq({v_1}, {v_2})}}{{freq({v_1})}} {array}$
5:根据以下公式分别计算关系矩阵 ${M_{tt}}$ , ${M_{ww}}$ .
${array}{l} {m_{ij}} = 2[\log L({p_1}, {k_1}, {n_1}) + \log L({p_2}, {k_2}, {n_2})-\\ \quad\log L(p, {k_1}, {n_1})-\log L(p, {k_2}, {n_2})] {array}$
6:对关系矩阵 ${M_{tt}}$ , ${M_{ww}}$ 归一化处理
$m_{ij}' = \frac{{\log ({m_{ij}}) - \log (\textrm{Min})}}{{\log (\textrm{Max}) - \log (\textrm{Min})}}$
7: for $r=1$ to Iter
8: end for
9:输出候选评价对象与评价词的置信度向量 ${C_{tc}}$ , ${C_{wc}}$ .
3. 实验结果及分析
3.1 实验数据
如表 2所示, 实验数据使用COAE2011任务三的标注语料, 其中的搭配关系包含评价对象、评价词和倾向性, 本文只考虑评价对象与评价词的抽取.语料有三个不同领域, 分别是电子产品、影视娱乐和金融证券.
表 2 语料统计表Table 2 The description of dataset领域 句子总数 评价对象数 评价词数 电子产品 15 051 3 593 5 068 影视娱乐 7 915 997 1 344 金融证券 6 382 534 605 3.2 实验设计
为了验证本文提出模型的有效性, 我们与如下方法进行对比:
1) ${\rm{COAE\_BEST}}$ : COAE2011任务三评测任务中表现最好的结果;
2) LIU:文献[12]借助统计机器翻译的思想抽取评价对象的方法;
3) ${\rm{WAN\_U}}$ 和 ${\rm{WAN\_I}}$ :文献[13]基于Liu方法, 对词对齐模型得到的结果分别取并集 ( ${\rm{WAN\_U}}$ ) 与交集 ( ${\rm{WAN\_I}}$ ), 提出了基于距离函数的关联强度度量方式代替采用对齐概率的方式来衡量评价对象与评价词的关联强度;
4) MULTI:本文所提出的基于多层关系图的评价对象与评价词抽取模型.
此外, 采用LTP (Language technology platform) 语言技术平台对评论句子进行分词、词性标注以及依存句法分析工作, 利用开源词对齐工具包 (Giza++) 进行评价搭配关系抽取.实验参数 $\alpha = 0.3, \beta = 0.3$ , 迭代次数为20次.
3.3 评价指标
采用信息检索领域常用的准确率 (Precision)、召回率 (Recall) 和F1值 ( ${\rm{F1\_measure}}$ ) 作为评价指标.计算公式如下:
$ \begin{equation} \textrm{Precision} = \frac{{TP}}{{TP + FP}} \end{equation} $
(8) $ \begin{equation} \textrm{Recall} = \frac{{TP}}{{TP + FN}} \end{equation} $
(9) $ \begin{equation} \textrm{F1_measure} = \frac{{2 \times \textrm{Precision} \times \textrm{Recall}}}{{\textrm{Precision} + \textrm{Recall}}} \end{equation} $
(10) 其中, $TP + FP$ 是抽取任务中得到的结果总数, $TP$ 是抽取任务得到的正确结果总数, $FP$ 是被错误抽取出来的结果总数, $TP + FN$ 是语料库中所有正确结果的总数.
3.4 实验结果分析
从整体上看, 中文评价对象与评价词抽取的性能还是比较低的, 主要原因包括: 1) 本体特征覆盖不全面, 评论中的评价对象类型多样, 并且与领域高度相关, 领域之间表达存在较大差异; 2) 情感标注特征不全面、分词不精准等原因使得很多评价词也没有被正确识别出来, 导致了准确率和召回率不高; 3) 倾向性表达较为复杂, 比如一些句子的评价对象是省略的, 但是可以推测出该句具有非常明显的褒贬义评价.具体结果与分析如下:
1) 分领域的抽取效果对比
在抽取评价对象方面, 从表 3可以看出, 在电子产品、金融证券领域, 本文方法MULTI在F1值上相较于其他方法都有显著提升.特别是在金融证券领域, MULTI方法比 ${\rm{WAM\_I}}$ 方法在准确率上有接近 ${\rm{8 \% }}$ 的提高.主要原因在于: a) 对金融证券领域, 评价对象使用的经常是一些专有的名词, 如股票、证券等专有名词; b) 评价词也经常是一些特殊形容词, 如"上涨"、"下跌"等; c) 评价对象与评价词固定搭配出现的情况较多.比如, "6日纽约市场黄金价格下跌".在评价对象 (黄金价格) 和评价词 (下跌) 之间往往能得到较高置信度的句法关系 ("TC-{SBV}-WC"), 保证抽取结果的正确性.
表 3 评价对象抽取的对比实验结果Table 3 The results of our method VS baseline on opinion领域 方法 Precision Recall ${\rm{F1\_measure}}$ 电子产品 ${\rm{COAE}}\_{\rm{BEST}}$ 0.223 0.160 0.186 LIU 0.199 0.221 0.209 ${\rm{WAM\_U}}$ 0.338 0.376 0.356 ${\rm{WAM\_I}}$ 0.346 0.385 0.364 MULTI 0.365 0.406 0.384 影视娱乐 ${\rm{COAE}}\_{\rm{BEST}}$ 0.203 0.053 0.078 LIU 0.102 0.154 0.123 ${\rm{WAM\_U}}$ 0.173 0.261 0.208 ${\rm{WAM\_I}}$ 0.185 0.279 0.223 MULTI 0.171 0.258 0.206 金融证券 ${\rm{COAE}}\_{\rm{BEST}}$ 0.090 0.045 0.045 LIU 0.210 0.315 0.252 ${\rm{WAM\_U}}$ 0.120 0.180 0.144 ${\rm{WAM\_I}}$ 0.183 0.273 0.219 MULTI 0.275 0.412 0.330 然而, 在影视娱乐领域, 本文的方法在评价对象抽取F1值略低于 ${\rm{WAM\_I}}$ 的方法.这是因为在该领域中抽取得到的某些句法模式置信度较低, 导致最终的抽取效果不理想.例如, 句子"迈克尔-杰克逊胡子拉碴, 难掩憔悴", 正确的评价对象为"迈克尔-杰克逊", 评价词为"憔悴", 因为它们相距较近, 所以通过距离的方法 ( ${\rm{WAM\_I}}$ ) 能有效识别.但是在本文方法中通过依存句法分析, 在该对评价对象与评价词之间的句法模式"TC-{COO}- $n$ -{COO}- $v$ -{CMP}-WC" (COO指"并列关系", CMP "指动补结构") 的置信度偏低.另外, 在该句中也不存在着评价对象, 评价词内部的共现关系, 导致在图模型上应用随机游走算法时, 不能正确计算该评价对象与评价词的置信度, 最终使得抽取效果下降.不过, 本文方法在影视娱乐领域内依然优于 ${\rm{COAE\_BEST}}$ 和LIU.
评价词抽取的对比结果如表 4所示.在抽取评价词方面, 本文方法在三种领域上的F1值相比于 ${\rm{WAM\_U}}$ 分别有约 ${\rm{15 \% }}$ , ${\rm{4.5 \% }}$ , ${\rm{16 \% }}$ 的提升.一方面, 评价词的抽取有效避免了由于距离过长而导致关系强度度量错误的情况.另一方面, 加入共现关系也增强了候选评价词置信度的计算.例如, 句子"现在这款冰箱价格下降, 仅为7 900元, 算是比较优惠的".评价词"优惠"距离评价对象"价格"较远, 但由于存在依存句法关系, 同时也与另一个评价词"下降"也存在着共现关系, 因此, 能正确判断"优惠"是一个评价词.
表 4 评价词抽取的对比实验结果Table 4 The results of our method VS baseline on opinion word领域 方法 Precision Recall ${\rm{F1\_measure}}$ 电子产品 ${\rm{COAE}}\_{\rm{BEST}}$ 0.218 0.113 0.126 ${\rm{WAM\_U}}$ 0.187 0.221 0.203 ${\rm{WAM\_I}}$ 0.197 0.233 0.214 MULTI 0.326 0.386 0.353 影视娱乐 ${\rm{COAE}}\_{\rm{BEST}}$ 0.130 0.096 0.064 ${\rm{WAM\_U}}$ 0.081 0.120 0.096 ${\rm{WAM\_I}}$ 0.076 0.113 0.091 MULTI 0.118 0.176 0.141 金融证券 ${\rm{COAE}}\_{\rm{BEST}}$ 0.044 0.121 0.049 ${\rm{WAM\_U}}$ 0.048 0.079 0.060 ${\rm{WAM\_I}}$ 0.035 0.058 0.044 MULTI 0.175 0.289 0.218 2) 整体抽取效果对比
为了衡量整体性能, 本文在电子产品、影视娱乐和金融证券等三个领域对抽取结果计算宏平均和微平均, 结果如图 4和图 5所示.从图 4中可以看出, 在抽取评价对象上, 本文方法的抽取精度在宏平均和微平均上都优于其他方法.虽然在影视娱乐领域, 本文的方法略低于 ${\rm{WAM\_I}}$ 方法, 但是从整体效果上看, 本文方法在宏F1值、微F1值比 ${\rm{WAM\_I}}$ 的方法提升了大约 ${\rm{3 \% }}$ .如图 5所示, 在抽取评价词方面上, 本文方法整体上也是取得最优的结果, 不管是宏平均还是微平均, 在召回率上都有将近 $10 \% \sim 11 \% $ 的提升.因此, 本文方法在抽取评价对象与评价词上相较于其他方法可以有效地提高准确率与召回率, 尽可能多地抽取出评价对象与评价词.
3) 模型参数分析
为了评估不同关系对抽取任务的影响, 考察了模型参数 $\alpha, \beta$ 对抽取效果的影响.本文基于准确率、召回率两项评价指标, 设计了如下对比实验:
a) onlyLRT:只考虑了评价对象内部、评价词内部之间的共现关系.即, 设置参数 $\alpha = 0$ ;
b) onlyCP:只考虑了评价对象与评价词之间的句法关系.即, 设置参数 $\beta = 0$ ;
c) combine:融合了共现关系和句法关系的情况, 即前面所提到的 $\alpha = 0.3$ , $\beta = 0.3$ .
从图 6和图 7, 结合表 3和表 4, 在评价词抽取方面onlyCP方法比 ${\rm{WAM\_U}}$ 的准确率在电子产品、影视娱乐、金融证券领域分别有约 ${\rm{3 \% }}$ , ${\rm{4 \% }}$ , ${\rm{2 \%}}$ 的提升.因此, 依存句法关系的引入可以一定程度上解决评价对象与评价词距离过长产生的问题.典型的例子如: "诺基亚1 110有点老, 不是智能手机, 但是很耐用".在该句子中, 评价对象"诺基亚"与评价词"耐用"相隔有一定距离, 仅从距离因素加以衡量的时候, 会导致抽取的错误.但是经过依存句法关系的分析后, "诺基亚"与"耐用"之间在依存句法树中存在直接依存关系, 以此来判断"诺基亚"与"耐用"为正确的评价对象与评价词.
图 6 不同 $\alpha$ , $\beta$ 的评价对象抽取结果Fig. 6 Different results of opinion targets extraction according to $\alpha$ , $\beta$
图 7 不同 $\alpha$ , $\beta$ 的评价词抽取结果Fig. 7 Different results of opinion words extraction according to $\alpha$ , $\beta$在评价对象抽取方面, onlyLRT方法在电子产品、影视娱乐、金融证券领域比 ${\rm{COAE\_BEST}}$ 的召回率分别提高了约 ${\rm{1 \% }}$ 、 ${\rm{6 \% }}$ 和 ${\rm{5 \% }}$ .因此, 考虑共现关系的情况可以一定程度上减少评价对象或评价词抽取遗漏的问题.例如, "电脑很卡, CPU太垃圾了!".句子中, "电脑"和"CPU"均为评价对象, "卡"和"垃圾"分别为其对应的评价词.但是由于分词工具的限制, 将"垃圾"的词性标注为名词, 因此, "CPU"与"垃圾"之间并不能找到依存句法关系.但是, 可以发现"电脑"与"CPU"之间的存在着强关联的共现关系, 根据该共现关系, 可以判断"CPU"也为评价对象, 在某种程度上解决抽取遗漏的问题.
Combine方法在所有领域都优于onlyCP、onlyLRT方法, 表明融合多种关系 (句法关系、共现关系等) 来抽取评价对象与评价词的方法能实现抽取性能的显著提升, 可以抽取出更多的评价对象与评价词.在电子产品, 影视娱乐领域无论是抽取评价对象与评价词方面, onlyCP方法都比onlyLRT表现得更好一点, 说明了在评价关系抽取中句法关系比共现关系的效果更为显著.其中的一个重要原因是, 共现关系比较少:在语料库中的统计结果表明, 评价对象、评价词出现次数大于1的情况约占 ${\rm{7 \% }}$ 左右.另外, 某些句子中即使存在多个评价对象, 但并不是所有的评价对象都有其相应的评价词.例如, "索尼爱立信700手机超薄的机身, 重量仅为78克". "机身"与"重量"都可能为评价对象, 但是只有"机身"有其对应的评价词"超薄", 而"重量"没有.在该句中只有"机身"为正确的评价对象, 而"重量"并不是正确的评价对象.因此, 除了共现关系外, 需要结合句法分析等多种关系综合建模, 才能有效提升抽取精度.
4. 结束语
本文提出了一种基于多层关系图模型的评价对象与评价词抽取方法.该方法首先利用词对齐模型抽取评价对象与评价词搭配; 然后, 同时考虑评价对象与评价词的依存句法关系、评价对象内部的共现关系、评价词内部的共现关系, 建立多层情感关系图; 最后, 利用随机游走方法计算候选评价对象与评价词的置信度, 并选取置信度高的评价对象与评价词作为输出.除了评价对象与评价词的距离关系以外, 本文方法充分利用了评价对象与评价词、评价对象内部以及评价词内部的多层关系, 进一步提高了评价对象与评价词所含信息度量的多样性.此外, 本文基于统计翻译模型抽取候选评价对象和评价词, 保持了具有良好的鲁棒性.实验结果表明, 与现有方法相比, 本文所提出的方法对评价对象和评价词的抽取精度均有显著的提升.
-
图 3 评价对象、句法模式和评价词的多层关系图
Fig. 3 The multi-layer relation graph on opinion target, syntactic pattern and opinion word
图 6 不同 $\alpha$ , $\beta$ 的评价对象抽取结果
Fig. 6 Different results of opinion targets extraction according to $\alpha$ , $\beta$
图 7 不同 $\alpha$ , $\beta$ 的评价词抽取结果
Fig. 7 Different results of opinion words extraction according to $\alpha$ , $\beta$
表 1 语料库中候选项的统计信息
Table 1 The statistics of candidate terms in the corpus
${T_i}$ $\sim{T_i}$ ${T_j}$ ${K_1}({T_i},{T_j})$ ${K_2}(\sim{T_i},{T_j})$ $\sim{T_j}$ ${K_3}({T_i},\sim{T_j})$ ${K_4}(\sim{T_i},\sim{T_j})$ 
下载: 导出CSV
表 2 语料统计表
Table 2 The description of dataset
领域 句子总数 评价对象数 评价词数 电子产品 15 051 3 593 5 068 影视娱乐 7 915 997 1 344 金融证券 6 382 534 605
下载: 导出CSV
表 3 评价对象抽取的对比实验结果
Table 3 The results of our method VS baseline on opinion
领域 方法 Precision Recall ${\rm{F1\_measure}}$ 电子产品 ${\rm{COAE}}\_{\rm{BEST}}$ 0.223 0.160 0.186 LIU 0.199 0.221 0.209 ${\rm{WAM\_U}}$ 0.338 0.376 0.356 ${\rm{WAM\_I}}$ 0.346 0.385 0.364 MULTI 0.365 0.406 0.384 影视娱乐 ${\rm{COAE}}\_{\rm{BEST}}$ 0.203 0.053 0.078 LIU 0.102 0.154 0.123 ${\rm{WAM\_U}}$ 0.173 0.261 0.208 ${\rm{WAM\_I}}$ 0.185 0.279 0.223 MULTI 0.171 0.258 0.206 金融证券 ${\rm{COAE}}\_{\rm{BEST}}$ 0.090 0.045 0.045 LIU 0.210 0.315 0.252 ${\rm{WAM\_U}}$ 0.120 0.180 0.144 ${\rm{WAM\_I}}$ 0.183 0.273 0.219 MULTI 0.275 0.412 0.330
下载: 导出CSV
表 4 评价词抽取的对比实验结果
Table 4 The results of our method VS baseline on opinion word
领域 方法 Precision Recall ${\rm{F1\_measure}}$ 电子产品 ${\rm{COAE}}\_{\rm{BEST}}$ 0.218 0.113 0.126 ${\rm{WAM\_U}}$ 0.187 0.221 0.203 ${\rm{WAM\_I}}$ 0.197 0.233 0.214 MULTI 0.326 0.386 0.353 影视娱乐 ${\rm{COAE}}\_{\rm{BEST}}$ 0.130 0.096 0.064 ${\rm{WAM\_U}}$ 0.081 0.120 0.096 ${\rm{WAM\_I}}$ 0.076 0.113 0.091 MULTI 0.118 0.176 0.141 金融证券 ${\rm{COAE}}\_{\rm{BEST}}$ 0.044 0.121 0.049 ${\rm{WAM\_U}}$ 0.048 0.079 0.060 ${\rm{WAM\_I}}$ 0.035 0.058 0.044 MULTI 0.175 0.289 0.218
下载: 导出CSV
-
[1] 黄萱菁, 赵军.中文文本情感倾向性分析.中国计算机学会通讯, 2008, 4(2): 39-47Huang Xuan-Jing, Zhao Jun. Chinese text sentiment orientation analysis. Communications of the CCF, 2008, 4(2): 39-47 [2] Zhuang L, Jing F, Zhu X Y. Movie review mining and summarization. In: Proceedings of the 15th ACM International Conference on Information and Knowledge Management. Arlington, Virginia, USA: ACM, 2006. 43-50 [3] Wang B, Wang H F. Bootstrapping both product features and opinion words from Chinese customer reviews with cross-inducing. In: Proceedings of the 3rd International Joint Conference on Natural Language Processing. Hyderabad, India, 2008. 289-295 [4] Kim S M, Hovy E. Identifying opinion holders for question answering in opinion texts. In: Proceedings of AAAI-05 Workshop on Question Answering in Restricted Domains. Pennsylvania, USA: AAAI, 2005. 1367-1373 [5] Jin W, Ho H H, Srihari R K. OpinionMiner: a novel machine learning system for web opinion mining and extraction. In: Proceedings of the 15th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Paris, France: ACM, 2009. 1195-1204 [6] Wu Y B, Zhang Q, Huang X J, Wu L D. Phrase dependency parsing for opinion mining. In: Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA, USA: Association for Computational Linguistics, 2009. 1533-1541 [7] Jakob N, Gurevych I. Extracting opinion targets in a single-and cross-domain setting with conditional random fields. In: Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing. Vancouver, British Columbia, Canada: Association for Computational Linguistics, 2010. 1035-1045 [8] Hu M Q, Liu B. Mining and summarizing customer reviews. In: Proceedings of the 10th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Seattle, USA: ACM, 2004. 168-177 [9] Qiu G, Liu B, Bu J J, Chen C. Opinion word expansion and target extraction through double propagation. Computational Linguistics, 2011, 37(1): 9-27 doi: 10.1162/coli_a_00034 [10] Xu L H, Liu K, Lai S W, Chen Y B, Zhao J. Mining opinion words and opinion targets in a two-stage framework. In: Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics. Sofia, Bulgaria: ACL, 2013. 1764-1773 [11] Liu K, Xu L H, Zhao J. Syntactic patterns versus word alignment: extracting opinion targets from online reviews. In: Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics. Sofia, Bulgaria: ACL, 2013. 1754-1763 [12] Liu K, Xu L H, Zhao J. Opinion target extraction using word-based translation model. In: Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. Jeju Island, South Korea: Association for Computational Linguistics, 2012. 1346-1356 [13] 陈兴俊, 魏晶晶, 廖祥文, 简思远, 陈国龙.基于词对齐模型的中文评价对象与评价词抽取.山东大学学报 (理学版), 2016, 51(1): 58-64, 70 http://www.cnki.com.cn/Article/CJFDTOTAL-SDDX201601008.htmChen Xing-Jun, Wei Jing-Jing, Liao Xiang-Wen, Jian Si-Yuan, Chen Guo-Long. Extraction of opinion targets and opinion words from Chinese sentences based on word alignment model. Journal of Shandong University (Natural Science), 2016, 51(1): 58-64, 70 http://www.cnki.com.cn/Article/CJFDTOTAL-SDDX201601008.htm [14] Zhou X J, Wan X J, Xiao J G. Cross-language opinion target extraction in review texts. In: Proceedings of the 12th IEEE International Conference on Data Mining. Brussels, Belgium: IEEE, 2012. 1200-1205 [15] Li S S, Wang R Y, Zhou G D. Opinion target extraction using a shallow semantic parsing framework. In: Proceedings of the 26th AAAI Conference on Artificial Intelligence. Toronto, Canada: AAAI, 2012. 1671-1677 [16] Huang H, Liu Q T, Huang T. Appraisal expression recognition based on generalized mutual information. Journal of Computers, 2013, 8(7): 1715-1721 https://www.researchgate.net/publication/272798717_Appraisal_Expression_Recognition_Based_on_Generalized_Mutual_Information [17] 赵妍妍, 秦兵, 车万翔, 刘挺.基于句法路径的情感评价单元识别.软件学报, 2011, 22(5): 887-898 doi: 10.3724/SP.J.1001.2011.03767Zhao Yan-Yan, Qin Bing, Che Wan-Xiang, Liu Ting. Appraisal expression recognition based on syntactic path. Journal of Software, 2011, 22(5): 887-898 doi: 10.3724/SP.J.1001.2011.03767 [18] Li F T, Pan S J, Jin O, Yang Q, Zhu X Y. Cross-domain co-extraction of sentiment and topic lexicons. In: Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics: Long Papers-Volume 1. Jeju Island, South Korea: Association for Computational Linguistics, 2012. 410-419 [19] Brown P F, Della Pietra V J, Della Pietra S A, Mercer R L. The mathematics of statistical machine translation: parameter estimation. Computational Linguistics, 1993, 19(2): 263-311 http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.13.8919 [20] 舒万里. 中文领域本体学习中概念和关系抽取的研究[硕士学位论文], 重庆大学, 中国, 2012Shu Wan-Li. Research on Concept and Relation Extraction of Chinese Domain Ontology [Master dissertation], Chongqing University, China, 2012 期刊类型引用(15)
1. 白云龙，张耿耿. 基于BERT和句法分析的汽车评论属性级观点挖掘. 传动技术. 2024(04): 39-47 . 
百度学术2. 周红照，侯敏，滕永林. 评价形容词状语语用指向研究及其自动识别机制. 语言研究集刊. 2023(02): 210-224+394 . 百度学术3. 周红照，侯敏，滕永林. 评价动词——评价对象智能计算构式研究. 山西大学学报(自然科学版). 2022(02): 274-283 . 百度学术4. 罗压琼，姜瑛，陈泳全. APP软件用户评论中评价对象和评价观点的匹配. 现代电子技术. 2022(22): 126-132 . 百度学术5. 杨杰，赵磊，郭文彬. 基于图谱域移位的带限图信号重构算法. 自动化学报. 2021(09): 2132-2142 . 本站查看6. 尚福华，金泉，曹茂俊. 基于Senna-BiLSTM-CRF的测井实体抽取方法研究. 计算机技术与发展. 2021(12): 180-186 . 百度学术7. 邱云飞，周双月. 基于句法结构和依存关系的评价对象提取. 计算机应用研究. 2020(04): 1054-1058 . 百度学术8. 韦婷婷，陈伟生，胡勇军，骆威，包先雨. 基于句法规则和HowNet的商品评论细粒度观点分析. 中文信息学报. 2020(03): 88-98 . 百度学术9. 赵华，邹若飞. 基于Tree LSTM+CRF的属性级观点挖掘. 山东科技大学学报(自然科学版). 2020(06): 115-122 . 百度学术10. 周浩，王莉. 融合语义与语法信息的中文评价对象提取. 智能系统学报. 2019(01): 171-178 . 百度学术11. 唐康，汪海涛，姜瑛. 基于深度学习的电商评论评价对象抽取研究. 电子测量技术. 2019(13): 86-91 . 百度学术12. 姚瑶，李慧宗，桂海霞，张波. 基于评价对象抽取的物流在线评论情感分析. 重庆科技学院学报(社会科学版). 2018(04): 38-41 . 百度学术13. 文丹艳，马超群，王琨. 一种多源数据驱动的自动交易系统决策模型. 自动化学报. 2018(08): 1505-1517 . 本站查看14. 刘敏，王向前，李慧宗，张宝隆. 基于文本挖掘的网络商品评论情感分析. 辽宁工业大学学报(自然科学版). 2018(05): 330-335 . 百度学术15. 袁宜英. 基于学生中文评论的用户情感倾向挖掘研究. 信息通信. 2017(12): 283-284 . 百度学术其他类型引用(10)
-
下载:
计量
- 文章访问数: 2800
- HTML全文浏览量: 254
- PDF下载量: 797
- 被引次数: 25
