Short-text Sentiment Enhanced Achievement Prediction Method for Online Learners
-
摘要: 当前利用短文本情感信息进行在线学习成绩预测的研究存在以下问题: 1)当前情感分类模型无法有效适应在线学习社区的短文本特征, 分类效果较差; 2)利用短文本情感信息定量预测在线学习成绩的研究在准确性上还有较大的提升空间. 针对以上问题, 本文提出了一种短文本情感增强的成绩预测方法. 首先, 从单词和句子层面建模短文本语义, 并提出基于学习者特征的注意力机制以识别不同学习者的语言表达特点, 得到情感概率分布向量; 其次, 将情感信息与统计、学习行为信息相融合, 并基于长短时记忆网络建模学习者的学习状态; 最后, 基于学习状态预测学习者成绩. 在三种不同类别课程组成的真实数据集上进行了实验, 结果表明本文方法能有效对学习社区短文本进行情感分类, 且能够提升在线学习者成绩预测的准确性. 同时, 结合实例分析说明了情感信息、学习状态与成绩之间的关联.Abstract: Research of online learning achievement prediction based on short text sentiment information has the following problems: 1) Current sentiment classification model cannot effectively adapt to short text features of online learning community, and classification effect is poor; 2) Prediction accuracy of online learning achievements using short text sentiment information has a lot of room for improvement. In view of above problems, this paper proposes a short text sentiment enhanced achievement prediction method. Firstly, short text semantics are modeled from the word and sentence level, and attention mechanism based on learner characteristics is proposed to identify the expression characteristics of different learners. Secondly, sentiment information is fused with statistics and learning behavior information, and use long-short term memory network to model learning state of learner. Finally, learner's grade is predicted based on learning state. Experiments were carried out on real data set composed of three types courses. The results show that our method can effectively classify short texts of the learning community and improve the accuracy of online learners' achievement predictions. At the same time, combined with case analysis, relationship between emotional information, learning status and achievement is explained.
-
命名实体识别(Named entity recognition, NER)任务最初是在MUC-6[1]上被提出的, 它的目的是识别文本中涉及的实体, 并将它们分类到预定义的类型列表中. 它有两个关键的任务: 一是要识别出文本中是否有命名实体, 二是要判断出命名实体具体所指的目标类型. 作为自然语言的信息承载单位, 命名实体识别属于文本信息处理的基础研究领域, 是信息抽取、信息检索、机器翻译、问答系统等多种自然语言处理技术中必不可少的组成部分.
命名实体识别是自然语言处理(Natural Language Processing, NLP)领域中一些复杂任务的基础, 因此一直以来都是NLP领域中的研究热点. 现有的命名实体识别研究方法有基于规则的方法, 基于传统机器学习的方法(又称为统计的方法), 以及近年来流行的基于深度学习的方法. 基于规则的方法[2]由于手工构造规则, 系统能够达到较好的性能, 但构造规则时太依赖于专业领域知识, 费时费力且系统的可移植性较差. 基于机器学习的方法中, 命名实体识别被看作是序列标注问题, 传统的机器学习方法有许多适用于序列标注问题的模型, 比如隐马尔可夫模型(Hidden Markov model, HMM)[3]、最大熵(Maximum entropy, ME)[4]、条件随机场(Conditional random field algorithm, CRF)[5]等. 基于统计的方法对语料库的依赖比较大, 而可以用来建设和评估命名实体识别系统的大规模通用语料库又比较少, 这成为此方法的一大制约. 近年来, 随着深度学习算法的普及, 很多学者开始将深度学习算法应用在命名实体识别领域, 而且已经取得了卓越的效果. Athavale等[6]提出了BiLSTM模型的方法, 通过BiLSTM网络将上下文结合起来, 进行NER的训练, 取得了良好的效果. 后来又出现了BiLSTM+CRF[7]、 CNN+BiLSTM+CRF[8]、CNN+Attention+Bi-LSTM+CRF[9]等算法, 都取得了较好的效果. 但是深度学习算法和统计学方法一样都属于有监督的学习方法, 需要大量标注语料的支持.
除了有监督的学习方法, 半监督和无监督的学习方法也被用于NER任务. 半监督学习是最近兴起的一项技术, 主要技术为BootStrapping[10]. 半监督的学习方法使用少量的标注语料作为初始种子集, 通过层层迭代的方法从大规模的未标注语料中逐步获取更多的种子实例, 扩充语料规模. 半监督学习在某些领域表现出了可与有监督学习竞争的效果, 但半监督学习依然需要部分标注语料当作种子语料. 无监督学习方法主要是采用设置语法和句法规则对未标注的数据识别实体. 无监督的学习方法不需要人工标注的训练语料, 又称为开放式实体识别方法, 比较有代表性的成果如华盛顿大学的开源工具Reverb、OLLIE[11], 斯坦福大学的Stanford CoreNLP[12]等.
随着NLP任务的深入, 扩展命名实体的种类渐渐被提上日程. 最近的研究工作表明, 使用更大范围的细粒度命名实体会给包括关系抽取、问答系统在内的自然语言处理任务带来实质性的提升. 因此, 研究细粒度实体分类问题已经逐渐成为业内的又一个研究热点.
1. 细粒度实体分类研究现状
传统的命名实体识别只把实体分为人名、地名、组织机构和其他4种类型, 而细粒度实体分类会构建一种层次化的分类体系, 比如“艺术家” 作为一个实体类别还可以分解为“画家”、“音乐家”、 “舞蹈家” 等子类别. 一个细粒度实体类别体系往往包括上百个甚至几百个实体类别, 从而给实体分类带来了更大的困难. 近年来, 细粒度实体分类(Fine-grained entity type classification, FETC)的研究逐渐活跃起来. Ling等[13]首次引入了一个训练和评估数据集FIGER(GOLD), 他们使用线性分类器进行多标签分类. Gillick等[14]引入了依赖于上下文的FETC的概念, 其中, 实体的类型被限制为可以从其上下文可以推断的内容, 并且引入了新的手动注释的评估数据集OntoNotes. Shimaoka等[15]提出了一种基于注意力机制的神经网络模型, 该模型使用长短期记忆网络 (Long short-term memory, LSTM)来编码实体的上下文, 并使用注意力机制将模型的关注点集中于上下文中的相关表达. 由于FETC领域标注语料更加困难, 有研究者提出使用远程监督方法, 通过知识库中的实体链接到维基百科并获取语料, 但是这种方法因为标注时没有考虑句子上下文会引入大量噪声. 并且远程监督不是万能的, 对于许多基于社交媒体或与安全相关的应用, 我们无法访问高覆盖率的知识库, 所以这意味着这种方法有些时候是不合适的. 因此, 无法获取高质量的标注语料, 是一直困扰着FETC领域研究的一大难题.
为了解决标注语料缺乏的难题, 有学者开始采用迁移学习的方法开展细粒度实体分类的研究. 在机器学习、深度学习和数据挖掘的大多数任务中, 我们都会假设训练和预测时, 采用的数据服从相同的分布、来源于相同的特征空间. 但在现实应用中, 这个假设很难成立, 往往遇到的问题是带标记的训练样本数量有限, 比如, 处理A领域的分类问题时, 缺少足够的训练样本, 同时, 与A领域相关的B领域, 拥有大量的训练样本, 但B领域与A领域处于不同的特征空间或样本服从不同的分布. 这时, 知识迁移是一个不错的选择, 即把B领域中的知识迁移到A领域中来, 提高A领域分类效果.
迁移学习的具体做法分为基于资源的迁移学习和基于模型的迁移学习[16]. 基于资源的迁移学习需要借用额外的语料注释, 比如跨语言词典. 基于资源的方法在跨语言迁移方面取得了相当大的成功, 但对额外资源的规模和质量相当敏感. 基于模型的迁移不需要额外的资源, 它通过自适应地修改模型体系结构、训练算法或特征表示, 利用源任务和目标任务之间的相似性和相关性实现迁移学习的目的. 基于模型的迁移学习在实体识别领域已有应用, 它们大都是借助完整的标注语料集训练一个初始模型, 之后借鉴其参数, 用标注语料稀缺的数据集重新训练模型微调模型参数, 获得比直接用稀疏标注语料训练模型更好的效果. Lee等[17]提出了一个TransNER模型, 在两个拥有相同实体类别的数据集上进行迁移, 他们首先在有标注的源数据集上训练一个NER模型, 之后通过迁移模型不同层的参数在目标数据集上基于稀疏标注信息进一步训练模型的高层参数, 从而获得了比不迁移更好的效果. Yang等[16]在跨领域、跨语言和跨任务三个设定上进行NER迁移, 提出了影响迁移学习模型效果的三个因素: 目标任务中标签的丰富度、 源任务和目标任务的关系, 可共享的参数数量. Abhishek等[18]提出的FNET模型是首个将迁移学习用于细粒度实体分类的方法, 他们同样使用了借鉴模型参数的迁移方法获得了更好的效果, 表明迁移学习可以用于细粒度实体分类任务中, 但他们的源数据集和目标数据集都含有大量标注语料.
当前的迁移学习方法主要针对稀疏标注语料的数据集, 对于完全无标注语料的数据集并不适用. 然而, 当前很多领域根本就没有任何标注语料, 如何解决无标注语料的FETC问题, 是摆在研究者面前的一个难题. 本文提出了一种基于迁移学习的细粒度实体分类方法, 通过构建不同领域实体类别间的映射关联关系, 采用注意力机制, 实现对无标注语料的领域实体的类别分类.
2. 基于实体类别关系映射与注意力机制的迁移学习模型
对于完全没有标注语料的领域数据集, 要想实现细粒度实体分类显然是一件困难的事情, 完全套用之前的迁移模型也是不合适的, 但是, 不同领域的实体类别间往往存在各种关联关系, 如果能够充分利用这种实体类别间的关系, 构建实体类别映射模型, 便可以实现知识的适度迁移, 本文从构建不同领域的实体类别关系入手, 构建迁移模型.
2.1 迁移模型的整体框架
针对无标注语料细粒度实体分类任务, 本文提出了一种基于实体类别关系映射与注意力机制的迁移模型(Transfer learning model of entity type relationship mapping and attention mechanism, TLERMAM). 该模型由实体类别映射模型和实体类别分类器两部分组成. 实体类别映射模型通过计算无标注领域数据集A′中的实体类别与有标注领域数据集A中的实体类别间的词向量相似度得到二者语义相似程度. 根据语义相似度由大到小对与A′中实体类别
${t_m^{'}}$ $({1 \leq m \leq M}$ , 假设A′中共有$ M $ 个实体类别) 语义相关的所有A中的实体类别进行排序后, 取与$ {t_m^{'}} $ 最相似的$ n $ 个实体类别${t_1} , {t_2} , \cdots , {t_n}$ , 组合成映射类别集$({1\leq n \leq N}$ , 假设A中共有$ N $ 个实体类别). 之后向BiLSTM分别输入实体类别${t_1} , {t_2} ,\cdots, {t_n}$ , 各自所在的句子向量${{ s}_1} , {{ s}_2} , \cdots , {{ s}_n}$ , 通过BiLSTM获取$ n $ 个实体各自的上下文语义特征. 最后将${t_1},{t_2},\cdots , {t_n}$ 与$ {t_m^{'}} $ 的语义相似度作为权重, 应用实体级别注意力机制将$ n $ 个语义特征向量进行结合得到$ {t_m^{'}} $ 的近似语义特征$ {C_{t_m^{'}}} $ , 再将$ {C_{t_m^{'}}} $ 输入$ {\rm Softmax} $ 层得到其在各类标签上的概率, 最终训练模型收敛到在$ t_m^{'} $ 类别上的概率最高, 整个迁移模型的总体架构如图1所示.
图 1 基于实体类别关系映射与注意力机制的迁移模型结构Fig. 1 The transferring model based on entity type relationship mapping and attention mechanism2.2 实体类别映射模型
本文采用通用词向量来表示各种实体类别, 为了获得无标注领域实体类别的近似语义特征, 选取语义特征与其最相似的
$ n $ 个有标注实体类别作为映射实体类别集, 如图2中的${t_1} , {t_2} , \cdots, {t_n}.$ 图2中,${e_i}\ (i = 1,2,\cdots, n)$ 表示语义特征相似度,$ {t_m^{'}} $ 为无标注数据集A′中的实体类别,${t_i}\ (i = 1,2,\cdots, n)$ 为有标注数据集A中的实体类别, 从左到右语义相似度逐渐减小. 目前有许多方法可以用来计算语义相似度, 例如余弦相似度(Cosine similarity)、欧几里得距离(Euclidean distance)、曼哈顿距离(Manhattan distance), 我们采用余弦相似度计算语义特征相似度. 余弦相似度通过计算两个向量夹角的余弦值来评估他们的相似度. 给定两个词向量$ {\pmb A} $ 和$ {\pmb B}, $ 其余弦相似度$ {\theta} $ 由点积和向量长度[19]给出:$$ Semantics \quad Similarity = \cos\theta $$ (1) 其中,
$\cos \theta = \frac{\sum\nolimits_{i = 1}^n ({\bf{A}}_i \times {\bf{B}}_i)}{{(\sqrt {{\sum\nolimits_{i = 1}^n {{{({{\bf{A}}_i})}^2}} }} ) \times (\sqrt {{\sum\nolimits_{i = 1}^n {{{({{\bf{B}}_i})}^2}} }} )}}$ .本文利用与实体类名相同单词的词向量代表该类用于计算语义相似度. 对于多词组成的实体类别, 如body_part, 则采用组成该类名的所有单词的词向量平均值代表该类参与相似度计算. 根据余弦相似度度量无标注实体类别的词向量与每一个有标注实体类别的词向量相似度并排序, 将前
$ n $ 个实体类别加入到$ {t_m^{'}} $ 的实体类别映射集合$ {D_{t_m^{'}}} $ 中.$$ D_{t_m^{'}} = (t_1,t_2,\cdots,t_n) $$ (2) 假设无标注领域数据集A′中有
$ M $ 个实体类别, 对每一个无标注实体类别$ {t_m^{'}} $ ($m = 1,2,\cdots,M$ ), 我们都计算其与所有有标注实体类别的语义相似度, 最终得到所有无标注实体类别的映射实体类别集合.2.3 迁移学习模型的数据输入
1)词嵌入. 近年来许多研究证明词嵌入(词向量)能够很好地捕捉到单词的语义, 许多NLP任务通常都采用词向量分布式地表示自然文本中的单词. 本文采用预训练的词向量而不是随机初始化的词向量, 因为实验证明从大量的未标记数据中训练出的词向量比随机映射初始化的词向量效果更令人满意.
本文首先将上下文中的每个单词转化成能提供语义特征的实值向量. 给定一个句子
$s = {\left\{ {x_1,x_2,\cdots,x_m} \right\}}$ , 通过映射词向量矩阵$ {E\in R^{\left| V \right| \times d_w}} $ , 每个单词$ {x_i} $ 表示为$ d_w $ 维实值向量,$ V $ 是词汇表的大小.2)位置嵌入. 词嵌入虽然能很好地捕捉到单词的词义信息, 但它无法捕捉句子的结构信息. 为了增加更多的上下文语义, 本文引入位置信息向量, 位置信息体现句子中的每个单词
$ {x_i} $ 与关注实体的距离, 每个距离都被映射到一个随机初始化的$ d_p $ 维的位置向量$ {\pmb x_i^p} $ .最后, 我们将得到的两个向量结合, 于是句子中第
$ i $ 个单词的总嵌入向量为:$ {\pmb x_i^E} $ =${\left[({\pmb x_i^d})^{{\rm T}},({\pmb x_i^p})^{{\rm T}}\right]^{{\rm T}}}$ .3)迁移输入. 本文的迁移思想主要体现在用多个相似的有标注实体类别组合表征无标注实体类别, 从而可以借鉴多条有标注实体类别句子的组合向量来训练一个无标注实体类别. 因此在模型的输入端, 将无标注实体类别的映射类别集所在的句子向量作为向量集输入, 即所谓按组输入. 由式(2)可知,
${t_1} , {t_2} , \cdots , {t_n}$ 组成了无标注类别$ {t_m^{'}} $ 的映射类别集合, 假设在有标注数据集A中有$ {v_1} $ 条句子标注为$ {t_1} $ 类别, 形成集合$ {S_{t_1}}, $ 有$ {v_2} $ 条句子标注为$ {t_2} $ 类别, 形成集合$ {S_{t_2}}, $ 以此类推, 有$ {v_n} $ 条句子标注为$ {t_n} $ 类别形成集合$ {S_{t_n}}, $ 则为了训练类别$ {t_m^{'}} ,$ 输入端从对应的${S_{t_1}} ,{S_{t_2}} , \cdots,$ $ {S_{t_n}} $ 中分别任选一条句子组成输入句子向量集合$ \left\{ {{ s}_1},\right. $ $\left.{{ s}_2},\cdots,{{ s}_n} \right\},$ 其中,$ {{{ s}_1} \in S_{t_1}}, $ ${{{ s}_2} \in S_{t_2}} ,\cdots, {{{ s}_n} \in S_{t_n}}.$ 2.4 注意力机制
2.4.1 单词级注意力机制
本文使用BiLSTM网络结合单词级别注意力机制的方法获得有标注实体的上下文表示. 长短期记忆网络(LSTM)的“门” 设计可以学习长期依赖信息, 通过门来控制输入信息流入记忆细胞的比例, 以及从以前的状态中忘记信息的比例. BiLSTM网络包含两个子网络, 一个称为前向LSTM, 另一个称为后向LSTM, 这是两个不同参数的网络. 对于给定的包含
$ q $ 个单词的句子$ s $ = (${x_1} , {x_2} , \cdots ,$ $ {x_q} $ ), 用两个LSTM结构分别计算句子中每个单词的左上下文表示$ {\overrightarrow{h_i}} $ 和右上下文表示$ {\overleftarrow{h_i}} $ .$ {h_i} $ 为单词$ {x_i} $ 的上下文信息($ {1 \leq i \leq q} $ ), 连接其左右上下文表示为:$ h_i = {\left[ {\overrightarrow{h_i}};{\overleftarrow{h_i}} \right]} $ . 将BiLSTM网络产生的向量集合${\left\{ {\pmb h_{1}},{\pmb h_{2}},\cdots,{\pmb h_{q}} \right\}}$ 组合成矩阵$ H $ . 根据文献[20]中所提的方法, 我们应用单词级别的注意力机制, 让模型选择信息更丰富的单词进行训练. 最终语义上下文表示$ C $ 由这些向量的加权和组成:$$ G = {\rm \tanh} (H) $$ (3) $$ {\alpha} = {\rm Softmax} (w^{{\rm T}}G) $$ (4) $$ C = H{\alpha^{{\rm T}}} $$ (5) ${H \in {\bf R}^{d_s \times q}}$ , 其中$ {d_s} $ 是LSTM网络隐藏单元的个数,$ q $ 是句子单词个数,$ w $ 是一个预训练的参数向量.$ w $ 、$ {\alpha} $ 、$ C $ 的维度分别是$ {d_s} $ 、$ q $ 、$ {d_s} $ .2.4.2 实体级注意力机制
根据之前获得的映射类别集合, 组合有标注实体类别的语义特征得到无标注实体类别的近似语义特征. 这里我们采用实体级别的注意力机制进行特征组合. 根据类别语义相似的实体其上下文语境也应该相似的特点, 我们采用第2.2节的方法选择
$ n $ 个有标注实体类别组合成无标注实体类别的映射类别集合, 每个有标注实体类别在集合中的权重根据相似度大小分配, 与无标注实体类别最相似的实体类别在最后形成的总特征中权重最大. 相似度权重$ {\alpha} $ 计算方法如下:$$ {\alpha_{i}} = \dfrac{{\rm \exp\!}({e_{i}})}{{\sum\limits_{k = 1}^n} {\rm \exp\!}({e_{k}})},\qquad 1 \leq i \leq n $$ (6) 其中,
$ {e_i} $ 是无标注实体类别$ {t_m^{'}} $ 的的映射类别集中的实体类别$ {t_i} $ 与$ {t_m^{'}} $ 的语义相似度.$ {\alpha_i} $ 为归一化后的语义相似度权重值. 获得每个有标注实体类别的权重后, 将有标注实体类别语义特征进行组合, 用来近似表示无标注实体类别的语义特征. 语义特征组合公式如下:$$ C_{t_m^{'}} = \sum_{i = 1}^n {{\alpha_{i}}}\times {C_{t_{i}}} $$ (7) 其中,
$ {C_{t_m^{'}}} $ 是无标注实体类别$ {t_m^{'}} $ 的上下文语义特征,$ {C_{t_i}} $ 是$ {t_m^{'}} $ 的映射类别集合中的实体$ {t_i} $ 基于上节的单词级注意力机制得到的上下文特征. 最后将基于实体级注意力机制得到的$ {t_m^{'}} $ 的近似上下文特征$ {C_{t_m^{'}}} $ 输入$ {\rm Softmax} $ 分类器预测其实体类别$ {\hat{y}} $ :$$ {\hat{p}(y|{C_{t_m^{'}}})} =\\ {{\rm softmax}(W{C_{t_m^{'}}}+b)} $$ (8) $$ {\hat{y}} = {\rm argmax}\ {\hat{p}}(y|{C_{t_m^{'}}}) $$ (9) 实验中本文采用L2正则化方法防止过拟合,
$ {\rm Softmax} $ 的损失函数如下, 其中$ {\lambda} $ 代表L2正则化参数,$ {\theta} $ 代表模型的所有参数.$$ J({\theta}) = -\frac{1}{N} \begin{matrix} \sum\limits_{i = 1}^N {{\rm \log}_2({\hat{p}}({y_{i}}|{C_{t_m^{'}}}))+{\lambda}\left \|{\theta}\right \|}\end{matrix}^2 $$ (10) 3. 实验
为了证明本文提出方法的优越性, 本节设置了几组对比实验. 通过比较TLERMAM模型与其他模型在实现跨领域迁移细粒度实体分类任务时的性能, 以及TLERMAM模型在不同迁移规模下的效果来说明本文提出方法的有效性.
3.1 数据集
本文使用公开的FIGER数据集[13]对模型进行评价. FIGER是用于英文细粒度命名实体分类的数据集, 包含标准的训练集和测试集. FIGER数据集包含113种细分的细粒度实体类别. FIGER数据集的训练数据的获取使用了远程监督方法, 通过映射语料库(维基百科)的语料与Freebase等知识库中的相同实体自动生成. FIGER数据集的测试数据主要是由Ling等手动标注的新闻报道句子组成.
我们使用Shimaoka等[15]提供的处理后的FIGER数据集进行实验. 每条训练数据包含实体mention的起始位置、终止位置、句子、mention和实体label. 由于远程监督方法在为实体打标签时未考虑实体的上下文, 导致一个实体可能有多个标签, 这种噪声数据会影响模型的性能, 因此我们在原始数据集的基础上过滤掉了含有多个标签的句子, 实体类数同时减少.
3.2 评价指标
本文采用准确率(Accuracy, Acc), 宏平均F1值(Macro-averaging F1-Measure, Macro F1)和微平均F1值(Micro-averaging F1-Measure, Micro F1)评价模型性能. 现存的细粒度实体分类模型中广泛使用以上三种评价方法.
根据样例的真实类别与模型预测类别的组合, 可以分为真正例、假正例、真反例和假反例, 如表1所示.
表 1 混淆矩阵Table 1 Confusion matrix预测情况 正例 反例 真实情况 正例 TP (真正例) FN (假反例) 反例 FP (假正例) TN (真反例) 精确率(Precision, P)、召回率(Recall, R)、F1值和准确率(Acc)的计算公式如下:
$$ P = \frac {TP}{TP+FP}, R = \frac {TP}{TP+FN}, F1 = 2 \times \frac{P \times R}{P+R} $$ (11) $$ Acc = \frac {TP+TN}{TP+TN+FP+FN} $$ (12) 宏平均F1值, 先计算每一个实体类的统计指标值, 然后再对所有类求算术平均值, 计算公式如下:
$$ F1_{Macro} = \frac{1}{n} \begin{matrix} \sum\limits_{i = 1}^n F1_i \end{matrix} $$ (13) 其中,
$ {n} $ 为实体类别的数量,$ {F1_i} $ 表示第$ i $ 类实体的F1值.微平均F1值, 对测试数据中的每一个进行不分类统计, 然后计算相应指标. 计算公式如下:
$$ P_{Micro} = \frac{\begin{matrix} \sum\limits_{i = 1}^n {TP_{i}} \end{matrix}}{\left(\begin{matrix} \sum\limits_{i = 1}^n {TP_{i}} \end{matrix}+\begin{matrix} \sum\limits_{i = 1}^n {FP_{i}} \end{matrix}\right)} $$ (14) $$ R_{Micro} = \frac{\begin{matrix} \sum\limits_{i = 1}^n {TP_{i}} \end{matrix}}{\left(\begin{matrix} \sum\limits_{i = 1}^n {TP_{i}} \end{matrix}+\begin{matrix} \sum\limits_{i = 1}^n {FN_{i}} \end{matrix}\right)} $$ (15) $$ F1_{Micro} = 2 \times \left(\frac{P_{Micro} \times R_{Micro}}{P_{Micro}+R_{Micro}}\right) $$ (16) 3.3 实验设置
本文实验采用Tensorflow框架, 并使用NVIDIA的1080显卡进行了加速. 其他实验设置情况如下:
1)预训练词向量. 与随机初始化的词向量相比, 使用预训练的词向量可以取得更好的效果. 本文采用了300维的实值向量表示单词的词向量. Glove词向量模型[21]是一种广泛使用的词向量模型, 其基于词共现结构以无监督的方式学习单词的向量表示, 具有比较优秀的准确性, 因此本次实验我们使用了Glove词向量模型.
2)参数设置. 模型的超参数包括Adam Optimizer的学习速率
$ {L_r} ,$ 位置嵌入维度$ {D_p} ,$ LSTM层$ {D_s} $ 的状态大小, 批大小$ B, $ LSTM层的输入丢失保持概率$ {P_i} $ 和输出丢失保持概率$ {P_o} ,$ L2正则化参数$ {\lambda} .$ 通过评估每个数据集的开发集上的模型性能获得的这些超参数的值可以在表2中找到.表 2 超参数设置Table 2 Hyper-parametric settings table$L_r$ $D_w$ $D_p$ $B$ $P_i$ $P_o$ $\lambda$ 0.0002 180 85 256 0.7 0.9 0.0 3.4 相似领域的算法对比
我们将FIGER集中每一个实体大类中的多个子类别随机分成了两组, 得到了两个完全不同的实体类别集合A和
$A'. $ 接着我们将FIGER数据集的句子语料根据划分的两个实体类别集进行分割, 由于已经过滤掉包含标签的噪声数据, 所以此时不会出现无法归类的句子. A作为源领域, 其所对应的句子集合作为有标注数据集, 隐去A′对应的句子集的标注信息, 将其作为无标注的目标领域, 数据集规模见表3.表 3 数据集规模表Table 3 Datasets size table有标注数据集 (源领域) 无标注数据集 (目标领域) 类别数量 50 30 mention 数量 896 914 229 685 Token 数量 15 284 525 3 929 738 本节将本文提出的TLERMAM模型与其他先进的命名实体识别模型进行了对比. TransNER模型是Lee等[17]提出的一种用于迁移命名实体识别的模型. FNET模型是Abhishek等[18]等提出的一个可用于细粒度实体分类的迁移NER模型. 当目标领域的句子集合完全无标注时, 我们用实体类别集A对应的标注句子集训练TransNER和FNET模型. 在训练TLERMAM模型时, 我们将映射实体的句子语料、各映射实体类别与目标实体类别的相似度信息以及目标实体类别标签一同输入模型, 采用第2节的方法训练模型, 然后在测试集上对三种算法进行对比, 对比结果如表4所示.
表 4 无标注领域不同模型对比实验Table 4 Comparative experiment of different models inunlabeled field模型 Acc Macro F1 Micro F1 TransNER 0.051 0.035 0.041 FNET 0.026 0.027 0.028 TLERMAM 0.369 0.290 0.355 我们从A′中抽取少量句子增加标注(大约10 %)作为稀疏标注语料, 借助稀疏标注语料, 在之前已有的模型基础上, 继续训练TransNER、FNET和TLERMAM模型, 并在测试集上测试效果. 实验对比结果如表5.
表 5 稀疏标注领域不同模型对比实验Table 5 Comparison experiment of different models in the field of sparse annotation模型 Acc Macro F1 Micro F1 TransNER 0.500 0.337 0.534 FNET 0.523 0.329 0.447 TLERMAM 0.805 0.487 0.805 从表4和表5中可以看出, 无论是在无标注语料的情况还是有稀疏标注语料的情况, TLERMAM模型表现出的效果比TransNER和FNET都要好. 在目标领域完全无标注语料时, 我们的模型从跨领域的映射实体的上下文中提取到了无标注实体的近似语义特征, 将其用于训练目标领域的实体分类, 从而取得了比其他算法更好的效果. 在目标领域具有稀疏标注语料时, 我们采用迁移算法构建的模型比其他两种算法(先基于其他领域的语料训练一个模型, 再基于稀疏语料调参)同样具有更好的效果. 另外, 从实验结果可以看出TLERMAM模型宏平均值均明显低于微平均值, 这是因为FIGER数据集各类实体语料数量并不平均. 部分目标实体映射实体语料不足, 导致其特征表示不能有效表达目标实体的语义, 模型对其的识别效果较差, 拉低了整体的平均值.
为了验证两个领域规模的差异大小对模型性能的影响, 本节做了以下对比实验. 迁移规模指源领域与目标领域之间实体数量的比例, 我们设置了几种不同的迁移规模, 逐渐减少目标无标注实体集合的大小, 增大有标注领域实体集合的大小.
我们还比较了不同映射类别集合大小(window)对模型性能的影响. 同时, 为了与固定的window对比, 我们采用了设置阈值选取映射实体的方法, 只选用与目标实体类别的语义相似度大于某一阈值的映射实体类别. 实验结果如图3.
图 3 迁移规模与实体类别映射集规模对比图Fig. 3 Transfer scale and entity type mapping set scale contrast chart从图3中得出的实验效果可以看出, 随着有标注领域数据集比例的增加, 模型效果也在提高, 因为源领域的有标注实体类别越多, 就可以为目标领域提供更多的相似实体类别, 为目标领域提供更接近的语义特征, 使无标注实体类别的近似语义特征与真实语义接近.
另外, 当window为3 (即目标实体类的映射类别集的类别数为3)时比window为1和5时, 实验效果都要更好, 说明单纯的扩大映射类别集的元素数量并没有使模型性能提升, 反而使效果下降, 原因是新增加的映射实体类别与目标实体类别相似度较低, 增加较低相似度的映射实体类别会给目标实体类别带来噪声, 使模型训练时偏移目标实体类别的真实语义, 导致预测准确度下降. 在当前数据集情况下, 经过反复实验证明, 在window为3时, 效果最好.
最后, 设置语义相似度阈值
$ {\theta} $ 后模型效果较固定窗口数量总体上更好, 这表明只选取与目标实体类别更相似的有标注实体类别组合得到的目标实体类别的语义特征更接近真实, 这虽然会导致每个无标注实体类别的映射实体类别集合大小不固定, 但映射集合中的实体类别更为可靠, 它们的语义特征与目标实体类别更接近, 有利于获得与目标实体类别更相近的语义特征. 在当前数据集情况下, 经过反复实验证明, 在阈值$ {\theta} $ = 0.33时, 效果最好.3.5 无关领域的算法对比
为了验证本模型的通用性, 我们构造了两个看似无关的领域集合, 从FIGER数据集中抽取了一个军事领域集合作为无标注目标领域, 又抽取了一个文化领域数据集作为源领域. 其中军事领域共有9种实体类别, 文化领域共有25种实体类别. 各领域实体类别见表6, 数据集规模见表7.
表 6 军事领域和文化领域的实体类别集Table 6 Entity type set of military field andculture field领域 实体类别 军事 terrorist_organization, weapon, attack, soldier, military, terrorist_attack, power_station, terrorist, military_conflict 文化 film, theater, artist, play, ethnicity, author, written_work, language, director, music, musician, newspaper, election, protest, broadcast_network, broadacast_program, tv_channel, religion, educational_institution, library, educational_department, educational_degree, actor, news_agency, instrument 表 7 军事领域和文化领域的数据集规模表Table 7 Dataset size of military field and culture field有标注数据集 (文化领域) 无标注数据集 (军事领域) 类别数量 25 9 mention 数量 226 734 126 036 Token 数量 3 927 700 2 104 890 以军事领域作为迁移的目标领域, 文化领域作为源领域. 对军事领域的每类实体, 使用文化领域的实体对其做映射, 构建映射类别集, 映射window选取为3. 使用TLERMAML模型与其他先进的命名实体识别模型(TransNER模型、FNET模型)进行对比. 对比实验见表8和表9.
表 8 无标注语料的军事领域实体识别效果比较Table 8 Comparison of entity recognition in unlabeledmilitary field模型 Acc Macro F1 Micro F1 TransNER 0.040 0.023 0.012 FNET 0.013 0.014 0.029 TLERMAM 0.257 0.339 0.339 表 9 稀疏标注语料的军事领域识别对比Table 9 Comparison of entity recognition in military field with sparse annotated corpus模型 Acc Macro F1 Micro F1 TransNER 0.338 0.204 0.285 FNET 0.460 0.424 0.537 TLERMAM 0.572 0.504 0.559 从表8和表9中可以看出, 在两种对比实验中TLERMAM模型均取得更好的效果. 由于军事领域和文化领域实体类别的相似度较低, 模型获取得的近似特征有限, 因此实体类别的识别效果低于第3.4节相似领域的模型效果, 但是仍然较其他算法有很大优势, 从而也证明了本文算法的适用范围不仅局限在相似领域.
4. 结论
本文提出了一种基于迁移学习的跨领域细粒度实体分类的方法, 通过构建有标注领域的实体类别与无标注领域的实体类别间的语义映射关系, 借助源领域的标注信息构造目标领域的映射语义特征, 并结合注意力机制实现迁移学习. 通过对比实验证明, 当源领域与目标领域越接近且源领域语料更丰富时, 在目标领域的实体分类效果越好. 同时, 实验证明我们的方法不仅可以在完全没有标注语料领域进行命名实体识别任务, 在有稀疏标注语料的领域同样可以更好地完成实体分类任务.
-
图 1 基于短文本情感增强的在线学习行为预测方法框架
Fig. 1 Short-text sentiment enhanced achievement prediction method for online learners framework
图 2 在线学习社区短文本表示模型
Fig. 2 Sentiment classification model for online learning community short text
图 3 学习状态建模与成绩预测过程
Fig. 3 Learning state modeling and achievement prediction process framework
图 7 学习状态呈现正向变化的学习者占区间总学习者的比率(积极情感)
Fig. 7 The ratio of learners who have a positive change in learning status to the total learner in the interval (positive emotions)
表 1 不同类别课程的数量
Table 1 Number of different types of courses
课程类别 课程 合计课程数量数量 (门) 工科 计算机科学, 电子工程 5 理科 物理 2 文科及其他 历史，体育 4 
下载: 导出CSV
表 4 模型部分使用的特征
Table 4 Part features used in the model
特征类别 特征个数 部分特征 统计特征 8+ 性别、年龄、教育层次、相关先行课成绩等 学习行为特征 16+ 发帖次数、被回帖次数、观看教学视频时间、知识点测验成绩等
下载: 导出CSV
表 2 不同类别课程的人数及发帖数量
Table 2 Number of people and post in different type courses
课程类别 平均学习者人数 (人) 每个知识点下的发/回帖数量 (个) 工科 2 326 3 200 理科 2 681 1 520 文科及其他 2 170 1 060
下载: 导出CSV
表 3 不同类别课程的情感类别分布
Table 3 Distribution of sentiment categories in different type courses
课程类别 情感类别分布 (约简为整数), 积极/消极/疑惑/正常情绪 (%) 工科 16/14/37/33 理科 21/19/27/33 文科及其他 29/12/22/37
下载: 导出CSV
表 5 工程类课程的情感分类结果
Table 5 Sentiment classification results of engineering courses
方法 ACC RMSE Trigram 0.373 1.754 TextFeature 0.415 1.789 SSWE 0.353 1.976 RNN + RNN 0.432 1.673 Paragraph Vector 0.379 1.834 DMGRNN 0.506 1.394 HAN 0.532 1.281 本文方法 0.573 1.185
下载: 导出CSV
表 7 文科及其他类课程的情感分类结果
Table 7 Sentiment classification results of no-science courses
方法 ACC RMSE Trigram 0.549 0.814 TextFeature 0.562 0.811 SSWE 0.568 0.864 RNN + RNN 0.585 0.806 Paragraph Vector 0.578 0.772 DMGRNN 0.650 0.685 HAN 0.677 0.633 本文方法 0.706 0.584
下载: 导出CSV
表 6 理科类课程的情感分类结果
Table 6 Sentiment classification results of science courses
方法 ACC RMSE Trigram 0.543 0.822 TextFeature 0.556 0.850 SSWE 0.550 0.851 RNN + RNN 0.580 0.786 Paragraph Vector 0.556 0.821 DMGRNN 0.644 0.696 HAN 0.674 0.652 本文方法 0.693 0.628
下载: 导出CSV
表 8 工科类课程的成绩预测结果
Table 8 Achievements prediction results of engineering courses
方法 Accuracy RMSE MR− 0.566 0.479 MR+ 0.590 0.452 MLP− 0.583 0.464 MLP+ 0.603 0.437 XGBoost− 0.679 0.335 XGBoost+ 0.697 0.284 FM 0.674 0.326 LadFG 0.818 0.226 SEAP 0.874 0.095
下载: 导出CSV
表 10 文科及其他类课程的成绩预测结果
Table 10 Achievements prediction results of no-science courses
方法 Accuracy RMSE MR− 0.648 0.409 MR+ 0.664 0.336 MLP− 0.652 0.340 MLP+ 0.688 0.307 XGBoost− 0.701 0.281 XGBoost+ 0.743 0.269 FM 0.726 0.222 LadFG 0.874 0.154 SEAP 0.924 0.051
下载: 导出CSV
表 9 理科类课程的成绩预测结果
Table 9 Achievements prediction results of science courses
方法 Accuracy RMSE MR− 0.598 0.430 MR+ 0.612 0.419 MLP− 0.618 0.408 MLP+ 0.643 0.372 XGBoost− 0.689 0.295 XGBoost+ 0.709 0.278 FM 0.687 0.295 LadFG 0.803 0.203 SEAP 0.902 0.084
下载: 导出CSV
-
[1] Seaton D T, Bergner Y, Chuang I, Mitros P, Pritchard D E. Who does what in a massive open online course? Communications of the ACM, 2014, 44(4): 58−65 [2] Kizilcec R F, Piech C, Schneider E. Deconstructing disengagement: Analyzing learner subpopulations in massive open online courses. In: Proceedings of the 3rd International Conference on Learning Analytics and Knowledge. Leuven, Belgium: ACM, 2013. 170−179 [3] Fujita H. Neural-fuzzy with representative sets for prediction of student performance. Applied Intelligence, 2019, 49(1): 172−187 doi: 10.1007/s10489-018-1262-7 [4] Guay F, Bureau J S. Motivation at school: Difierentiation between and within school subjects matters in the prediction of academic achievement. Contemporary Educational Psychology, 2018, 54(1): 42−54 [5] Bergold S, Steinmayr R. Personality and intelligence interact in the prediction of academic achievement. Journal of Intelligence, 2018, 6(2): 27−27 doi: 10.3390/jintelligence6020027 [6] Gardner J, Brooks C. Student success prediction in MOOCs. User Modeling and User-Adapted Interaction, 2018, 28(2): 127−203 doi: 10.1007/s11257-018-9203-z [7] Fujita H. Neural-fuzzy with representative sets for prediction of student performance. Applied Intelligence, 2019, 49(1): 172−187 doi: 10.1007/s10489-018-1262-7 [8] Dalipi F, Imran A S, Kastrati Z. MOOC dropout prediction using machine learning techniques: Review and research challenges. In: Proceedings of the 2018 Global Engineering Education Conference. Albuquerque, USA: IEEE, 2018. 1007−1014 [9] Conijn R, Van den Beemt A, Cuijpers P. Predicting student performance in a blended MOOC. Journal of Computer Assisted Learning, 2018, 34(5): 612−628 [10] Corbett A T, Anderson J R. Knowledge tracing: Modeling the acquisition of procedural knowledge. User Modeling and User-Adapted Interaction, 1994, 4(4): 235−278 [11] Piech C, Bassen J, Huang J, Ganguli S, Sahami M, Guibas L, Sohl-Dickstein J. Deep knowledge tracing. Computer Science, 2015, 3(3): 19−23 [12] Zhang J N, Shi X J, King I, Yeung D Y. Dynamic key-value memory network for knowledge tracing. In: Proceedings of the 26th International Conference on World Wide Web Conferences, Perth, Western Australia: ACM, 2017. 765−774 [13] Embretson S E, Reise S P. Item response theory for psychologists. Quality of Life Research, 2004, 13(3): 715−716 doi: 10.1023/B:QURE.0000021503.45367.f2 [14] Torre J D L. DINA model and parameter estimation: A didactic. Journal of Educational and Behavioral Statistics, 2009, 34(1): 115−130 [15] Liu Q, Wu R Z, Chen E H, Xu G D, Su Y, Chen Z G, Hu G P. Fuzzy cognitive diagnosis for modelling examinee performance. ACM Transactions on Intelligent Systems and Technology, 2018, 9(4): 1−26 [16] Anderson A, Huttenlocher D, Kleinberg J, Leskovec J. Engaging with massive online courses. In: Proceedings of the 23rd International Conference on World Wide Web. New York, USA: ACM, 2014. 687−698 [17] Ramesh A, Goldwasser D, Huang B, Daumé H, Getoor L. Learning latent engagement patterns of students in online courses. In: Proceedings of the 28th AAAI Conference on Artiflcial Intelligence. Québec, Canada: AAAI, 2014.1272−1278 [18] Bayer J, Bydžovská H, Géryk J, Obšívač T, Popelínský L. Predicting drop-out from social behaviour students. In: Proceedings of the 4th International Conference on Educational Data Mining. Eindhoven, Netherlands: IEDM 2012. 103−109 [19] Sweeney M, Rangwala H, Lester J, Johri A. Next-term student performance prediction: A recommender systems approach. In: Proceedings of the 8th International Conference on Educational Data Mining. Madrid, Spain: IEDM. 2016. 7−7 [20] Ren Z, Xia N, Rangwala H. Grade prediction with temporal course-wise influence. arXiv:1709.05433, 2017. [21] Qiu J Z, Tang J, Liu T X, Gong J, Zhang C H, Zhang Q, Xue Y F. Modeling and predicting learning behavior in MOOCs. In: Proceedings of the 2016 ACM International Conference on Web Search and Data Mining. San Francisco, USA: ACM, 2016. 93−102 [22] Yang H, Cheung L P. Implicit heterogeneous features embedding in deep knowledge tracing. Cognitive Computation, 2018, 10(1): 3−14 doi: 10.1007/s12559-017-9522-0 [23] Zhang L, Xiong X L, Zhao S Y, Botelho A F, Heffernan N T. Incorporating rich features into deep knowledge tracing. In: Proceedings of the 4th ACM Conference on Learning Scale. Cambridge, USA: ACM, 2017. 169−172 [24] Huang Y. Deeper knowledge tracing by modeling skill application context for better personalized learning. In: Proceedings of the 2016 Conference on User Modeling Adaptation and Personalization. Halifax, Canada: ACM, 2016. 325−328 [25] Su Y, Liu Q W, Liu Q, Huang Z Y, Yin Y, Chen E H, Ding C, Wei S, Hu G P. Exercise-enhanced sequential modeling for student performance prediction. In: Proceedings of the 32nd AAAI Conference on Artiflcial Intelligence. New Orleans, USA: AAAI, 2018. 2435−2443 [26] Feng W Z, Tang J, Liu T X. Understanding dropouts in MOOCs. In: Proceedings of the 32nd AAAI Conference on Artiflcial Intelligence, Hawaii, USA: AAAI, 2019. [27] Wen M M, Yang D Y, Rosé C P. Sentiment analysis in MOOC discussion forums: What does it tell us? In: Proceedings of the 6th International Conference on Educational Data Mining. London, UK: IEDM, 2014. 130−138 [28] Tucker C, Pursel B K, Divinsky A. Mining studentgenerated textual data in MOOCs and quantifying their effects on student performance and learning outcomes. The ASEE Computers in Education Journal, 2014, 5(4): 84−84 [29] Chaplot D S, Rhim E, Kim J. Predicting student attrition in MOOCs using sentiment analysis and neural networks. In: Proceedings of the 2015 Workshops at the 17th International Conference on Artiflcial Intelligence in Education. Madrid, Spain: CEUR-WS.org, 2015. 7−12 [30] 冯冲, 康丽琪, 石戈, 黄河燕. 融合对抗学习的因果关系抽取. 自动化学报, 2018, 44(5): 811−818Feng Chong, Kang Li-Qi, Shi Ge, Huang He-Yan. Causality extraction with GAN. Acta Automatica Sinica, 2018, 44(5): 811−818 [31] 郝洺, 徐博, 殷绪成, 王方圆. 基于n-gram频率的语种识别改进方法. 自动化学报, 2018, 44(3): 453−460Hao Ming, Xu Bo, Yin Xu-Cheng, Wang Fang-Yuan. Improve language identiflflcation method by means of n-gram frequency. Acta Automatica Sinica, 2018, 44(3): 453−460 [32] 侯丽微, 胡珀, 曹雯琳. 主题关键词信息融合的中文生成式自动摘要研究. 自动化学报, 2019, 45(3): 530−539Hou Li-Wei, Hu Po, Cao Wen-Lin. Automatic Chinese abstractive summarization with topical keywords fusion. Acta Automatica Sinica, 2019, 45(3): 530−539 [33] Wu Z, Dai X Y, Yin C Y, Huang S J, Chen J J. Improving review representations with user attention and product attention for sentiment classiflcation. In: Proceedings of the 32nd AAAI Conference on Artiflcial Intelligence. New Orleans, USA: AAAI, 2018. 5989−5996 [34] Pennington J, Socher R, Manning C. Glove: Global vectors for word representation. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Doha, Qatar: ACL, 2014: 1532−1543 [35] Ramesh A, Kumar S H, Foulds J, Getoor L. Weakly supervised models of aspect-sentiment for online course discussion forums. In: Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing. Beijing, China: ACL, 2015. 74−83 [36] Fan R E, Chang K W, Hsieh C J, Wang X R, Lin C J. LIBLINEAR: A library for large linear classiflcation. Journal of Machine Learning Research, 2008, 9(9): 1871−1874 [37] Kiritchenko S, Zhu X D, Mohammad S M. Sentiment analysis of short informal text. Journal of Artiflcial Intelligence Research, 2014, 50(1): 723−762 [38] Socher R, Perelygin A, Wu J Y, Chuang J, Manning C D, Ng A, Potts C. Recursive deep models for semantic compositionality over a sentiment treebank. In: Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing. Seattle, USA: ACL, 2013. 1631−1642 [39] Le Q V, Mikolov T. Distributed representations of sentences and documents. In: Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing. Seattle, USA: ACL. 2013: 1631−1642 [40] Tang D Y, Qin B, Liu T. Document modeling with gated recurrent neural network for sentiment classiflcation. In: Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Lisbon, Portuga: ACL. 2015: 1422−1432 [41] Yang Z C, Yang D Y, Dyer C, He X D, Smola A, Hovy E. Hierarchical attention networks for document classiflcation. In: Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. San Diego, USA: ACL, 2016: 1480−1489 期刊类型引用(15)
1. 吕慧，单鹏飞，冯萌萌. 基于Transformer模型的学生成绩预测方法. 辽东学院学报(自然科学版). 2024(03): 221-228 . 
百度学术2. 唐茜. 基于教育数据挖掘的学生画像构建与学情预测分析研究. 现代信息科技. 2023(04): 193-198 . 百度学术3. 韩开旭，袁淑芳. 基于混合机器学习模型的短文本语义相似性度量算法. 吉林大学学报(理学版). 2023(04): 909-914 . 百度学术4. 罗文劼，肖梓良. 结合图卷积的在线编程系统成绩预测模型. 计算机工程与设计. 2023(09): 2769-2776 . 百度学术5. 徐艳华，周荣亚. 基于大数据神经网络算法的学生成绩分析与预测模型仿真. 电子设计工程. 2022(11): 108-112 . 百度学术6. 党佳俊，张宏烈，慕钢，李诚，张晓琳. 面向学生成绩预测的组合优化算法. 高师理科学刊. 2022(05): 40-46 . 百度学术7. 赵艺璇. 在线学习者学习状态评测方法:述评与展望. 黑龙江生态工程职业学院学报. 2022(04): 117-123 . 百度学术8. 徐琦，刘兴红，余亚烽，陈雪，张涵. 在线教育环境下基于学习者画像的成绩预测研究. 考试研究. 2022(05): 89-99 . 百度学术9. 李菲，曹阳，顾问. 基于秩相关性分析的学生在线学习效果预测方法. 信息技术与信息化. 2022(09): 99-102 . 百度学术10. 李菲，曹阳，顾问. 学生在线学习行为分类融合方法的研究与应用. 电脑与电信. 2022(08): 27-31 . 百度学术11. 陈妍，罗雪琴，梁伟，谢永芳. 基于情感信息融合注意力机制的抑郁症识别. 智能科学与技术学报. 2022(04): 600-609 . 百度学术12. 况姗芸，郑美秋，钟玲，卢昀. 在线学业情绪：类型与测量. 教育信息技术. 2022(11): 3-9+30 . 百度学术13. 纪南巡，孙晓燕，李祯其. 多源异构用户生成内容的融合向量化表示学习. 计算机科学. 2021(10): 51-58 . 百度学术14. 靳现凯，宋威. 基于DNN的大学生学业成绩预测方法研究——以北京市某高校电子信息类专业为例. 北方工业大学学报. 2021(05): 134-140 . 百度学术15. 曹洪江，谢金. 基于LSTM的学习成绩预测及其影响因素方法研究. 北京邮电大学学报(社会科学版). 2020(06): 90-100 . 百度学术其他类型引用(11)
-
下载:
计量
- 文章访问数: 1835
- HTML全文浏览量: 219
- PDF下载量: 240
- 被引次数: 26
