-
摘要: 群组推荐在信息检索与数据挖掘领域近年来备受关注, 其旨在从海量候选集中挑选出一组用户可能感兴趣的项目. 随着深度学习技术的不断发展, 基于深度学习的群组推荐方法大量涌现. 鉴于此, 首先介绍群组推荐问题的背景知识, 然后系统综述数据获取方法, 全面评述近年来基于深度学习的群组推荐算法, 并进行系统分类与深入分析. 此外, 还归纳了适用于深度学习方法的群组推荐数据集和评价方法, 对各类推荐算法进行对比实验分析与讨论. 最后, 针对本领域的研究难点进行深入探讨, 并提出未来有待深入研究的方向.Abstract: Group recommendation has emerged as a highly active research topic in the fields of information retrieval and data mining in recent years. Its objective is to select a group of items from a large candidate set that is likely to be of interest to a set of users. With the advancement of deep learning, numerous group recommendation methods based on deep learning have been proposed. This paper provides a brief introduction to the background knowledge of this problem. It reviews the methods of data acquisition and conducts a comprehensive review, systematic classification, and in-depth analysis of group recommendation algorithms based on deep learning. In addition, this paper outlines some group recommendation datasets and evaluation methods suitable for deep methods, and conducts comparative experimental analysis and discussion on various recommendation algorithms. Finally, the research challenges in this field were analyzed, and valuable future research directions were discussed.
-
自编码器(Autoencoder, AE)[1]是一种非线性无监督神经网络, 也是一种无监督特征提取与降维方法, 通过非线性变换将输入数据投影到潜在特征空间中. AE由编码器和解码器组成, 可将输入数据编码为有意义的压缩表示, 然后对该表示进行解码使得解码输出与原始输入相同, 即解码器输出和输入数据间的重构误差最小. 当投影的潜在特征空间维数低于原始空间时, AE可视为非线性主成分分析的一种表示形式[1]. 随着深度学习的成功, 其在多个领域取得了重要突破[2], 而深度自编码器作为一种无监督深度神经网络被用于数据降维[3-4]、图像降噪[5]和信号处理[6-7]以提取数据的深层表示特征. 例如深度子空间聚类(Deep subspace clustering, DSL-l1)[8]通过深度自编码器对稀疏子空间聚类进行扩展, 在深度自编码器的编码器和解码器间引入自表达层, 用反向传播算法对编码器的输出进行自表示系数矩阵的学习, 以该自表示系数矩阵作为原始样本的相似度矩阵. DSL-l1模型是全连接卷积神经网络并使用l1范数, 求解模型的反向传播算法时间及空间复杂度较高. 为提高计算效率, 需先执行主成分分析法对数据降维.
无监督的极限学习机自编码器(Extreme learning machine autoencoder, ELM-AE)[9]是一种单隐层前馈神经网络, 其输入层到隐层的权值和偏置值随机给定, 学习过程只需通过优化最小二乘误差损失函数即可确定隐层到输出层的权值. 最小二乘损失函数的优化问题有解析解, 可转化为Moore-Penrose广义逆问题求解[10]. 因此本质上相当于直接计算网络权值而无需迭代求解, 相比反向传播和迭代求解的神经网络学习方法, 学习速度快、泛化性能好, 因此本文以ELM-AE作为基础自编码器.
极限学习机自编码器与极限学习机(Extreme learning machine, ELM)[11]类似, 主要不同之处在于ELM-AE的网络输出为输入样本的近似估计, ELM的网络输出为输入样本的类标签. 极限学习机自编码器虽然学习速度快, 但仅考虑数据全局非线性特征而未考虑面向聚类任务时数据本身固有的多子空间结构.
除极限学习机自编码器以外, 无监督极限学习机(Unsupervised extreme learning machine, US-ELM)[12]也是一种重要的无监督ELM模型, 它采用无类别信息的流形正则项替代ELM模型中含类标签的网络误差函数, 经US-ELM投影后保持样本间的近邻关系不变. US-ELM虽考虑了样本分布的流形结构, 但其流形正则项在高维空间中易出现测度“集中现象”且未考虑不同聚簇样本间的结构差异. 在US-ELM模型基础上, 稀疏和近邻保持的极限学习机降维方法(Extreme learning machine based on sparsity and neighborhood preserving, SNP-ELM)[13]引入全局稀疏表示及局部近邻保持模型,可以自适应地学习样本集的相似矩阵及不同簇样本集的子空间结构, 其不足之处在于需迭代求解稀疏优化问题, 运行时间较长.
综合上述分析, 本文以ELM-AE为基础自编码器, 引入最小二乘回归子空间模型(Least square regression, LSR)[14]对编码器的输出样本进行多子空间结构约束, 提出子空间结构保持的极限学习机自编码器(Extreme learning machine autoencoder based on subspace structure preserving, SELM-AE)及其多层版本(Multilayer SELM-AE, ML-SELM-AE), 使面向聚类任务的高维数据经过ML-SELM-AE降维后仍能保持原样本数据的多子空间结构, 并可获取数据的更深层特征.
1. 极限学习机自编码器
极限学习机自编码器降维方法通过将输入作为网络输出学习极限学习机网络, 其学习过程分为编码和解码过程, 学习目标是最小化重构误差. 图1给出ELM-AE模型网络结构. 对于由n个样本组成的聚类数据集S={xi |xi∈X
$\subseteq $ Rn×m, i =$1,\cdots,n $ }, xi 是网络输入变量, 网络输出${{\boldsymbol{\hat x}}_i}$ 为xi 的近似估计.ELM-AE网络的目标是计算最优的隐节点到输出节点的权值矩阵
${\boldsymbol{\beta }} $ , 使得在该权值下的网络输出${{\boldsymbol{\hat x}}_i} $ 与期望输出xi 间的误差最小. 对n个样本xi (i = 1, 2$,\cdots, $ n) 组成的数据集X, ELM-AE网络的优化模型定义为:$$\mathop {{\rm{min}}}\limits_{{\boldsymbol{\beta }} \in {{\bf{R}}^{{n_h} \times m}}} \frac{{\rm{1}}}{{\rm{2}}}||{\boldsymbol{\beta }}|{|^{\rm{2}}} + \frac{c}{{\rm{2}}}||{\boldsymbol{X}} - {\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }}|{|^2}$$ (1) 其中,
${{\boldsymbol{\beta }} \in {{\bf{R}}^{{n_h} \times m}}} $ 为隐含层到输出层的权值矩阵, H(X)${{\boldsymbol{\in {\rm{R}}}}^{n{\rm{ \times }}{{{n}}_h}}}$ 为隐层输出矩阵:$$\begin{split} &{\boldsymbol{H}}{\rm{(}}{\boldsymbol{X}}{\rm{)}} = \left[ {\begin{array}{*{20}{c}} {{\boldsymbol{h}}{\rm{(}}{{\boldsymbol{x}}_{\rm{1}}}{\rm{)}}}\\ \vdots \\ {{\boldsymbol{h}}{\rm{(}}{{\boldsymbol{x}}_{{n}}}{\rm{)}}} \end{array}} \right] = \\ &\;\;\;\;\;{\left[ {\begin{array}{*{20}{c}} {{{{{g}}(}}{{{w}}_{\rm{1}}}{\rm{,}}{{{b}}_{\rm{1}}}{\rm{,}}{{\boldsymbol{x}}_{\rm{1}}}{\rm{)}}}& \cdots &{{{g}}{\rm{(}}{{{w}}_{{n_h}}},{{{b}}_{{n_h}}},{{\boldsymbol{{{x}}}}_{\rm{1}}}{\rm{)}}}\\ \vdots & \ddots & \vdots \\ {{{g(}}{{{w}}_{\rm{1}}}{\rm{,}}{{{b}}_{\rm{1}}}{\rm{,}}{{\boldsymbol{x}}_{{n}}}{\rm{)}}}& \cdots &{{{g(}}{{{w}}_{{{{n}}_{{h}}}}}{\rm{,}}{{{b}}_{{{{n}}_{{h}}}}}{\rm{,}}{{\boldsymbol{x}}_{{n}}}{\rm{)}}} \end{array}} \right]_{{{n}} \times {{{n}}_{{h}}}}} \end{split}$$ (2) h(xi) = (g(w1, b1, xi),···, g(
$w_{n_{h}}$ ,$b_{n_{h}}$ , xi))为隐层关于xi 的输出向量, nh为隐节点个数; wj 为第j个隐节点的输入权值, bj 为第j个隐节点的偏差, 输入权值wj 和隐节点偏差bj 均随机产生, 其取值区间为[−1, 1]; g(wj, bj, xi)为第j个隐节点的激励函数, 本文采用Sigmoid函数:$$g({w_i},{b_i},{\boldsymbol{x}}) = \frac{{\rm{1}}}{{{\rm{1}} + {\rm{exp(}} - {w_i}{\boldsymbol{x}} + {b_i})}}$$ (3) 模型(1)第1项与ELM模型相同, 最小化隐层到输出层的权值矩阵β的l2范数, 以控制模型的复杂度; 模型第2项为重构误差, 表示ELM-AE 网络的输出 H(X)β 与原始输入数据X 的误差, 重构误差越小, β越优. c为平衡模型复杂度和误差项的参数. 理想情况下, ELM-AE网络的输出H(X)β与真实值X相等, 即X = H(X)β, 此时误差为零.
ELM-AE模型与ELM模型不同之处在于ELM隐层到输出层的最优权矩阵β通过最小化网络输出H(X)β与真实类标签Y的误差得到; 而ELM-AE隐层到输出层的最优权矩阵β通过最小化网络输出H(X)β与输入数据矩阵X的误差得到, 因此ELM-AE可以看成是对数据矩阵X的非线性特征表示. 为实现数据降维, 增加对输入权向量w及偏置b的正交约束. 当样本xi 原始维数m大于隐节点个数nh时, 输入样本可被投影到较低维特征空间, 其对应的隐含层输出向量h(xi)为:
$$\begin{split} & {\boldsymbol{h}}({{\boldsymbol{x}}_i}) = g({\boldsymbol{w}} \cdot {{\boldsymbol{x}}_i} + {\boldsymbol{b}}) \\ &{\rm{s}}{\rm{.t}}.\quad {{\boldsymbol{w}}^{\rm{T}}}{\boldsymbol{w}} = {\boldsymbol{I}},{{\boldsymbol{b}}^{\rm{T}}}{\boldsymbol{b}} = {\rm{1}} \end{split} $$ (4) 式(1)描述的ELM-AE模型是凸优化问题且该问题仅含单变量β, 对其目标函数关于β求导并令导数等于0, 即可得到该问题的解析解如下:
$${{\boldsymbol{\beta }}^ * } = {\left[ {{\boldsymbol{H}^{ \rm T}}{{({\boldsymbol{X}})}}{\boldsymbol{H}}({\boldsymbol{X}}) + \frac{{\rm{1}}}{c}} \right]^{ - {\rm{1}}}}{\boldsymbol{H}^{\rm T}}{({\boldsymbol{X}})}{\boldsymbol{X}}$$ (5) 其中, β*是nh×m矩阵. 据文献[9], ELM-AE通过对原始高维数据X乘以隐含层与输出层间的权值矩阵β实现降维, 即X'=X(β*)T就是所需的降维后样本.
2. 子空间结构保持多层极限学习机自编码器
极限学习机自编码器ELM-AE虽然实现了无监督非线性降维, 但未考虑面向聚类任务的高维数据所蕴含的多子空间结构, 难以保证降维结果与聚类目标相匹配. 因此, 本文提出子空间结构保持极限学习机自编码器SELM-AE, 该模型在ELM-AE输出层之后增加自表示层, 使ELM-AE输出H(X)β保持输入数据X的多子空间结构不变.
2.1 子空间结构的获取
为获取数据的子空间结构, 通常采用样本矩阵作为字典, 得到数据自表示模型X=XZ (Z∈Rn×n), 即每一样本用所有其他样本的线性组合表示, 所有样本的组合系数构成自表示系数矩阵. 由此学习到的自表示系数矩阵Z隐含了样本间的相似关系与子空间结构, 理想情况下多簇数据的自表示系数矩阵具有块对角性.
文献[15]已证明, 在假设子空间独立情况下, 通过最小化Z的F范数, 可以保证Z具有块对角结构, 即当样本点xi和xj位于同一子空间时Zij≠0, 位于不同子空间时Zij = 0. 关于Z的自表示优化模型可采用最小二乘回归(LSR)模型, 即
$$ \begin{split} &\mathop {\min }\limits_{\boldsymbol{Z}} ||{\boldsymbol{Z}}|{|_{\rm{F}}}\\ &{\rm{s}}{\rm{.t}}{\rm{. }}\quad {\boldsymbol{X}} = {\boldsymbol{XZ}},\left( {{\rm{diag}}\left\{{\boldsymbol{Z}}\right\} = {\rm{0}}} \right) \end{split} $$ (6) 在实际应用中, 观测数据通常包含噪声, 噪声情况下该模型可扩展为:
$$\mathop {\min }\limits_{\boldsymbol{Z}} ||{\boldsymbol{X}} - {\boldsymbol{XZ}}||_{\rm{F}}^2 + \lambda ||{\boldsymbol{Z}}||_{\rm{F}}^2$$ (7) 模型(7)为凸优化问题, 有解析解, 其解为
${\boldsymbol{Z}} = {\left[ {{{\boldsymbol{X}}^{\rm{T}}}{\boldsymbol{X}} + \lambda {\boldsymbol{I}}} \right]^{ - {\rm{1}}}}{{\boldsymbol{X}}^{\rm{T}}}{\boldsymbol{X}}$ .2.2 子空间结构保持极限学习机自编码器(SELM-AE)
由式(7)学习得到的自表示系数矩阵Z = [Z1, ···, Zn] (Zi∈Rn为xi的表示系数), 包含数据的子空间结构信息. 为使极限学习机自编码器的网络输出
${\boldsymbol{{\hat X_1}}}$ =H(X)β仍保持这种子空间结构, 在极限学习机自编码器的输出层之后增加自表示层, 使得网络输出与输入的自表示系数相同, 即(H(X)β)T=(H(X)β)TZ. SELM-AE的网络结构如图2所示, 其中图2(a)用于根据式(7)学习X的自表示系数矩阵Z; 图2(b)在 ELM-AE 网络的输出层之后增加网络输出 H(X)β的自表示层, 使网络输出H(X)β与输入X有相同的子空间结构.图2(b)将输入数据X的自表示系数矩阵Z引入子空间结构保持的极限学习机自编码器（SELA-AE）的自表示层, 其优化模型如下:
$$ \begin{split} \mathop {\min }\limits_{\boldsymbol{\beta }} f({\boldsymbol{\beta }}) =\;& \frac{{\rm{1}}}{{\rm{2}}}||{\boldsymbol{\beta }}||_{\rm{F}}^{\rm{2}} + \frac{c}{{\rm{2}}}||{\boldsymbol{X}} - {\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }}||_{\rm{F}}^2 + \\ &\frac{\lambda }{2}||{({\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }})^{\rm{T}}} - {({\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }})^{\rm{T}}}{\boldsymbol{Z}}||_{\rm{F}}^{\rm{2}} \end{split} $$ (8) 模型前两项与式(1)描述的 ELM-AE 模型相同, 第3项则为自表示误差项, 也称子空间结构保持项, 用以使SELM-AE的网络输出H(X)β保持原始数据的子空间结构, c 是自编码重构误差项的平衡参数, λ是自表示误差项的平衡参数.
由于
$\left\| {{{\left( {{\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }}} \right)}^{\rm{T}}}{\rm{ - }}{{\left( {{\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }}} \right)}^{\rm{T}}}{\boldsymbol{Z}}} \right\|_{\rm{F}}^{\rm{2}} = {\rm{tr}}[ {{\boldsymbol{\beta }}^{\rm{T}}}{\boldsymbol{H}^{\rm T}}{{({\boldsymbol{X}})}} $ $ ({\boldsymbol{I}} - {\boldsymbol{Z}})({\boldsymbol{I}} - {\boldsymbol{Z}})^{\rm{T}} {\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }}]$ , 则式(8)可改写为$$\begin{split} \mathop {\min }\limits_{\boldsymbol{\beta }} f({\boldsymbol{\beta }}) =\;& \frac{{\rm{1}}}{{\rm{2}}}||{\boldsymbol{\beta }}||_{\rm{F}}^{\rm{2}} + \frac{c}{{\rm{2}}}||{\boldsymbol{X}} - {\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }}||_{\rm{F}}^{\rm{2}} + \\ &{\rm{ }}\frac{\lambda }{{\rm{2}}}{\rm{tr}}\left[ {{{\boldsymbol{\beta }}^{\rm{T}}}{\boldsymbol{H}^{\rm T}}{{({\boldsymbol{X}})}}({\boldsymbol{I}} - {\boldsymbol{Z}}){{({\boldsymbol{I}} - {\boldsymbol{Z}})}^{\rm{T}}}{\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }}} \right] \end{split} $$ (9) 2.3 模型求解
为求解SELM-AE模型即式(9), 可令A = (I-Z)(I-Z)T, 则式(9)等价表示为
$$\begin{split} \mathop {\min }\limits_{\boldsymbol{\beta }} f({\boldsymbol{\beta }}) =\;& \frac{{\rm{1}}}{{\rm{2}}}||{\boldsymbol{\beta }}||_{\rm{F}}^{\rm{2}} + {\rm{ }}\frac{c}{{\rm{2}}}||{\boldsymbol{X}} - {\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }}||_{\rm{F}}^{\rm{2}} + \\ & {\rm{ }}\frac{\lambda }{{\rm{2}}}{\rm{tr}}({{\boldsymbol{\beta }}^{\rm{T}}}{\boldsymbol{H}^{\rm T}}{({\boldsymbol{X}})}{\boldsymbol{AH}}({\boldsymbol{X}}){\boldsymbol{\beta }}) \end{split} $$ (10) 式(10)是凸优化问题, 对其目标函数f(β)关于β求导并令导数为0得到
$$\begin{split} \frac{{{\rm{d}}f}}{{{\rm{d}}{\boldsymbol{\beta }}}} =\;& {\boldsymbol{\beta }} - c{\boldsymbol{H}^{\rm T}}{({\boldsymbol{X}})}({\boldsymbol{X}} - {\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }}) + \\ & {\rm{ }} \lambda {\boldsymbol{H}^{\rm T}}{({\boldsymbol{X}})}{\boldsymbol{AH}}({\boldsymbol{X}}){\boldsymbol{\beta }} = {\rm{0}} \end{split} $$ 整理上述方程得到
$$\begin{split} & {\boldsymbol{\beta }} + c{\boldsymbol{H}^{\rm T}}{({\boldsymbol{X}})}{\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }} + \\ &\;\;\;\;\; \lambda {\boldsymbol{H}^{\rm T}}{({\boldsymbol{X}})}{\boldsymbol{AH}}({\boldsymbol{X}}){\boldsymbol{\beta }} = c{\boldsymbol{H}^{\rm T}}{({\boldsymbol{X}})}{\boldsymbol{X}} \end{split} $$ 提取公因子β
$$\begin{split} & \left[ {{\boldsymbol{I}} + c{\boldsymbol{H}^{\rm T}}{{({\boldsymbol{X}})}}{\boldsymbol{H}}({\boldsymbol{X}}) + \lambda {\boldsymbol{H}^{\rm T}}{{({\boldsymbol{X}})}}{\boldsymbol{AH}}({\boldsymbol{X}})} \right]{\boldsymbol{\beta }}= \\ &\qquad c{\boldsymbol{H}^{\rm T}}{({\boldsymbol{X}})}{\boldsymbol{X}} \end{split} $$ 解该方程得到以下解析解
$$\begin{split} {{\boldsymbol{\beta }}^ * } =\;& [{\boldsymbol{I}} + c{\boldsymbol{H}^{\rm{T}}}{({\boldsymbol{X}})}{\boldsymbol{H}}({\boldsymbol{X}}) +\\ & \lambda {\boldsymbol{H}^{\rm{T}}{({\boldsymbol{X}})}}{\boldsymbol{AH}}({\boldsymbol{X}}){]^{ - {\rm{1}}}}c{\boldsymbol{H}^{\rm{T}}}{({\boldsymbol{X}})}{\boldsymbol{X}} \end{split} $$ (11) 最优权值矩阵β*与隐层输出H(X)相乘既可得到网络的输出H(X)β, 该输出是网络对输入X的最佳估计. 网络权值矩阵β是隐含层到网络输出层即输入数据的线性变换, 可通过最优权值矩阵β*进行降维, 降维后样本为X' = X(β*)T.
2.4 多层极限学习机自编码器(ML-SELM-AE)
由第2.3节讨论可知, 通过SELM-AE模型可以直接计算隐含层到输出层的最优权值矩阵β*, 计算速度快, 泛化性好. SELM-AE 网络以数据降维表示为目标, 其降维后样本维数与隐层节点数相等, 因此隐层节点数量通常远小于原始维数和样本数. 但作为单层神经网络, 较少的隐层节点会降低其对非线性投影函数的逼近能力. 受文献[16]的深度有监督极限学习机方法启发, 本文扩展单层子空间结构保持极限学习机自编码器SELM-AE为多层子空间结构保持极限学习机自编码器ML-SELM-AE (如图3), 以获取数据的深层特征.
图3所示的多层子空间结构保持极限学习机自编码器相当于多个SELM-AE自编码器的堆叠, 利用上述式(11)计算每一层最优权值矩阵β(l)(l = 1, 2, ···, L),将上一层输出X(l)(β(l))T作为下一层输入. ML-SELM-AE网络第l层（l = 1, 2, ..., L)随机产生正交输入权矩阵W(l)和偏置向量b(l); 第1层初始输入为原始数据X(1)=X, 第l层(l = 1, 2, ···, L)的权值矩阵β(l)根据式(11)改写为:
$$\begin{split} {{\boldsymbol{\beta }}^{(l)}} =\;& [{\boldsymbol{I}} + c{\boldsymbol{H}^{\rm T}}{({{\boldsymbol{X}}^{(l)}})}{\boldsymbol{H}}({{\boldsymbol{X}}^{(l)}}) + \\ &\lambda {\boldsymbol{H}^{\rm T}}{({{\boldsymbol{X}}^{(l)}})}{\boldsymbol{AH}}({{\boldsymbol{X}}^{(l)}}){]^{ - {\rm{1}}}}c{\boldsymbol{H}^{\rm T}}{({{\boldsymbol{X}}^{(l)}})}{{\boldsymbol{X}}^{(l)}} \end{split} $$ (12) 第l+1层输入X(l+1)可通过下式计算:
$${{\boldsymbol{X}}^{(l + 1)}} = {{\boldsymbol{X}}^{(l)}}{({{\boldsymbol{\beta }}^{(l)}})^{\rm{T}}}$$ (13) 其中, β(l)为第l层解码器的输出权矩阵. 若自编码器有L层, 则第L层的输出X(L+1)=X(L)(β(L))T, 即为降维后数据, 对降维后数据X(L+1)使用k-means算法完成聚类.
多层子空间结构保持极限学习自编码器ML-SELM-AE求解算法归纳如下:
算法1. ML-SELM-AE算法
输入. 数据矩阵{X}=
$\{ {x_i}\} _{i = 1}^n $ , 隐层节点数(维数)nh, 参数c > 0, λ > 0, 层数L输出. 降维后数据矩阵X(L+1)
1) 计算X自表示矩阵
$$\substack{ {\boldsymbol{Z}} = {[{{\boldsymbol{X}}^{\rm{T}}}{\boldsymbol{X}} + \lambda {\boldsymbol{I}}]^{ - 1}}{{\boldsymbol{X}}^{\rm{T}}}{\boldsymbol{X}};} $$ 2) 初始化第1层输入X (1) = X;
3) For l =1 to L
随机初始化第l层输入权重W(l)和偏置b(l);
通过式 (12) 计算第l 层输出权值 β(l);
通过式(13)计算第l层输出, 作为第l+1层输入, X(l+1) = X(l)(β(l))T;
end
4) 输出降维后数据矩阵X(L+1).
ML-SELM-AE算法中步骤 1)的时间开销主要用于矩阵乘法与n阶矩阵逆的计算, 时间复杂度分别为O(n2m)和O(n3); 若多层极限学习机网络层数为L, 则步骤3)需循环L次计算每一层SELM-AE的输出权值β(l)及输出X(l), 每次循环的时间开销主要用于权值β(l)的计算, 包括计算矩阵乘法与nh阶矩阵的逆, 矩阵乘法计算时间复杂度分别为O(nh2m)和O(nhnm),矩阵逆的计算时间复杂度为O(nh3). 对于高维小样本数据集, 样本数n远小于样本维数m, 故而当样本维数m小于隐层节点数nh时, 算法总时间复杂度为O(Lnh3); 当样本维数m大于隐层节点数nh时, 算法总时间复杂度为O(Lnh2m).
3. 实验
3.1 实验对比方法及参数设置
为验证本文所提的子空间结构保持单层极限学习机降维自编码器SELM-AE和多层极限学习机自编码器ML-SELM-AE的降维效果和有效性, 本文对两种方法进行数据可视化及高维数据降维聚类实验.
实验对比的其他降维方法有以下几种:
1)线性无监督降维
主成分分析法(Principal component analysis, PCA)[17]: 以最大化投影方差为目标, 方差虽可以刻画全局分布散度, 但无法描述样本间的近邻关系.
局部保持投影法(Locality preserving projections, LPP)[18]: 以保持降维前后样本间的近邻关系不变为目标.
近邻保持嵌入法(Neighborhood preserving embedding, NPE)[19]: 以最小化k近邻重构误差为目标, 旨在保持降维前后样本间的局部近邻结构.
2)传统无监督ELM
US-ELM: 无监督极限学习机, 利用无类别信息的流形正则项代替含类标签的误差函数, 将有监督极限学习机转化为无监督极限学习机, 实现原始数据向低维空间的非线性映射, 并能够得到显式的非线性映射函数. 但该方法预定义的近邻矩阵不具有数据自适应性.
ELM-AE: 极限学习机自编码器, 用原始数据替代误差函数中的类标签, 将有监督极限学习机转化为无监督式的极限学习机自编码器, 实现原始数据向低维空间的非线性映射. 但该方法仅考虑数据全局非线性特征.
ELM-AE的多层版本(Multilayer ELM-AE, ML-ELM-AE): 其多层扩展的思想与本文提出的ML-SELM-AE相同. 目的在于和ML-SELM-AE(子空间结构保持的多层极限学习机自编码器)进行对比.
3)面向聚类的子空间结构保持无监督ELM
SNP-ELM: 基于稀疏和近邻保持的极限学习机降维算法, 该方法引入稀疏及近邻保持模型学习US-ELM模型流形正则项所需的近邻矩阵, 具有较好的数据自适应性. 但需迭代求解稀疏优化问题, 运行时间较长.
SELM-AE: 本文提出的子空间结构保持极限学习机自编码器.该模型在ELM-AE模型基础上, 采用样本自表示模型刻画样本数据的子空间结构和样本间近邻关系, 使网络输出数据保持子空间结构不变, 具有较好的数据自适应性.
ML-SELM-AE:本文提出的SELM-AE模型多层版本.
3.2 实验数据集
实验采用2个脑电数据集、3个高维基因表达谱数据及UCI中的IRIS数据集[20]进行测试, 脑电数据集包括BCI竞赛II数据集IIb中的Session 10和Session 11、BCI竞赛III数据集II中的Subject A训练集[21], 基因表达数据集包括DLBCL、Prostate0和Colon[22].
研究表明, 脑电数据中C3、Cz、C4、Fz、P3、Pz、P4、PO7、PO8和Oz这10个电极的可分性更好[23], 因此选取BCI竞赛II数据集Data set IIb的该10个电极通道每轮行或列刺激后600 ms的脑电数据作为实验数据并进行0.5~30 Hz的巴特沃斯滤波; 对BCI竞赛III数据集Data set II选取相同10个电极通道每轮行或列刺激后1 s的脑电数据作为实验数据并进行0.1~20 Hz的巴特沃斯滤波. 数据集具体描述如表1所示.
表 1 数据集描述Table 1 The data set description数据集 维数 样本数 类别数 IRIS 4 150 3 Data set IIb 1440 504 2 Data set II 2400 1020 2 DLBCL 5469 77 2 Colon 2 000 62 2 Prostate0 6033 102 2 3.3 可视化实验
本实验分别用PCA、LPP、NPE、US-ELM、ELM-AE、SNP-ELM和SELM-AE七种方法将一个人造数据集和一个真实UCI数据集投影到一维和二维空间, 并选取每种降维方法的最优结果进行展示.
数据可视化及数据降维聚类实验采用相同的参数设置. LPP、NPE和US-ELM的近邻数k均取5. ELM-AE、SNP-ELM和SELM-AE的平衡参数c和λ均采用网格搜索策略设置, 统一参数搜索范围为{10−3, 10−2, ···, 103}. 所有极限学习机算法的激励函数均采用Sigmoid函数, 含流形正则项的极限学习机降维方法US-ELM和SNP-ELM降维后样本维数由特征方程的特征向量个数决定, 其隐层节点数设为1000. 极限学习机自编码器降维方法ELM-AE和SELM-AE隐层节点数与降维后样本维数相同.多层算法 ML-ELM-AE 和 ML-SELM-AE 中每一层的隐节点数均与第1层相同, 隐含层层数为 3.
3.3.1 一维可视化
本实验使用的二维人造双月数据集如图4所示, 该数据包含2类, 每类有150个样本. 该实验将双月数据用7种不同降维方法降至一维后的结果如图5所示.
从图5可以看出, PCA以投影后的样本方差最大为目标, 其降维结果近似于把该数据投影到双月数据方差最大的 X 轴方向, 投影后2类样本交叠明显、可分性差; 基于流形思想的LPP、NPE和US-ELM均以降维后样本保持原样本的近邻结构为目的, 但US-ELM投影到 1 维后的可分性明显优于LPP和NPE, 其降维后不同类样本的交叠程度较 LPP和NPE更低. 原因在于双月数据是非线性数据, 而US-ELM包含非线性神经网络结构, 其对非线性特征的表示能力比仅采用流形思想的LPP和NPE更强. ELM-AE也是基于极限学习机的非线性降维方法, 其通过自编码网络刻画数据全局非线性特征, 较之基于数据局部流形结构的US-ELM方法, 其降维后样本的可分性进一步改善.
SNP-ELM和SELM-AE也是非线性降维方法, 均在极限学习机降维基础上引入子空间结构保持特性, SNP-ELM使降维后样本同时保持数据的近邻结构和稀疏结构, SELM-AE 使自编码网络输出数据保持子空间结构不变, 这两种方法尽可能保持原样本的潜在结构使该数据投影到1维后2类样本完全分离, 不同类样本间没有交叠, 且本文提出的 SELM-AE 方法投影后样本的内聚度较之SNP-ELM更佳, 类间可分性最优.
3.3.2 二维可视化
本实验使用的IRIS数据包含3类150个样本, 每个样本有4个特征. 分别采用PCA、LPP、NPE、US-ELM、ELM-AE、SNP-ELM和SELM-AE七种降维方法将IRIS数据投影至2维后如图6所示. 从图6可以看出, 二维可视化与一维可视化实验结论类似, 即在七种降维方法中, SELM-AE降维后样本同类聚集性最好, 不同类样本交叠程度最低、可分性最优.
3.4 降维聚类对比实验
在6个实验数据集上分别采用本文方法SELM-AE、ML-SELM-AE与对比方法PCA、LPP、NPE、US-ELM、ELM-AE、ML-ELM-AE、SNP-ELM进行降维. 其中多层极限学习机自编码器ML-ELM-AE和ML-SELM-AE的层数L设为3, 每层极限学习机的隐层节点数固定为降维维数. 所有模型的最优参数均通过网格搜索得到, 降维维数的搜索范围为{21, 22, 23, ···, 210}; 参数c和λ的搜索范围为{10−3, 10−2, ···, 103}; 模型SNP-ELM参数η和δ的搜索范围为[−1, 1], 搜索步长为0.2.
3.4.1 k-means聚类
对降维后样本进行k-means聚类, 为避免k-means随机选取初始中心导致聚类结果的随机性, 以10次聚类的平均准确率为最终准确率[24]. 3种传统降维方法PCA、LPP和NPE的聚类准确率(方差, 维数)如表2所示, 6种ELM降维方法的聚类准确率(方差, 维数)如表3所示. 表2和表3是网格搜索最优参数得到的最佳平均聚类准确率、方差及对应维数.
表 2 传统降维方法的聚类准确率(%) (方差, 维数)Table 2 Comparison of clustering accuracy of traditional methods (%) (variance, dimension)数据集 k-means 传统算法 PCA LPP NPE IRIS 89.13 (0.32) 89.07 (0.34, 4) 90.27 (0.84, 2) 88.67 (0.00, 2) Data set IIb 86.47 (2.53) 88.21 (0.61, 4) 88.69 (7.33, 4) 89.58 (6.32, 256) Data set II 72.38 (8.94) 79.31 (4.39, 2) 82.26 (0.13, 512) 82.62 (0.71, 256) DLBCL 68.83 (0.00) 68.83 (0.00, 2) 63.55 (1.86, 8) 69.09 (0.82, 32) Colon 54.84 (0.00) 54.84 (0.00, 2) 54.84 (0.00, 2) 56.45 (0.00, 2) Prostate0 56.86 (0.00) 56.83 (0.00, 2) 56.86 (0.00, 2) 56.86 (0.00, 4) 表 3 ELM降维方法聚类准确率(%) (方差, 维数)(参数)Table 3 Comparison of clustering accuracy of ELM methods (%) (variance, dimension)(parameters)数据集 k-means Unsupervised ELM Subspace + unsupervised ELM US-ELM(λ) ELM-AE(c) ML-ELM-AE (c) SNP-ELM(λ,η,δ) SELM-AE(c, λ) ML-SELM-AE(c, λ) IRIS 89.13
(0.32)93.87
(13.78, 2)
(0.1)93.93
(1.19, 2)
(10)95.20
(1.05, 2)
(0.01)98.46
(0.32, 2)
(10, 0.6, −1)98.00
(0.00, 2)
(10, 0.01)98.40
(0.56, 2)
(10, 0.01)Data set IIb 86.47
(2.53)91.59
(4.25, 4)
(0.1)91.98
(0.25, 4)
(0.1)92.46
(0.08, 16)
(1)92.06
(0.13, 16)
(0.001, 0.8, 0.2)95.29
(0.06, 8)
(0.001, 1)96.63
(0.00, 8)
(0.001, 0.1)Data set II 72.38
(8.94)83.18
(0.32, 256)
(10)82.84
(0.00, 2)
(0.001)83.03
(0.00, 2)
(0.1)83.92
(1.65, 2)
(10, 0.2, −0.2)83.14
(0.00, 2)
(0.01, 1)84.22
(0.00, 2)
(0.001, 10)DLBCL 68.83
(0.00)76.62
(0.00, 32)
(0.001)78.05
(0.73, 2)
(0.001)82.46
(0.68, 2)
(0.001)86.34
(1.78, 8)
(0.001, -0.2, 0.6)83.63
(2.51, 2)
(10, 0.1)86.71
(3.48, 2)
(10, 1)Colon 54.84
(0.00)67.06
(4.19, 32)
(0.001)69.35
(0.00, 2)
(0.001)80.32
(1.02, 2)
(0.001)85.95
(3.69, 8)
(0.001, −0.8, 1)83.87
(0.00, 4)
(10, 0.1)85.97
(0.78, 2)
(10, 0.1)Prostate0 56.86
(0.00)64.09
(5.83, 2)
(0.01)75.98
(0.51, 2)
(0.01)79.61
(1.01, 2)
(0.01)82.92
(2.19, 128)
(0.1, 0.2, 0.8)84.31
(0.00, 2)
(10, 1)85.29
(0.00, 2)
(10, 0.01)表3中粗体值代表9种降维方法中聚类准确率最高者, 下划线值代表第2高者, 第3高者采用粗体加下划线标记. 由记. 由表2 ~ 3可以看出:
1) 经3种传统方法降维后的聚类准确率明显低于6种 ELM 降维方法. 原因在于PCA、LPP和NPE是全局线性降维模型, 其对非线性数据特征的描述能力低于非线性极限学习机降维方法.
2) 本文提出的ML-SELM-AE在5个数据集上取得最高的聚类准确率, 在IRIS数据集的准确率也接近最高值. 主要原因在于子空间结构保持项和多层编码器结构分别揭示了原始数据的子空间结构和非线性特征. ML-SELM-AE对应的单层方法SELM-AE和未引入子空间结构保持项的多层自编码器ML-ELM-AE聚类准确率均低于ML-SELM-AE, SELM-AE低0.3% ~ 3.1%, ML-ELM-AE低1.6% ~ 5.6%, 说明在准确率提升方面子空间结构保持项的作用优于编码器层数的增加. 多层ML-SELM-AE与单层SELM-AE在多数数据集上的聚类准确率不相上下, 且单层SELM-AE的计算速度更快.
3) 对比方法SNP-ELM的聚类准确率略低于ML-SELM-AE, 与SELM-AE相当, 但优于未考虑子空间结构保持项的其他降维方法, 且优势明显. 进一步说明子空间结构保持的重要性.
SNP-ELM模型的局限在学习样本的近邻表示和稀疏表示存在迭代求解过程, 耗时较长. 而本文的SELM-AE模型有解析解, 计算效率明显高于SNP-ELM, 即使在多层情况下也快于SNP-ELM. 从表4给出的SNP-ELM、SELM-AE和ML-SELM-AE运行时间便可以看出, SNP-ELM的运行时间明显高于SELM-AE和ML-SELM-AE, 是二者的100倍~1000倍. 因此, 综合考虑准确率和效率, 本文提出的SELM-AE和ML-SELM-AE较之SNP-ELM更有优势.
表 4 运行时间对比(s)Table 4 Comparison of running time (s)数据集 SNP-ELM SELM-AE ML-SELM-AE IRIS 4.58 0.02 0.02 Data set IIb 4.64×103 0.16 0.33 Data set II 8.24×103 0.65 0.76 DLBCL 7.77 0.04 0.06 Colon 3.44×102 0.03 0.11 Prostate0 1.15×102 0.07 0.13 4)对比ELM-AE、SELM-AE和相应的多层版本ML-ELM-AE 、ML-SELM-AE, 多层版本聚类准确率均高于对应的单层版本, 差距普遍在0.2%~4.0%之间, 说明增加网络层数可以提取更丰富的非线性特征, 提高降维样本的聚类准确率.
3.4.2 多种聚类方法对比实验
为观察不同聚类方法的影响, 进一步对降维前后数据应用三种子空间聚类方法进行聚类, 包括最小二乘回归子空间聚类(LSR)[14]、低秩表示子空间聚类(LRR)[25]和潜在低秩表示子空间聚类(LatLRR)[26]. 为取得最优结果, 3种聚类模型的最优参数λ均通过网格搜索得到, LSR和LRR的参数搜索范围为{10−3, 10−2, ···, 103}, LatLRR的参数搜索范围为{10−5, 10−4, ···, 1}.
在6个实验数据集上对未降维数据和采用ML-SELM-AE 降至2维后数据进行聚类实验, 不同聚类方法的聚类准确率及方差如表5所示.
表 5 ML-SELM-AE降维前后数据的聚类准确率(%) (方差)Table 5 Clustering accuracy before and after ML-SELM-AE dimensionality reduction (%) (variance)数据集 k-means LSR LRR LatLRR 未降维 已降维 未降维 已降维 未降维 已降维 未降维 已降维 IRIS 89.13 (0.32) 98.40 (0.00) 82.40 (0.69) 97.33 (0.00) 90.87 (0.00) 94.00 (0.83) 81.27 (1.03) 97.33 (0.00) Data set IIb 86.47 (2.53) 93.25 (0.00) 83.13 (0.00) 86.59 (0.19) 83.13 (0.00) 86.11 (0.00) 83.13 (0.00) 86.48 (0.25) Data set II 72.38 (8.94) 84.22 (0.00) 83.24 (0.08) 83.29 (0.05) 83.24 (0.00) 83.24 (0.00) 83.24 (0.00) 83.33 (0.00) DLBCL 68.83 (0.00) 86.71 (3.48) 76.62 (0.00) 81.43 (0.63) 76.62 (0.00) 78.57 (0.68) 74.03 (0.00) 78.18 (3.23) Colon 54.84 (0.00) 85.97 (0.78) 67.74 (0.00) 74.19 (0.00) 63.39 (0.00) 69.35 (0.00) 66.13 (1.67) 75.65 (4.06) Prostate0 56.86 (0.00) 85.29 (0.00) 63.82 (1.37) 70.59 (0.00) 57.84 (0.00) 63.73 (0.00) 55.88 (0.00) 74.51 (0.00) 从表5可以看出, 对于未降维高维数据, 子空间聚类方法 LSR 和 LRR 均优于 k-means 聚类. 但经过ML-SELM-AE降维后, k-means聚类的准确率明显高于三种子空间聚类方法, 且比未降维时的聚类准确率有显著提高. 该实验结果进一步说明采用多层极限学习机和子空间结构保持可使降维数据蕴含更丰富的聚簇信息, 聚类划分更容易.
3.4.3 多层极限学习机隐层节点数对聚类结果的影响
为观察多层极限学习机隐层节点数的不同设置对聚类结果的影响, 将ML-ELM-AE和ML-SELM-AE两种三层极限学习机自编码器的隐层节点数分别设为500-100-2、500-100-10、500-100-100及2-2-2、10-10-10、100-100-100, 并对高维数据集Data set IIb、Data set II、DLBCL、Colon和Prostate0进行降维和聚类, 取得的k-means聚类准确率如表6所示.
表 6 三层极限学习机自编码器隐层节点数与聚类准确率(%) (方差)Table 6 The number of hidden layer nodes and clustering accuracy for three-layer extreme learning machine autoencoder (%) (variance)数据集 ML-ELM-AE (Multilayer ELM-AE) ML-SELM-AE (Multilayer SELM-AE) 500-100-2 500-100-10 500-100-50 500-100-100 500-100-2 500-100-10 500-100-50 500-100-100 Data set IIb 88.69 (0.00) 91.98 (0.25) 90.89 (0.06) 87.66 (0.20) 95.44 (0.00) 94.92 (0.17) 95.44 (0.00) 94.80 (0.33) Data set II 82.94 (0.00) 82.94 (0.00) 82.94 (0.00) 82.94 (0.00) 83.14 (0.00) 83.04 (0.00) 83.04 (0.00) 83.04 (0.00) DLBCL 74.03 (0.00) 72.99 (3.29) 72.73 (0.00) 69.22 (0.88) 80.52 (0.00) 80.52 (0.00) 78.57 (2.05) 76.62 (0.00) Colon 73.87 (1.67) 59.68 (0.00) 69.52 (7.35) 59.03 (0.83) 78.55 (2.53) 75.97 (7.81) 76.13 (9.46) 70.48 (4.37) Prostate0 66.67 (0.00) 60.78 (0.00) 59.80 (0.00) 62.75 (0.00) 77.16 (0.47) 82.35 (0.00) 78.33 (6.51) 80.39 (0.00) 数据集 2-2-2 10-10-10 50-50-50 100-100-100 2-2-2 10-10-10 50-50-50 100-100-100 Data set IIb 92.46 (0.08) 90.48 (0.00) 90.16 (0.17) 90.40 (0.25) 96.63 (0.00) 95.83 (0.00) 95.44 (0.00) 94.84 (0.00) Data set II 83.04 (0.00) 83.04 (0.00) 83.04 (0.00) 82.94 (0.00) 84.22 (0.00) 83.14 (0.00) 83.04 (0.00) 83.04 (0.00) DLBCL 83.12 (0.00) 77.01 (0.63) 68.83 (0.00) 68.70 (0.41) 86.75 (4.23) 80.52 (0.00) 78.96 (0.82) 76.62 (0.00) Colon 80.64 (0.00) 60.00 (2.50) 70.00 (1.36) 62.90 (0.00) 85.97 (0.78) 68.23 (0.78) 80.65 (0.00) 76.61 (9.48) Prostate0 80.39 (0.00) 57.45 (0.83) 64.41 (0.47) 63.73 (0.00) 85.29 (0.00) 69.61 (0.00) 79.12 (6.67) 84.31 (0.00) 从表6可以看出, 在5个实验数据集上, 无论是ML-ELM-AE还是ML-SELM-AE, 三层隐层节点数均取2时的聚类准确率最优. 且隐层节点数取固定值与非固定值的聚类准确率差别不明显, 固定隐层节点数的聚类准确率总体略好于不固定隐层节点数.
3.5 SELM-AE模型参数分析
由表5的实验结果可知, 本文提的SELM-AE模型将数据投影到2维时便能取得较高的k-means聚类准确率, 因此取固定维数2情况下进行参数分析. SELM-AE模型的参数c和λ, 分别是目标函数中自编码重构误差项和子空间结构保持项的平衡参数.
3.5.1 目标函数值随参数c与λ的变化情况
SELM-AE模型以最小化目标函数值为目标. 本实验目的在于观察模型的目标函数值随参数c和λ变化情况(如图7), c和λ的取值范围均为{10−3, 10−2, ···, 103}.
由图7可以看出, 参数λ的变化对目标函数值的影响较小, 而参数c的变化对目标函数值的影响较大. 总体来看, 参数c和λ在区间[0.001, 10]内取值时, 目标函数值最小.
3.5.2 聚类准确率随参数c与λ的变化情况
为进一步观察SELM-AE模型聚类准确率随参数c和λ的变化情况, 图8给出参数c和λ取不同值时的k-means聚类准确率, 其中c和λ的变化范围为{10−3, 10−2, ···, 103}. 由图8可以看出, 参数c和λ在区间[0.001, 10]内取值时, 能取得最高的聚类准确率, 该参数的最佳取值区间与图7的分析结论一致.
4. 结束语
在极限学习机自编码器ELM-AE基础上, 本文提出子空间结构保持的极限学习机自编码器SELM-AE及其多层版本ML-SELM-AE. SELM-AE在极限学习机自编码器的输出层增加自表示层, 引入最小二乘回归子空间结构模型, 使自编码器输出与输入的自表示系数相同. 多层子空间结构保持极限学习自编码器ML-SELM-AE通过增加 SELM-AE自编码器层数获取数据的深层特征, 提高网络的特征提取能力. 在6个数据集上的实验结果表明, 经SELM-AE和ML-SELM-AE降维后的聚类准确率普遍优于经典降维方法和传统的ELM降维方法. 同时多层ML-SELM-AE因对非线性投影函数的逼近能力优于单层的SELM-AE模型, 其降维后数据的聚类准确率更高.
-
图 3 基于深度学习的群组推荐系统框架
Fig. 3 Framework of a deep learning based group recommendation system
图 4 偏好聚合策略与评分聚合策略的过程对比
Fig. 4 Comparison of the process of preference aggregation strategy and rating aggregation strategy
图 12 群组偏好表示方法分类总结
Fig. 12 Classification summary of group preference representation methods
表 1 数学符号说明
Table 1 Explanation of mathematical symbols
符号 说明 $ U=\left\{{u}_{1},\;{u}_{2},\;{\cdots ,\;u}_{n}\right\} $ 用户集合 $ V=\left\{{v}_{1},\;{v}_{2},\;{\cdots ,\;v}_{m}\right\} $ 项目集合 $ G=\left\{{g}_{1},\;{g}_{2},\;{\cdots ,\;g}_{s}\right\} $ 群组集合 $ \mathit{A}={\left[{a}_{li}\right]}_{s\times m} $ $ \langle $群组−项目$\rangle $交互矩阵 $ \mathit{B}={\left[{b}_{ij}\right]}_{n\times m} $ $ \langle $用户−项目$\rangle $交互矩阵 $ \mathit{C}={\left[{c}_{lj}\right]}_{s\times n} $ $ \langle $群组−用户$\rangle $交互矩阵 $ {\mathcal{G}}_{UV} $ $\langle $用户−项目$\rangle $交互图 $ {R}_{V}\left(u\right) $ 与用户$ u $有过交互的所有项目集合 $ \mathscr{p} $ 元路径 $ {\mathcal{N}}^{\mathscr{p}}\left(u\right) $ 节点$ u $基于元路径$ \mathscr{p} $找到的近邻集合 $ {u}_{t}^{g} $ 群组$ g $中的第$ t $个成员, $ {u}_{t}^{g}\in U $ $ f:V\to \mathbf{R} $ 由项目集到实数域的函数 (映射) $ f $ $ {\boldsymbol{e}}_{u},\;{\boldsymbol{e}}_{v},\;{\boldsymbol{e}}_{g} $ 用户$ u $, 项目$ v $和群组$ g $的ID嵌入向量 $ {\boldsymbol{h}}_{u},\;{\boldsymbol{h}}_{v},\;{\boldsymbol{h}}_{g} $ $ {\boldsymbol{e}}_{u},\;{\boldsymbol{e}}_{v},\;{\boldsymbol{e}}_{g} $ 经过编码后的向量表示 
下载: 导出CSV
表 2 群组偏好表示学习方法对比
Table 2 Comparison of learning methods for group preference representation
表示学习层技术 特点 不足 基于启发式聚合策略的群组偏好表示方法 结合个性化推荐方法和预定义的聚合策略完成群组推荐任务, 方法简单高效 无法根据交互数据自身的模式来学习成员之间、成员与群组之间的影响力 基于概率模型的群组偏好表示方法 建模群组的生成过程, 采用潜变量表示用户对群组或其他成员的影响力 较依赖于先验分布的假设, 无法动态地建模成员用户的影响力 基于注意力机制的群组偏好表示方法 采用注意力机制主动从用户交互记录等信息中学习成员的影响力 数据稀疏性可能导致模型训练低效, 使得学习到的影响力不准确 基于图神经网络的群组偏好表示方法 采用图神经网络建模用户、群组和项目之间的高阶交互关系, 并结合注意力算子计算信息沿着关系传播的权重, 有效缓解因数据稀疏导致推荐效果不佳的问题 可能需要用户的社交信息来构建网络, 较难实现; 针对冷启动群组, 需要重新训练网络 增加约束类的群组偏好表示方法 采用增加约束的方式降低解空间的规模, 基于多任务之间的共性特征, 提升模型优化的效果 较依赖于预训练数据集的质量; 较依赖于任务之间的关联强度 引入外部信息的群组偏好表示方法 通过引入外部信息的方式, 增强群组偏好的表示学习, 如社交网络信息、项目描述信息和用户评论信息等 外部信息较难获取等问题
下载: 导出CSV
表 3 群组推荐数据集信息
Table 3 Information of group recommendation dataset
数据集 类别 内容 CAMRa2011[46, 48−49, 54, 62, 66] 电影 包含602个用户组成的290个群组对 7 710 部电影的评分.MovieLens 1M[31, 47, 49, 53−54, 67] 电影 包含上百万评分记录的电影数据集, 由于该数据集不存在显式的群组, 通常根据用户相似度构建群组. Weeplaces[55, 60] 签到 由于该数据集中不存在显式的群组, 通常将15 min以内在同一地点签到且存在朋友关系的用户视为一个群组, 形成包含8 643个用户打卡25 081个商户的22 733个群组. Yelp[32, 53, 55, 60, 68−69] 点评 包含34 504个用户对22 611个餐厅的点评. 由于该数据集不存在显式的群组, 将在同一时间段内打卡同一个餐厅且存在社交关系的用户视为一个群组, 形成24 103个群组. Douban[32, 55, 60, 63, 68−69] 活动 包含70 743个用户对60 028个活动的评分. 由于该数据集不存在显式的群组, 将参加同一活动的用户视为一个群组, 形成109 538个群组. Meetup[31, 47−48, 52, 63, 70] 活动 按照事件的地点, 该数据集分为Meetup-NYC (纽约市) 和Meetup-Cal (加利福尼亚). 这两个数据集均没有显式的群组, 通常将参加同一个事件的人视为一个群组. 其中, Meetup-NYC包含46 619个用户、 9428 个群组、2 326个项目. Meetup-Cal包含59 486个用户、15 207个群组、4 472个项目.BookCrossing[67] 书籍 包含 278 858个用户, 提供271 379本书的1 149 780个评分. 该数据集不包含显式的群组, 通常通过寻找相似用户构建群组. Jester Joke[71] 笑话 包含73 421个用户对 100 个笑话进行的 410 万次评分, 评分范围是 −10 ~ 10 的连续实数. 不包含分组信息, 通过计算用户相似度来进行分组. Netflix[72] 电影 包含480 507个用户对 17 770 部电影的100 480 507条评价数据, 其中评分以5分制为基准. 不包含分组信息, 利用用户的偏好相似信息构造群组.
下载: 导出CSV
表 4 不同表示层算法在三个常见的持续性群组数据集上的推荐效果 (%)
Table 4 The recommendation performance of different presentation layer algorithms on three common persistent group datasets (%)
方法 数据集 CAMRa2011 MS MR H@5 H@10 N@5 N@10 H@5 H@10 N@5 N@10 H@5 H@10 N@5 N@10 NCF-AVG 58.33 77.65 39.69 46.25 59.19 83.15 47.35 52.21 63.52 78.42 45.32 50.29 NCF-LM 57.14 77.13 39.63 45.81 63.31 81.07 45.92 51.19 63.32 78.46 45.18 50.03 NCF-MS 57.19 75.12 38.50 44.41 64.43 82.25 46.62 51.98 62.35 77.85 44.43 49.02 AGREE 58.50 77.93 40.25 46.62 65.96 83.23 47.33 52.94 64.10 79.01 45.76 50.69 MoSAN 58.73 77.51 40.24 46.31 66.41 81.77 47.02 51.63 65.21 79.75 45.23 50.54 GAME 59.09 78.64 40.23 46.70 65.97 83.22 48.38 53.25 65.55 79.32 46.41 50.10 GLIF 59.18 78.93 40.30 46.73 66.43 83.55 48.20 53.44 65.61 79.93 46.43 51.07 KGAG 59.83 79.83 40.35 47.01 66.41 83.55 49.03 54.01 65.80 79.99 46.63 51.39 HetGRec 62.31 81.95 42.33 48.90 68.32 86.15 50.24 55.39 68.01 82.20 48.32 53.39
下载: 导出CSV
表 5 不同算法在三个常见的临时性群组数据集上的推荐效果 (%)
Table 5 The recommendation performance of different algorithms on three common temporary group datasets (%)
方法 数据集 Weeplaces Yelp Douban R@5 R@10 N@5 N@10 R@5 R@10 N@5 N@10 R@5 R@10 N@5 N@10 NCF-AVG 20.91 29.56 11.06 12.90 21.84 29.14 15.08 16.43 35.33 43.23 22.98 24.70 NCF-LM 20.32 28.33 10.49 12.19 23.22 31.44 16.04 17.20 44.29 49.56 31.91 33.10 NCF-MS 19.75 28.72 10.74 12.65 21.38 28.22 14.50 15.08 35.36 42.10 23.04 24.51 AGREE 20.53 29.09 11.40 13.22 24.16 30.98 16.80 17.63 45.95 51.22 33.39 34.57 MoSAN 31.81 37.71 26.25 28.15 46.57 50.61 34.66 36.18 47.10 52.22 36.12 37.24 GAME 41.97 48.53 28.90 30.35 46.44 51.94 35.32 36.52 58.76 77.52 40.29 46.33 KGAG 41.50 48.42 28.96 30.54 46.35 51.87 35.23 36.47 58.64 77.49 40.25 46.29 GroupIM 41.98 48.53 30.35 31.31 48.40 52.39 35.78 36.39 63.54 78.44 45.93 52.19 GBERT 49.43 52.82 35.31 36.43 48.67 53.14 37.46 38.11 65.20 79.90 47.22 54.58
下载: 导出CSV
-
[1] 唐佳睿, 田然, 梁丹辉. 电商行业深度报告: 线上消费心智加深, 积极探索新消费场景 [Online], available: https://baijiahao.baidu.com/s?id=1760070652649669963&wfr=spider&for=pc, 2023-03-11Tang Jia-Rui, Tian Ran, Liang Dan-Hui. In-depth report on the E-commerce industry: Deepening online consumption mindset and actively exploring new consumption scenarios [Online], available: https://baijiahao.baidu.com/s?id=1760070652649669963&wfr=spider&for=pc, March 11, 2023 [2] 张洪磊, 李浥东, 邬俊, 陈乃月, 董海荣. 基于隐私保护的联邦推荐算法综述. 自动化学报, 2022, 48(9): 2142−2163Zhang Hong-Lei, Li Yi-Dong, Wu Jun, Chen Nai-Yue, Dong Hai-Rong. A survey on privacy-preserving federated recommender systems. Acta Automatica Sinica, 2022, 48(9): 2142−2163 [3] Yang Y, Zhang C B, Song X, Dong Z, Zhu H S, Li W J. Contextualized knowledge graph embedding for explainable talent training course recommendation. ACM Transactions on Information Systems, 2024, 42(2): Article No. 33 [4] Cheng M Y, Liu Q, Zhang W Y, Liu Z D, Zhao H K, Chen E H. A general tail item representation enhancement framework for sequential recommendation. Frontiers of Computer Science, 2024, 18(6): Article No. 186333 doi: 10.1007/s11704-023-3112-y [5] Hao B W, Yin H Z, Li C P, Chen H. Self-supervised graph learning for occasional group recommendation. International Journal of Intelligent Systems, 2022, 37(12): 10880−10902 doi: 10.1002/int.23011 [6] McCarthy J F, Anagnost T D. MusicFX: An arbiter of group preferences for computer supported collaborative workouts. In: Proceedings of the ACM Conference on Computer Supported Cooperative Work. Seattle Washington, USA: ACM, 1998. 363−372 [7] 许晓明, 梅红岩, 于恒, 李晓会. 基于偏好融合的群组推荐方法研究综述. 小型微型计算机系统, 2020, 41(12): 2500−2508 doi: 10.3969/j.issn.1000-1220.2020.12.008Xu Xiao-Ming, Mei Hong-Yan, Yu Heng, Li Xiao-Hui. Review of group recommendation methods based on preference fusion. Journal of Chinese Computer Systems, 2020, 41(12): 2500−2508 doi: 10.3969/j.issn.1000-1220.2020.12.008 [8] 张玉洁, 杜雨露, 孟祥武. 组推荐系统及其应用研究. 计算机学报, 2016, 39(4): 745−764 doi: 10.11897/SP.J.1016.2016.00745Zhang Yu-Jie, Du Yu-Lu, Meng Xiang-Wu. Research on group recommender systems and their applications. Chinese Journal of Computers, 2016, 39(4): 745−764 doi: 10.11897/SP.J.1016.2016.00745 [9] 赵海燕, 成若瑶, 陈庆奎, 曹健. 群组推荐系统: 现状与展望. 小型微型计算机系统, 2021, 42(6): 1144−1151 doi: 10.3969/j.issn.1000-1220.2021.06.004Zhao Hai-Yan, Cheng Ruo-Yao, Chen Qing-Kui, Cao Jian. Group recommender system: Current status and future trends. Journal of Chinese Computer Systems, 2021, 42(6): 1144−1151 doi: 10.3969/j.issn.1000-1220.2021.06.004 [10] Dara S, Chowdary C R, Kumar C. A survey on group recommender systems. Journal of Intelligent Information Systems, 2020, 54(2): 271−295 doi: 10.1007/s10844-018-0542-3 [11] Kompan M, Bielikova M. Group recommendations: Survey and perspectives. Computing and Informatics, 2014, 33(2): 446−476 [12] O'Connor M, Cosley D, Konstan J A, Riedl J. PolyLens: A recommender system for groups of users. ECSCW 2001. Dordrecht: Springer, 2001. 199−218 [13] Wu X X, Xiong Y, Zhang Y, Jiao Y Z, Zhang J W, Zhu Y Y, et al. ConsRec: Learning consensus behind interactions for group recommendation. In: Proceedings of the ACM Web Conference. Austin, USA: ACM, 2023. 240−250 [14] Zhu R T, Lv D T, Yu Y, Zhu R H, Zheng Z Z, Bu K, et al. LINet: A location and intention-aware neural network for hotel group recommendation. In: Proceedings of the ACM Web Conference. Austin, USA: ACM, 2023. 779−789 [15] Crossen A, Budzik J, Hammond K J. Flytrap: Intelligent group music recommendation. In: Proceedings of the 7th International Conference on Intelligent User Interfaces. San Francisco, USA: ACM, 2002. 184−185 [16] Carroll J M, Rosson M B. Paradox of the active user. In: Proceedings of the Interfacing Thought: Cognitive Aspects of Human-computer Interaction. Cambridge, USA: MIT Press, 1987. 80−111 [17] Zheng N, Li Q D, Liao S C, Zhang L M. Which photo groups should I choose? A comparative study of recommendation algorithms in Flickr. Journal of Information Science, 2010, 36(6): 733−750 doi: 10.1177/0165551510386164 [18] Liu X J, Tian Y, Ye M, Lee W C. Exploring personal impact for group recommendation. In: Proceedings of the 21st ACM International Conference on Information and Knowledge Management. Maui, USA: ACM, 2012. 674−683 [19] Yuan Q, Cong G, Lin C Y. COM: A generative model for group recommendation. In: Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York, USA: ACM, 2014. 163−172 [20] Wang Q, Mao Z D, Wang B, Guo L. Knowledge graph embedding: A survey of approaches and applications. IEEE Transactions on Knowledge and Data Engineering, 2017, 29(12): 2724−2743 doi: 10.1109/TKDE.2017.2754499 [21] Chen J W, Wu J K, Wu J C, Cao X Z, Zhou S, He X N. Adap-τ: Adaptively modulating embedding magnitude for recommendation. In: Proceedings of the ACM Web Conference. Austin, USA: ACM, 2023. 1085−1096 [22] Dyer J S, Sarin R K. Group preference aggregation rules based on strength of preference. Management Science, 1979, 25(9): 822−832 doi: 10.1287/mnsc.25.9.822 [23] 吴云昌, 刘柏嵩, 王洋洋, 费晨杰. 群组推荐分析与研究综述. 电信科学, 2018, 34(12): 71−83Wu Yun-Chang, Liu Bai-Song, Wang Yang-Yang, Fei Chen-Jie. Review of group recommendation analysis and research. Telecommunications Science, 2018, 34(12): 71−83 [24] Garcia I, Pajares S, Sebastia L, Onaindia E. Preference elicitation techniques for group recommender systems. Information Sciences, 2012, 189: 155−175 doi: 10.1016/j.ins.2011.11.037 [25] Masthoff J. Group recommender systems: Combining individual models. Recommender Systems Handbook. New York: Springer, 2010. 677−702 [26] Agarwal A, Chakraborty M, Chowdary C R. Does order matter? Effect of order in group recommendation. Expert Systems With Applications, 2017, 82: 115−127 doi: 10.1016/j.eswa.2017.03.069 [27] Baltrunas L, Makcinskas T, Ricci F. Group recommendations with rank aggregation and collaborative filtering. In: Proceedings of the 4th ACM Conference on Recommender Systems. Barcelona, Spain: ACM, 2010. 119−126 [28] Yu Z W, Zhou X S, Hao Y B, Gu J H. TV program recommendation for multiple viewers based on user profile merging. User Modeling and User-Adapted Interaction, 2006, 16(1): 63−82 doi: 10.1007/s11257-006-9005-6 [29] Xuan P C, Tang Y, Wang W S. Group recommendation method based on item type proportion factor. In: Proceedings of the IEEE/ACM International Conference on Utility and Cloud Computing Companion. Zurich, Switzerland: IEEE, 2018. 376−381 [30] 毛宇佳, 刘学军, 徐新艳, 张欣. 基于子组与社会行为的缩小群组推荐列表方法. 计算机科学, 2019, 46(2): 202−209 doi: 10.11896/j.issn.1002-137X.2019.02.031Mao Yu-Jia, Liu Xue-Jun, Xu Xin-Yan, Zhang Xin. Method based on sub-group and social behavior for narrowing recommended list for groups. Computer Science, 2019, 46(2): 202−209 doi: 10.11896/j.issn.1002-137X.2019.02.031 [31] Huang Z H, Xu X, Zhu H H, Zhou M C. An efficient group recommendation model with multiattention-based neural networks. IEEE Transactions on Neural Networks and Learning Systems, 2020, 31(11): 4461−4474 doi: 10.1109/TNNLS.2019.2955567 [32] Yin H Z, Wang Q Y, Zheng K, Li Z X, Yang J L, Zhou X F. Social influence-based group representation learning for group recommendation. In: Proceedings of the 35th International Conference on Data Engineering. Macao, China: IEEE, 2019. 566−577 [33] Jameson A. More than the sum of its members: Challenges for group recommender systems. In: Proceedings of the Working Conference on Advanced Visual Interfaces. Gallipoli, Italy: ACM, 2004. 48−54 [34] Du J, Li L, Gu P, Xie Q. A group recommendation approach based on neural network collaborative filtering. In: Proceedings of the 35th International Conference on Data Engineering Workshops. Macao, China: IEEE, 2019. 148−154 [35] Quintarelli E, Rabosio E, Tanca L. Recommending new items to ephemeral groups using contextual user influence. In: Proceedings of the 10th ACM Conference on Recommender Systems. Boston, USA: USA, 2016. 285−292 [36] Quijano-Sanchez L, Recio-Garcia J A, Diaz-Agudo B. Happymovie: A facebook application for recommending movies to groups. In: Proceedings of the 23rd International Conference on Tools with Artificial Intelligence. Boca Raton, USA: IEEE, 2011. 239−244 [37] Quijano-Sánchez L, Recio-García J A, Díaz-Agudo B. Personality and social trust in group recommendations. In: Proceedings of the 22nd IEEE International Conference on Tools With Artificial Intelligence. Arras, France: IEEE, 2010. 121−126 [38] Quijano-Sanchez L, Recio-Garcia J A, Diaz-Agudo B, Jimenez-Diaz G. Social factors in group recommender systems. ACM Transactions on Intelligent Systems and Technology (TIST), 2013, 4(1): Article No. 8 [39] Hu L, Cao J, Xu G D, Cao L B, Gu Z P, Cao W. Deep modeling of group preferences for group-based recommendation. In: Proceedings of the 28th AAAI Conference on Artificial Intelligence. Québec City, Canada: AAAI, 2014. 1861−1867 [40] Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate. In: Proceedings of the 3rd International Conference on Learning Representations. San Diego, USA: ICLR, 2015. 1−15 [41] Pan X R, Ge C J, Lu R, Song S J, Chen G F, Huang Z Y, et al. On the integration of self-attention and convolution. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans, USA: IEEE, 2022. 805−815 [42] Xu H T, Zhang J, Dai L R. Differential time-frequency log-mel spectrogram features for vision transformer based infant cry recognition. In: Proceedings of the Interspeech. Incheon, South Korea: ISCA, 2022. 1963−1967 [43] Ma Z Y, Li J J, Li G H, Cheng Y J. UniTranSeR: A unified transformer semantic representation framework for multimodal task-oriented dialog system. In: Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. Dublin, Ireland: Association for Computational Linguistics, 2022. 103−114 [44] 郑建兴, 李沁文, 王素格, 李德玉. 融合属性偏好和多阶交互信息的可解释评分预测研究. 自动化学报, 2024, 50 (11): 2231−2244Zheng Jian-Xing, Li Qin-Wen, Wang Su-Ge, Li De-Yu. Research on explainable rating prediction by fusing attribute preference and multi-order interaction information. Acta Automatica Sinica, 2024, 50 (11): 2231−2244 [45] 汤文兵, 任正云, 韩芳. 基于注意力机制的协同卷积动态推荐网络. 自动化学报, 2021, 47(10): 2438−2448Tang Wen-Bing, Ren Zheng-Yun, Han Fang. Attention-based collaborative convolutional dynamic network for recommendation. Acta Automatica Sinica, 2021, 47(10): 2438−2448 [46] Cao D, He X N, Miao L H, An Y H, Yang C, Hong R C. Attentive group recommendation. In: Proceedings of the 41st International ACM SIGIR Conference on Research and Development in Information Retrieval. Ann Arbor, USA: ACM, 2018. 645−654 [47] Tran L V, Pham T A N, Tay Y, Liu Y D, Cong G, Li X L. Interact and decide: Medley of sub-attention networks for effective group recommendation. In: Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. Paris, France: ACM, 2019. 255−264 [48] He Z X, Chow C Y, Zhang J D, Li N. GRADI: Towards group recommendation using attentive dual top-down and bottom-up influences. In: Proceedings of the IEEE International Conference on Big Data. Los Angeles, USA: IEEE, 2019. 631−636 [49] Zhang S, Zheng N, Wang D L. A novel attention-based global and local information fusion neural network for group recommendation. Machine Intelligence Research, 2022, 19(4): 331−346 doi: 10.1007/s11633-022-1336-1 [50] McPherson M, Smith-Lovin L, Cook J M. Birds of a feather: Homophily in social networks. Annual Review of Sociology, 2001, 27: 415−444 doi: 10.1146/annurev.soc.27.1.415 [51] Liang R X, Zhang Q, Wang J Q, Lu J. A hierarchical attention network for cross-domain group recommendation. IEEE Transactions on Neural Networks and Learning Systems, 2024, 35(3): 3859−3873 doi: 10.1109/TNNLS.2022.3200480 [52] He Z X, Chow C Y, Zhang J D. GAME: Learning graphical and attentive multi-view embeddings for occasional group recommendation. In: Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2020. 649−658He Z X, Chow C Y, Zhang J D. GAME: Learning graphical and attentive multi-view embeddings for occasional group recommendation. In: Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2020. 649−658 [53] Deng Z Y, Li C Y, Liu S J, Ali W, Shao J. Knowledge-aware group representation learning for group recommendation. In: Proceedings of the 37th International Conference on Data Engineering. Chania, Greece: IEEE, 2021. 1571−1582 [54] Zhang S, Zheng N, Wang D L. HetGRec: Heterogeneous graph attention network for group recommendation. IEEE Intelligent Systems, 2023, 38(1): 9−18 doi: 10.1109/MIS.2022.3211074 [55] Sankar A, Wu Y H, Wu Y H, Zhang W, Yang H, Sundaram H. Groupim: A mutual information maximization framework for neural group recommendation. In: Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2020. 1279−1288Sankar A, Wu Y H, Wu Y H, Zhang W, Yang H, Sundaram H. Groupim: A mutual information maximization framework for neural group recommendation. In: Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2020. 1279−1288 [56] Veličković P, Fedus W, Hamilton W L, Liò P, Bengio Y, Hjelm R D. Deep graph infomax. In: Proceedings of the 7th International Conference on Learning Representations. New Orleans, USA: OpenReview.net, 2019. 1−17 [57] Devlin J, Chang M W, Lee K, Toutanova K. BERT: Pre-training of deep bidirectional transformers for language understanding. In: Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Minneapolis, Minnesota: Association for Computational Linguistics, 2019. 4171−4186 [58] Radford A, Narasimhan K, Salimans T, Sutskever H. Improving language understanding by generative pre-training [Online], available: https://api.semanticscholar.org/CorpusID:49313245, December 18, 2023Radford A, Narasimhan K, Salimans T, Sutskever H. Improving language understanding by generative pre-training [Online], available: https://api.semanticscholar.org/CorpusID:49313245, December 18, 2023 [59] Radford A, Wu J, Child R, Luan D, Amodei D, Sutskever I. Language models are unsupervised multitask learners. OpenAI Blog, 2019, 1(8): Article No. 9 [60] Zhang S, Zheng N, Wang D L. GBERT: Pre-training user representations for ephemeral group recommendation. In: Proceedings of the 31st ACM International Conference on Information and Knowledge Management. Atlanta, USA: ACM, 2022. 2631−2639 [61] Zhang Y Y, Wu X, Fang Q, Qian S S, Xu C S. Knowledge-enhanced attributed multi-task learning for medicine recommendation. ACM Transactions on Information Systems, 2023, 41(1): Article No. 17 [62] Cao D, He X N, Miao L H, Xiao G Y, Chen H, Xu J. Social-enhanced attentive group recommendation. IEEE Transactions on Knowledge and Data Engineering, 2021, 33(3): 1195−1209 doi: 10.1109/TKDE.2019.2936475 [63] Yin H Z, Wang Q Y, Zheng K, Li Z X, Zhou X F. Overcoming data sparsity in group recommendation. IEEE Transactions on Knowledge and Data Engineering, 2022, 34(7): 3447−3460 [64] Chen H X, Yin H Z, Chen T, Nguyen Q V H, Peng W C, Li X. Exploiting centrality information with graph convolutions for network representation learning. In: Proceedings of the 35th International Conference on Data Engineering. Macao, China: IEEE, 2019. 590−601 [65] He X N, Liao L Z, Zhang H W, Nie L Q, Hu X, Chua T S. Neural collaborative filtering. In: Proceedings of the 26th International Conference on World Wide Web. Perth, Australia: International World Wide Web Conferences Steering Committee, 2017. 173−182 [66] Feng S S, Zhang H X, Wang L, Liu L, Xu Y C. Detecting the latent associations hidden in multi-source information for better group recommendation. Knowledge-Based Systems, 2019, 171: 56−68 doi: 10.1016/j.knosys.2019.02.002 [67] Choudhary N, Minz S, Bharadwaj K K. Negotiation framework for group recommendation based on fuzzy computational model of trust and distrust. Multimedia Tools and Applications, 2020, 79(37−38): 27337−27364 doi: 10.1007/s11042-020-09339-x [68] Guo L, Yin H Z, Wang Q Y, Cui B, Huang Z, Cui L Z. Group recommendation with latent voting mechanism. In: Proceedings of the 36th International Conference on Data Engineering. Dallas, USA: IEEE, 2020. 121−132 [69] Guo L, Yin H Z, Chen T, Zhang X L, Zheng K. Hierarchical hyperedge embedding-based representation learning for group recommendation. ACM Transactions on Information Systems (TOIS), 2021, 40(1): Article No. 3 [70] Seo Y D, Kim Y G, Lee E, Seol K S, Baik D K. An enhanced aggregation method considering deviations for a group recommendation. Expert Systems With Applications, 2018, 93: 299−312 doi: 10.1016/j.eswa.2017.10.027 [71] Loveymi S, Hamzeh A. Proposing an evolutionary method based on maximization precision of group recommender systems. In: Proceedings of the 7th Conference on Information and Knowledge Technology. Urmia, Iran: IEEE, 2015. 1−6 [72] Guo Z W, Tang C W, Tang H, Fu Y Q, Niu W J. A novel group recommendation mechanism from the perspective of preference distribution. IEEE Access, 2018, 6: 5865−5878 doi: 10.1109/ACCESS.2018.2792427 [73] Sun Y Z, Han J W, Yan X F, Yu P S, Wu T Y. PathSim: Meta path-based top-k similarity search in heterogeneous information networks. Proceedings of the VLDB Endowment, 2011, 4(11): 992−1003 doi: 10.14778/3402707.3402736 [74] Zeng Z N, Xiao C J, Yao Y, Xie R B, Liu Z Y, Lin F, et al. Knowledge transfer via pre-training for recommendation: A review and prospect. Frontiers in Big Data, 2021, 4: Article No. 602071 doi: 10.3389/fdata.2021.602071 [75] Jafri S I H, Ghazali R, Javid I, Mahmood Z, Hassan A A A. Deep transfer learning with multimodal embedding to tackle cold-start and sparsity issues in recommendation system. PLoS One, 2022, 17(8): 1−24 [76] Gan M X, Ma Y X. Knowledge transfer learning from multiple user activities to improve personalized recommendation. Soft Computing, 2022, 26(14): 6547−6566 doi: 10.1007/s00500-022-07178-6 [77] Chen J W, Dong H D, Qiu Y, He X N, Xin X, Chen L, et al. AutoDebias: Learning to debias for recommendation. In: Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2021. 21−30Chen J W, Dong H D, Qiu Y, He X N, Xin X, Chen L, et al. AutoDebias: Learning to debias for recommendation. In: Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2021. 21−30 [78] Chen J W, Dong H D, Wang X, Feng F L, Wang M, He X N. Bias and debias in recommender system: A survey and future directions. ACM Transactions on Information Systems, 2023, 41(3): Article No. 67 [79] Chawla N V, Bowyer K W, Hall L O, Kegelmeyer W P. SMOTE: Synthetic minority over-sampling technique. Journal of Artificial Intelligence Research, 2002, 16(1): 321−357 [80] Mandal P, Samanta S, Pal M, Ranadive A S. Pythagorean linguistic preference relations and their applications to group decision making using group recommendations based on consistency matrices and feedback mechanism. International Journal of Intelligent Systems, 2020, 35(5): 826−849 doi: 10.1002/int.22226 [81] Castro J, Quesada F J, Palomares I, Martínez L. A consensus-driven group recommender system. International Journal of Intelligent Systems, 2015, 30(8): 887−906 doi: 10.1002/int.21730 [82] Garcia I, Sebastia L. A negotiation framework for heterogeneous group recommendation. Expert Systems With Applications, 2014, 41(4): 1245−1261 doi: 10.1016/j.eswa.2013.07.111 [83] Xu Y S, Zhang Y X, Guo W, Guo H F, Tang R M, Coates M. GraphSAIL: Graph structure aware incremental learning for recommender systems. In: Proceedings of the 29th ACM International Conference on Information and Knowledge Management. ACM, 2020. 2861−2868Xu Y S, Zhang Y X, Guo W, Guo H F, Tang R M, Coates M. GraphSAIL: Graph structure aware incremental learning for recommender systems. In: Proceedings of the 29th ACM International Conference on Information and Knowledge Management. ACM, 2020. 2861−2868 [84] Song L Q, Tekin C, van der Schaar M. Online learning in large-scale contextual recommender systems. IEEE Transactions on Services Computing, 2016, 9(3): 433−445 doi: 10.1109/TSC.2014.2365795 [85] Zheng N, Li Q D. A recommender system based on tag and time information for social tagging systems. Expert Systems With Applications, 2011, 38(4): 4575−4587 doi: 10.1016/j.eswa.2010.09.131 [86] Lin J H, Dai X Y, Xi Y J, Liu W W, Chen B, Li X Y, et al. How can recommender systems benefit from large language models: A survey. ACM Transactions on Information Systems, DOI: 10.1145/3678004 [87] Wu L K, Zheng Z, Qiu Z P, Wang H, Gu H C, Shen T J, et al. A survey on large language models for recommendation. World Wide Web, 2024, 27(5): Article No. 60 doi: 10.1007/s11280-024-01291-2 [88] Li L, Zhang Y F, Liu D G, Chen L. Large language models for generative recommendation: A survey and visionary discussions. In: Proceedings of the Joint International Conference on Computational Linguistics, Language Resources and Evaluation. Torino, Italia: ELRA and ICCL, 2023. 10146−10159 [89] Qiu Z P, Wu X, Gao J Y, Fan W. U-BERT: Pre-training user representations for improved recommendation. In: Proceedings of the 35th AAAI Conference on Artificial Intelligence. AAAI, 2021. 4320−4327Qiu Z P, Wu X, Gao J Y, Fan W. U-BERT: Pre-training user representations for improved recommendation. In: Proceedings of the 35th AAAI Conference on Artificial Intelligence. AAAI, 2021. 4320−4327 -
下载:
计量
- 文章访问数: 952
- HTML全文浏览量: 291
- PDF下载量: 418
- 被引次数: 0
