摘要：在传统推荐系统中，通常基于协同过滤推荐算法挖掘评分中的隐含特征，但在实际应用中，评分矩阵往往十分稀疏，很难充分地表示用户偏好特征与物品描述特征。为了充分挖掘评论文本中的隐含特征，并在一定程度上缓解数据稀疏性问题，提出一种深度协同过滤模型（CFiCNN）：融合卷积神经网络的协同过滤模型。该模型利用卷积神经网络抽取用户-物品评论数据中的隐含特征，基于协同过滤的矩阵分解方法，进行评分预测。在4个真实数据集上对该模型进行了评估实验，并与3个常用模型进行对比。实验结果表明，该模型能够很好地抽取到用户与物品的隐含特征，并且进行更准确的评分预测。
关键词：推荐系统；评分预测；卷积神经网络；协同过滤；矩阵分解
DOIDOI：10.11907/rjdk.172511
中图分类号：TP301
文献标识码：A 文章编号：1672-7800（2017）012-0044-05
Abstract：In the traditional recommendation system， collaborative filtering is widely used to extract implied features. However， in practice， the rating matrix is usually very sparse， which is difficult to fully represent users’ preferences and items’ features. In order to fully extract the implicit features in reviews and to alleviate the sparseness of data to a certain extent， this paper proposes a deep collaborative filtering model， named collaborative filtering integrating convolutional neural network （CFiCNN）. This model uses convolution neural network to extract the implicit features in the user-item reviews， and then predicts ratings based on the matrix factorization. In this paper， CFiCNN is evaluated on four real data sets and compared with three commonly used models. The experimental results show that CFiCNN can extract the implicit features of the user and the commodity well， and make a more accurate rating prediction.
Key Words：recommendation system； ratings prediction； convolutional neural network； collaborative filtering； matrix factorization
0 引言
随着互联网技术的迅猛发展，每天都有大量文字、图片、视频等数据被上传到互联网中[1]，分析用户的反馈信息和物品描述信息，挖掘两者中的隐含特征，对用户进行个性化推荐十分必要。
传统推荐算法主要有两大类：一类是基于内容的推荐算法，另一类是基于协同过滤的推荐算法[2-4]。基于内容的算法根据用户或物品的元数据，即用户的个人信息和物品的内容信息，发现用户或物品间的相关性，据此产生推荐。基于协同过滤的方法更看重用户的历史数据，如购买历史、评分等[5]，在实际应用中，该算法往往能取得更精确的推荐。然而，基于协同过滤的推荐算法存在稀疏性问题，较难有效抽取数据特征[6]。因此，如何有效缓解稀疏性问题，是推荐系统中需要深入研究的热点。
近年来，深度学习在图像识别、文本处理和自然语言处理等方面数据深层次隐含特征的挖掘上取得了一定进展，其中，卷积神经网络（Convolutional Neural Network， CNN）表现尤为突出[7-8]。卷积神经网络是一种前馈神经网络，其特殊的网络结构使之更类似于生物神经网络，因此能够很好地抽取数据的深层隐含特征[9]。本文提出的基于融合卷积神经网络的协同过滤模型（Collaborative Filtering integrating Convolutional Neural Network，CFiCNN）基于卷积神经网络理论，提取用户和物品数据的深层隐含特征，并将其融合到传统协同过滤算法中，实验表明有较好效果。
1 相关研究
1.1 传统推荐算法
传统推荐算法主要包括基于内容的算法和基于协同过滤的算法。基于内容的推荐算法源自信息检索[10-11]，其假设“用户会喜欢和他过去喜欢的物品类似的物品”，核心思想是基于用户和物品的内容信息，例如用户性别、兴趣偏好、物品的描述信息等，挖掘其相关性，然后根据用户过去喜欢的物品，为其推荐类似的物品。受限于特征信息的提取能力，基于内容的推荐方法效果并不理想。
基于协同过滤的推荐算法是目前应用最为广泛的算法，被认为第一个应用协同过滤的系统是Grundy书籍推荐系统[12]。1992年，David Goldberg[13]首次在论文中提出了“協作型过滤”一词，并将协同过滤应用于其设计的Tapestry邮件处理系统。基于协同过滤的推荐算法根据评分评论等历史数据，挖掘用户或物品之间的相似性，并据此预测评分，形成推荐。基于协同过滤的推荐算法可分为3种：基于用户的协同过滤、基于物品的协同过滤和基于模型的协同过滤。基于用户的协同过滤是最早的一种协同过滤算法，其基于最近邻搜索，使用不同相似性度量指标，如Pearson相关性系数、余弦相似度等方法，计算用户间的相似性，并据此进行推荐[14]。基于物品的协同过滤和基于用户的协同过滤类似，但它计算的是物品间的相似性。基于模型的协同过滤算法常用矩阵分解（Matrix Factorization， MF）抽取隐含信息，包括Lee等[15]在2001提出非负矩阵分解模型（Non-negative Matrix Factorization，NMF），Salankhutdinov等[16]在2008年及Rennie等[17]在2005年分别提出的最大间隔矩阵分解（Max-margin Matrix Factorization， MMMF） 以及概率矩阵分解模型（Probabilistic Matrix Factorization， PMF）。基于协同过滤的推荐算法善于发现用户新的喜好，具有推荐新信息的能力，而且其推荐性能不会随着用户数量的增加而大幅下降。但是，由于协同过滤算法基于历史数据形成推荐，因此该算法仍然存在“冷启动”与“稀疏性”问题。
1.2 卷积神经网络
卷积神经网络（Convolution Neural Network，CNN）是由LeCun等[7]在20世纪90年代发表论文确定的，是深度学习中的一种前馈神经网络，其权值共享和局部连接的特点，使之更类似于生物神经网络。卷积神经网络利用反向传播算法（Backpropagation，BP）训练模型，能够从原始输入数据中抽取更深层次的隐含信息，它的基本网络层包含：输入层、卷积层、池化层、全连接层和输出层。其中，卷积层为网络结构的核心，用于对输入信号进行卷积计算，学习深层次特征；池化层降低数据维度，减少参数数量，保留网络中更为重要的特征；全连接层的作用是将学习到的隐含特征映射到样本空间中，并送入输出层，生成输出。卷积神经网络已经在图像识别、文本处理等方面取得了多项突破性进展。目前，基于卷积神经网络的图像识别已经可以达到99.47%的准确率[18]。
近几年也有许多研究者将神经网络应用于推荐系统，2009年，王宁[19]基于BP神经网络设计实现了一种即时在线电子商务推荐系统，该系统基于BP神经网络对用户的购物兴趣进行分类，然后根据兴趣判断结果进行商品推荐。2013年，Dieleman等[20]提出了基于卷积神经网络的音乐推荐模型，该模型采用深度卷积神经网络提取歌曲音频中的特征，然后采用WMF（Weighted Matrix Factorization）模型进行评分预测，从而形成推荐。这些方法虽然能够根据用户和物品的描述信息，获取隐含特征，但是对于用户和物品的评论评分等历史数据的深层次特征挖掘方面还不够，推荐效果仍然不理想。
针对如何从稀疏数据中挖掘隐含特征提升推荐效果的问题，本文提出了一种融合卷积神经网络的协同过滤模型：CFiCNN模型，该模型将深度学习中的卷积神经网络融合到传统的协同过滤模型中，基于卷积神经网络学习用户和物品评论中深层次的隐含特征，通过协同过滤的矩阵分解模型，预测用户对物品的评分，据此进行推荐，并获得了较好的推荐效果。
2 协同过滤推荐模型介绍
2.1 问题描述
协同过滤算法根据用户对物品的兴趣偏好数据，挖掘物品或者用户的隐含特征，计算其相关性，然后进行评分预测，最后产生推荐。一般情况下，数据往往是十分稀疏的，目前的协同过滤很难抽取数据中深层次的隐含特征。
表1中每一行代表一个用户所发表的的评分和评论，每一列代表一个物品收到的评分和评论，其中？表示无评分评论信息。矩阵R和C可以通过表1获得。
因此，本文要解决的问题是：基于评分矩阵Rm×n与评论矩阵Cm×n，将卷积神经网络融合到传统的协同过滤算法中，挖掘用户和物品的隐含特征，预测用户对未评分物品的评分。
2.2 协同过滤模型结构
融合卷积神经网络的协同过滤算法模型，首先对数据进行预处理，包括去除无效数据，保留评论和评分数据；接着，针对每一用户、每一物品，分别合并其所有评论数据，并对评分数据求平均值；然后基于文本向量化技术，将合并后的每条评论数据转成向量，将向量化后的用户数据和物品数据分别送入卷积神经网络中训练，基于卷积神经网络抽取用户useri所有评论的隐含特征作为该用户的特征表示ui，同样地，抽取某一物品itemj所有评论的隐含特征作为该物品的特征表示vj，然后基于协同过滤中的矩阵分解方法，将ui和vj的转置进行内积，得到预测评分r′ij=uivTj；最后利用Adam优化方法训练模型[18]，最小化预测评分r′ij与真实评分rij的误差。
模型结构如图1所示，包括输入层、卷积层、池化层、全连接层和输出层。其中，输入层接收向量化的评论文本作为输入特征x，均值化的评分作为输入特征y；卷积层通过滑动卷积核对输入特征进行卷积计算，得到特征图；池化层利用最大池化的方法，对卷积层计算得到的特征图进行降维，保留网络中更为重要的特征；全连接层将学习到的隐含特征映射到样本空间，并传递给输出层，生成输出。
2.2.5 矩阵分解
矩阵分解利用矩阵相乘，将高维且稀疏的user-item评分矩阵分解为两个低维度的user特征矩阵和item特征矩阵。在基于模型的协同过滤算法中，通过构建用户和物品模型，从用户和物品的评分等历史数据中学习user的特征矩阵和item的特征矩阵，然后两个特征矩阵相乘，得到预测评分矩阵，最后拟合预测评分矩阵和真实评分矩阵。
3.3 对比实验
为了更好地评估本文提出的模型，验证该模型的有效性，本文选择3个对比模型进行比较实验，包括概率矩阵分解模型（PMF）、LibMF矩阵分解模型（LibMF）和卷积矩阵分解模型（ConvMF）。
3.4 实验结果与分析
本文在4个真实数据集上对提出的CFiCNN模型进行实验评估，并以RMSE作为评价指标度量评分预测的结果。在保证实验数据、实验环境等条件相同的情况下，将CFiCNN模型与3种不同的矩阵分解模型对比，分别是概率矩阵分解模型PMF、LibMF矩阵分解模型和卷积矩阵分解模型ConvMF。
實验参数设置如下：用户隐含特征权重值α=1，物品隐含特征权重值β=0.5。模型训练的学习率初始值设置为lr=0.000 65。设置用户隐含特征正则化项和物品隐含特征正则化项相等，λuser=λitem=λ=0.001。卷积神经网络卷积核大小设置为3*3，全连接层神经元个数为1 024个。
为了验证本文所提模型CFiCNN和对比模型的整体表现，首先将4个真实数据集随机划分为训练集（80%）和测试集（20%），其中又将训练集的20%随机划分为验证集，用于模型参数调整，不参与模型训练。
从图2可以看出，在所有真实数据集上，传统协同过滤模型PMF和LibMF的RMSE值很接近，而利用卷积神经网络提取评论文本特征的ConvMF模型和CFiCNN模型的RMSE值有所差异，说明卷积神经网络确实能够抽取评论文本中的隐含特征，但对该隐含特征的不同处理方式会影响评价指标RMSE的值，即最终的评分预测结果。而很明显地，本文提出的深度协同过滤模型CFiCNN的RMSE值，较其它3个对比模型都有所降低。其中，在ACSJ数据集上的降幅最大，评价指标RMSE较对比实验最低值降低了7.28%。在AMT数据集上的降幅最小，RMSE值较对比实验最低值降低了0.63%。
4 结语
本文基于协同过滤推荐算法，融合深度学习中的卷积神经网络，提出了深度协同过滤模型CFiCNN。该模型由输入层、卷积层、池化层、全连接层和输出层构成。其中，卷积层通过滑动卷积核对输入特征进行卷积计算，得到特征图；池化层对卷积层进行最大池化操作，保留网络中更为重要的特征；全连接层将学习到的隐含特征映射到样本空间，并传递给输出层。最后从CNN模型的全连接层中抽取用户和物品的隐含特征，进行矩阵分解，计算得到预测评分，从而拟合真实评分。
在推荐系统中，仍然存在一些问题值得深入研究，可以尝试将更多的信息，比如用户个人信息、物品描述信息等，引入到传统协同过滤模型中，并基于不同的深度神经网络模型抽取其中的隐含特征。
参考文献：
[1] 顾犇.信息过载问题及其研究[J].中国图书馆学报，2000，26（5）：42-45.
[2] 刘建国，周涛，汪秉宏.个性化推荐系统的研究进展[J].自然科學进展，2009，19（1）：1-15.
[3] PAZZANI M， BILLSUS D. Content-based recommendation systems[J]. The Adaptive Web， 2007： 325-341.
[4] SARWAR B， KARYPIS G， KONSTAN J， et al. Item-based collaborative filtering recommendation algorithms[C].Proceedings of the 10th International Conference on World Wide Web. ACM，2001：285-295.
[5] 马宏伟，张光卫，李鹏.协同过滤推荐算法综述[J].小型微型计算机系统，2009（7）：1282-1288.
[6] 孙小华.协同过滤系统的稀疏性与冷启动问题研究[D].杭州：浙江大学，2005.
[7] LECUN Y， BENGIO Y， HINTON G E. Deep learning[J]. Nature，2015，521 （7553） ：436-444.
[8] 李彦冬，郝宗波，雷航.卷积神经网络研究综述[J].计算机应用，2016，36（9）：2508-2515.
[9] 徐春晖，徐向东.前馈型神经网络新学习算法的研究[J].清华大学学报：自然科学版，1999，39（3）：1-3.
[10] BAEZA-YATES R A， RIBEIRO-NETO B. Modern information retrieval[M].北京：中国机械出版社，2004.
[11] 刘玮.电子商务系统中的信息推荐方法研究[J].情报科学，2006，24（2）：300-303.
[12] RICH E. User modeling via stereotypes[J]. Cognitive Science，1979，3（4）：329-354.
[13] GOLDBERG D， NICHOLS D， OKI B M， et al. Using collaborative filtering to weave an information tapestry[J]. Communications of the ACM，1992，35（12）：61-70.
[14] RESNICK P， IACOVOU N， SUCHAK M， et al. Group Lens： an open architecture for collaborative filtering of net-news[C].ACM Conference on Computer Supported Cooperative Work，1994：175-186.
[15] LEE D D， SEUNG H S. Algorithms for non-negative matrix factorization[C].Advances in Neural Information Processing Systems，2001：556-562.
[16] MNIH A， SALAKHUTDINOV R R. Probabilistic matrix factorization[C].Advances in Neural Information Processing Systems，2008：1257-1264.
[17] RENNIE J D M， SREBRO N. Fast maximum margin matrix factorization for collaborative prediction[C].Proceedings of the 22nd International Conference on Machine learning，2005：713-719.
[18] SPECHT D F. Probabilistic neural networks[J]. Neural Networks，1990，3（1）：109-118.
[19] 王宁.一种基于BP神经网络的即时在线推荐系统[J].计算机技术与发展，2009，19（7）：230-233.
[20] VAN DEN OORD A， DIELEMAN S， SCHRAUWEN B. Deep content-based music recommendation[C].Advances in Neural Information Processing Systems，2013：2643-2651.
[21] KARLIK B， OLGAC A V. Performance analysis of various activation functions in generalized MLP architectures of neural networks[J]. International Journal of Artificial Intelligence and Expert Systems，2011（4）：111-122.
（责任编辑：何 丽）