摘" 要：文章提出了一种基于方面级的用户偏好和新闻特征表示学习的新闻推荐框架（ALNR），通过新闻方面级编码器和用户方面级编码器分别学习用户偏好和新闻方面级特征表示。这些编码器的设计能够捕捉用户和新闻之间的差异，以此预测用户点击候选新闻项目的概率，从而提高了推荐系统的个性化水平。通过在MIND数据集上进行实验，验证了所提出方法明显优于当前领先的基线方法，进一步证明了方面级特征的重要性。
关键词：新闻推荐；用户偏好；方面级特征；表示学习
中图分类号：TP391.5" " 文献标识码：A" " " 文章编号：2096-4706（2024）24-0121-06
Recommendation Framework Integrating User Preferences and News Aspect-level Feature Representation
GENG Yipeng， CUI Qinghua
（Nantong Institute of Technology， Nantong" 226002， China）
Abstract： This proposes a news recommendation framework （ALNR） based on aspect-level user preferences and news feature representation learning. By news aspect-level encoders and user aspect-level encoders， it learns user preferences and news aspect-level feature representations separately. The design of these encoders allows for the capture of differences between users and news， enabling the prediction of the probability of a user clicking on a candidate news item， thereby enhancing the personalization level of the recommendation system. Through experiments conducted on the MIND dataset， it has been verified that the proposed method significantly outperforms the current leading baseline method， further demonstrating the importance of aspect-level features.
Keywords： news recommendation; user preference; aspect-level feature; representation learning
0" 引" 言
随着在线应用的普及，用户可以随时随地获取各种新闻。然而，这种便利也带来了严重的“信息过载”问题[1]。个性化新闻推荐系统能够帮助用户从海量新闻中找到自己最感兴趣的内容[2]。因此，它已成为当今网络新闻平台不可或缺的功能。
近年来，随着深度学习技术在新闻推荐领域的深入研究和不断发展[3-4]，但大多数方法都试图在粗粒度的主题级别上建模用户偏好，并在粗粒度的方面级别上表示新闻特征[5-6]。然而，细粒度的特征信息对于新闻推荐是必不可少的[7]。然而，现有的方法都忽略了在方面层面上对用户偏好和新闻特征的建模，导致新闻推荐的效果有限[8]。
现有的新闻推荐方法的缺陷主要有三个方面：第一，现有往往较为粗糙，无法准确描述新闻特征[9]。如表1所示，以第一篇新闻文章为例，主题是健康，但还可以用更细粒度的方面来描述文章。第二，主题信息不能全面反映用户偏好。以第二篇新闻文章为例，用户可能对与汽车新闻相关的某些方面感兴趣。第三，一部分新闻文章没有明确标注主题信息。以第三篇新闻文章为例，主题标注十分耗时，不可能为所有新闻文章生成主题标签。这限制了建立在明确主题信息上的新闻推荐系统的适用性[10]。
相比之下，新闻文章的方面信息可以从其内容中自动提取，这证明了由细粒度方面信息驱动的新闻推荐的必要性。因此，本文提出了一种基于方面级表示的新闻推荐框架（ALNR）。该框架由用户方面级编码器、新闻方面级编码器和点击预测器组成，旨在更准确地学习用户偏好和新闻特征。更具体地说，新闻方面级编码器和用户方面级编码器配备了一个方面级特征提取器，分别为新闻项目和用户生成方面级特征表示，这些表示随后被输入到点击预测器中。点击预测器计算给定用户点击每条候选新闻的概率，从而为用户生成新闻的推荐列表。
本文的主要贡献点如下：
1）提出了通过对细粒度的方面级用户偏好和新闻特性进行建模的方法，并利用特征提取器从新闻项中学习更准确的用户偏好和新闻特征表示。
2）设计了一个新的新闻推荐框架（ALNR），包括用户方面级编码器、新闻方面级编码器和点击预测器，以提供更准确的新闻推荐服务。
3）在新闻数据集MIND上进行了广泛的实验，结果表明本方法在性能上优于最先进的竞争方法。
1" 基于方面级表示的新闻推荐框架
在本节中，我们将介绍本文提出的新闻推荐框架（ALNR），其架构如图1所示，其体系结构包括三个核心模块：新闻方面级编码器、用户方面级编码器和点击预测器，每个模块的描述如下。
1.1" 问题形式化
给定用户u，用户u浏览的新闻集定义为N u = {n1，n2，…，nm}。考虑到一条候选新闻c，其二元标签y = {0，1}表示用户u是否会点击新闻c。ALNR框架被训练为一个预测模型，该模型通过学习u历史浏览新闻Nu来预测u点击c的概率，通过概率值对所有的候选新闻进行排序。本方法的目标是训练模型，得到一个用户可能会感兴趣的新闻列表，最终实现个性化的新闻推荐。
1.2" 新闻方面级编码器
为了获得新闻特征嵌入和方面级特征嵌入，本文设计了新闻方面级编码器，如图1（a）所示，该编码器由两个核心子模块组成：新闻特征提取器和方面级特征提取器。
给定一条新闻，首先使用新闻特征提取器和方面级特征提取器对其进行编码，从而分别生成初始新闻嵌入r和特定于方面的嵌入rd。接着，将r和rd拼接，产生最终的新闻表示n，如下所示：
n = [r；rd] （1）
1.2.1" 新闻特征提取器
为了充分提取每篇新闻文章的标题、类别和摘要三个部分信息，受Wu等人[11]的启发，本文设计了四个组件，将这些信息同时编码为潜在表征中，包括标题学习组件、摘要学习组件、类别学习组件和注意力组件，如图2（a）所示。
1）标题学习组件：该组件分为三层，第一层将新闻标题中的单词转换为单词嵌入。首先，将新闻标题定义为T = {w1，w2，…，wN}，w为单词，N为标题中单词的个数。根据词嵌入矩阵W∈RV×D，其中V表示词汇的大小，D表示词嵌入的维数，将新闻标题T转为嵌入表示E n = {e1，e2，…，eN}。
考虑到卷积神经网络（Convolutional Neural Networks， CNN）被广泛应用于捕捉文本特征[12]。因此，我们利用CNN网络在第二层中捕获新闻标题更深层的特征，第ith个位置的表示如式（2）所示：
（2）
其中，f表示ReLU，表示卷积算子，e（i-k）：（i+k）表示从位置（i-k）到（i+k）的词嵌入的连接，Cw表示CNN滤波器的核，bw为偏置向量。基于第二层的特征学习，可以得到一系列上下文词嵌入{c1，c2，…，cN}。
在第三层中，为了捕获新闻表述的重要特征，我们利用词级注意力网络[13]来增强新闻标题的重要特征信息表示，如式（3）～（5）所示：
（3）
（4）
（5）
其中，符号φ表示tanh运算，q、v和V表示可学习参数，ci表示标题的第jth词的嵌入，rt表示新闻标题的最终表示。
2）摘要学习组件：新闻摘要和标题的学习过程类似，因此，得到新闻摘要的表示ra。
3）类别学习组件：由于大多数新闻文章带有类别和子类别标签信息，也是新闻推荐的关键特征。为此，我们设计将两类类别转换为低维密集表示，并生成相应的表示，如式（6）～（7）所示：
（6）
（7）
其中，f表示ReLU，ec和esubc表示类别和子类别的嵌入表示，Vc、vc和Vsubc表示密层参数，rc和rsubc分别表示新闻类别和子类别的表示。
4）注意力组件：为了融合学习到的各类特征表示，我们使用注意力网络来给定新闻中包含的各种特征信息的权重，并构建最终的新闻表示。注意力权重的表示方法如式（8）所示：
（8）
（9）
其中，符号φ表示tanh，qt、Vt和vt表示可学习参数，λt、λa、λc和λsubc分别表示标题、摘要、类别和子类别的权重参数表示。最后，结合相应的嵌入表示，构建最终的新闻表示r，如式（10）所示：
（10）
1.2.2" 方面级特征提取器
如图2（b）所示，受He等人[14]工作的启发，我们设计了方面级的特征提取器，包括基于注意力的新闻嵌入和基于方面级特征的新闻嵌入重构：
1）基于注意力的新闻嵌入。为了捕获每个新闻条目中的重要方面级词汇，我们利用注意机制对新闻进行编码，如式（11）～（14）所示：
（11）
（12）
（13）
（14）
其中，ei表示该词在新闻内容中的嵌入，包括标题、摘要和类别。Y表示单词嵌入的平均值，H表示y和ei的映射矩阵。为权重，可以看作是第ith词是描述新闻主要方面级特征信息的正确方面词的概率。zd表示根据每个可能方面级词汇的加权概率进行的基于注意力的新闻嵌入。
2）基于方面级特征的新闻嵌入重构。为了保证方面级特征提取的质量，受自编码器的启发，我们通过提取的方面嵌入的线性组合来重构每个新闻，如式（15）～（16）所示：
（15）
（16）
其中，Wp表示权重矩阵，b表示偏置向量，P可以看作是所有方面级嵌入的权重向量，A表示方面级嵌入矩阵，它是用新闻嵌入的k均值质心初始化的。rd表示用方面级词汇重构的新闻嵌入。
1.3" 用户方面级编码器
如图1（b）所示，为了准确地对用户偏好进行建模，本文设计了一个用户方面级编码器，该编码器由新闻的两个提取器以及用户偏好提取器组成。更具体地说，使用两个新闻特征提取器分别学习一般新闻表示k和特定于方面级特征的新闻表示kd。用户历史浏览新闻的最终表示，如（17）所示：
n′ = [k；kd] （17）
为了从每个用户浏览的新闻中对用户表示建模，我们进一步设计了一个用户偏好提取器。它采用句子级注意力机制，通过选择重要新闻，学习更准确的用户表征，具体如式（18）～（20）所示：
（18）
（19）
（20）
其中，符号φ表示tanh运算，表示用户u浏览的第ith新闻的表示，qn、Vn和vn表示可学习参数，M表示用户u浏览的新闻的总条数，表示注意力权重，最后，用户u的方面级特征表示u是浏览新闻表示的加权总和。
1.4" 点击预测器
当获取到方面级新闻表示n和用户表示u，根据Okura等人[15]的工作，我们设计了点击预测器通过对用户表示u与候选新闻n进行内积计算，得到用户点击候选新闻的概率，计算如式（21）所示：
（21）
2" 实验分析
2.1" 数据集
实验使用的是经典的新闻数据集MIND[16]，该数据集收集来自Microsoft News网站的匿名行为日志，包含两个子数据集，数据集详情如表2所示。对于每条新闻，MIND提供标题、类别、摘要和实体信息；考虑到数据集的特殊组成，实验将发布的验证集作为测试集，并从训练集中分离10%的样本作为新的验证集。
2.2" 评价指标
平均倒数排名（Mean Reciprocal Rank， MRR）和归一化折损累计增益（Normalize Discounted Cumulative Gain， nDCG）是用来衡量推荐模型排序性能的指标，定义如式（22）～（23）所示：
（22）
（23）
其中，N表示用户的总量，Pi表示第i个用户的真实访问值在推荐列s表的位置，若推荐列表不存在该值，则p = +∞。
2.3" 实验设置
本研究基于TensorFlow框架构建神经网络结构模型，在NVIDIA GeForce RTX3090显卡和16 GB内存的环境下训练模型。实验利用预训练好的Glove embedding[17]初始化单词嵌入，并将嵌入维数设置为300。对于所有模块，CNN的过滤器设置为400，窗口大小设置为5。对于训练，我们将负采样比设置为6，批大小设置为256。为了避免过拟合，dropout值设置为0.2。
2.4" 对比方法
在实验中，我们对比了几种具有代表性的基线模型，包括潜在因素模型和神经网络模型：
1）FM[18]，一种基于矩阵分解的推荐任务非线性模型，它结合了支持向量机和分解模型的优点。
2）CNN[19]，一种经典的卷积神经网络，利用CNN对新闻标题的词序列进行编码，并应用最大池化来捕获特征以进行新闻推荐。
3）DKN[20]，一种基于深度学习的新闻推荐系统，它利用CNN和注意力机制来学习用户和新闻表示，并使用知识图来提高推荐的有效性。
4）TANR[5]，一个最先进的新闻推荐系统，它应用CNN和注意力网络，在主题类别标签的帮助下生成主题感知的新闻表示。
5）LSTUR[21]，一种新闻推荐序列模型，通过门循环单元网络对长期和短期用户偏好进行建模。
6）ALNR*，表示为ALNR的简化版本，它从标准ANRS模型中删除了所有方面级特征提取器。
2.5" 实验结果与分析
2.5.1" 推荐性能对比
为了验证ALNR的有效性，我们对其推荐精度进行了基线比较。表3和表4中呈现了MRR、nDCG@5和nDCG@10的结果，并得出以下结论：
传统的潜在因素模型（FM）无法有效捕获复杂和深层的特征，因此其表现明显较差。与潜在因素模型相似，单个神经网络（如CNN）的性能相对较低，表明基础神经网络模型无法完全捕获新闻内容的特征。然而，利用新闻类别的深度神经网络（如DKN、LSTUR、TANR）相对于潜在因素模型取得了显著的改进。尽管这些模型优于基础模型，但它们无法捕获与新闻内容相关的细粒度方面级信息，从而限制了性能改进。
基于注意力机制的方法（如DKN）在模型新闻表示中应用了多头自注意力，相较于其他基线表现更好。然而，它仍然忽略了细粒度的方面信息，因此其性能不及我们提出的ALNR模型。相比之下，我们的ALNR模型不仅捕获了各种类型的新闻信息，还学习了细粒度的方面级信息，从而支持更准确的推荐。因此，ALNR在所有指标上表现出最佳性能。ALNR的性能甚至优于TANR，这表明在新闻推荐的背景下，细粒度的方面信息比传统的主题信息更为强大。
此外，当从ANRS中删除了所有模块的方面级特征提取器，构建了一个精简的变体ANRS*，从实验结果可以看出，方面级信息在提高推荐性能上起到非常关键的作用。
2.5.2" 方面级词汇数量的影响
我们将方面级词汇的数量从10到45，步长为5，并在图2中显示相应的性能。方面级特征提取器中的矩阵用新闻嵌入的k均值质心初始化，这决定了方面级词汇的数量。实验结果显示，当方面级词汇数设置为40时，模型达到了最佳性能。可能的原因有两个方面。一方面，当方面的数量小于40时，模型无法捕获足够的方面特征。另一方面，当方面数超过40个时，模型更容易捕获和吸收噪声信息。
2.5.3" 不同输入数据的影响
我们将不同类型的新闻相关数据输入到模型中并比较其性能。根据输入数据的差异，我们将标准ALNR转换为ALNRt、ALNRtc、ALNRa、ALNRac、ALNRat和ALNRact六种变体。其中，ALNRt表示仅将新闻的标题作为输入的ALNR模型，而上标c和上标a分别表示新闻类别和摘要。从图3可以看出，ALNRact（即将所有可用数据作为输入的标准ALNR模型）的性能最好。此外，ALNRt和ALNRtc的性能分别优于ALNRa和ALNRac。这可能是因为在新闻推荐的背景下，新闻标题比摘要更能提供信息。当比较ALNRat和ALNRact时，引入类别特征信息也可以提示模型的推荐精度。
3" 结" 论
本研究提出了一种新的方面驱动新闻推荐框架（ALNR）。该框架建立在用户偏好和新闻的方面级特征表示学习的基础上，由三个主要模块组成：新闻方面级编码器、用户方面级编码器和点击预测器。在新闻编码器和用户编码器中，提取方面级特征信息分别增强新闻和用户的表示。在真实新闻数据集的评估结果证明了我们提出的模型的优越性。本研究提供更符合用户兴趣和偏好的新闻推荐，有利于改善用户的阅读体验。在未来工作中，我们考虑挖掘更多的用户行为的隐式反馈数据，如用户点击、浏览、收藏等，以进一步提升推荐的个性化程度。
参考文献：
[1] 耿宜鹏，鞠时光，蔡文鹏，等.基于Skip-PTM的网页主题分类与主题变迁的研究 [J].小型微型计算机系统，2020，41（7）：1395-1399.
[2] 姚楠，何山，赵越，等.结合强化学习和用户短期行为的新闻推荐算法 [J].计算机应用与软件，2024，41（4）：284-290.
[3] MA M，NA S，WANG H，et al. The Graph-based Behavior-aware Recommendation for Interactive News [J].Applied Intelligence，2022，52（2）：1913-1929.
[4] GENG Y，SHAO Y，ZHANG S，et al. Multi-hop Temporal Knowledge Graph Reasoning over Few-Shot Relations with Novel Method [C]//2022 2nd International Conference on Consumer Electronics and Computer Engineering.Guangzhou：IEEE，2022：551-556.
[5] WU C，WU F，AN M，et al. Neural News Recommendation with Topic-Aware News Representation[C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics.Florence：ACL，2019：1154-1159.
[6] HU L M，" LI C， SHI C，et al. Graph Neural News Recommendation with Long-term and Short-term Interest Modeling [J/OL].Information Processing and Management，2020，57（2）：102142（2019-11-15）.https：//doi.org/10.1016/j.ipm.2019.102142.
[7] ZOGAN H，RAZZAK I，WANG X，et al. Explainable Depression Detection with Multi-aspect Features Using a Hybrid Deep Learning Model on Social Media [J].Proceedings of the 25th World Wide Web Conference，2022，25（1）：281-304.
[8] RAZA S，DING C. News Recommender System： a Review of Recent Progress，Challenges， and Opportunities [J].Artificial Intelligence Review，2022，55（1）：749-800.
[9] 田萱，丁琪，廖子慧，等.基于深度学习的新闻推荐算法研究综述 [J].计算机科学与探索，2021，15（6）：971-998.
[10] 武金路，崔晓晖.基于用户隐式反馈信号和多维度兴趣的新闻推荐算法 [J].计算机工程与应用，2024，60（12）：101-110.
[11] WU C，WU F，AN M，et al. Neural News Recommendation with Attentive Multi-View Learning [C]//Proceedings of the 28th International Joint Conference on Artificial Intelligence.AAAI Press：Macao，2019：3863-3869.
[12] WANG B，KANG Y，HUO D，et al. Depression Signal Correlation Identification from Different EEG Channels Based on CNN Feature Extraction [J/OL].Psychiatry Research： Neuroimaging，2023，328：111582（2022-12-22）.https：//doi.org/10.1016/j.pscychresns.2022.111582.
[13] LIU D，QU X，LIU X Y，et al. Jointly Cross and Self-Modal Graph Attention Network for Query-Based Moment Localization [C]//Proceedings of the 28th ACM International Conference on Multimedia.Association for Computing Machinery：New York，2020：4070-4078.
[14] HE R，LEE W S，NG H T，et al. An Unsupervised Neural Attention Model for Aspect Extraction [C]//Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics.Vancouver：ACL，2017：388-397.
[15] OKURA S，TAGAMI Y，ONO S，et al. Embedding-based News Recommendation for Millions of Users [C]//Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.Association for Computing Machinery：New York，2017：1933-1942.
[16] WU F，QIAO Y，CHEN J H，et al. MIND： A Large-scale Dataset for News Recommendation [C]//Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics.ACL，2020：3597-3606.
[17] PENNINGTON J，SOCHER R，MANNING C. GloVe： Global Vectors for Word Representation [C]//Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing.Doha：ACL，2014：1532-1543.
[18] RENDLE S. Factorization Machines [C]//Proceedings of the 2010 IEEE International conference on data mining.Sydney：IEEE，2010：995-1000.
[19] CHEN Y. Convolutional Neural Network for Sentence Classification [D].Waterloo：University of Waterloo，2015.
[20] WANG H，ZHANG F，XIE X，et al. DKN： Deep Knowledge-Aware Network for News Recommendation [C]//Proceedings of the 21th World Wide Web Conference.Republic and Canton of Geneva：International World Wide Web Conferences Steering Committee，2018：1835-1844.
[21] AN M，WU F，WU C，et al. Neural News Recommendation with Long-and Short-term User Representations [C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics.Florence：ACL，2019：336-345.
作者简介：耿宜鹏（1995—），男，汉族，助教，硕士，研究方向：自然语言处理；通信作者：崔庆华（1992—），女，汉族，讲师，硕士，研究方向：推荐系统。
