摘" 要：在线教学的教师由于缺乏与学生的情感交互无法像传统面对面课堂那样及时预测学业成绩以提前进行干预。为此，建立基于情感分析的在线教学学业风险预测方法。首先，通过获取效价—唤醒度—控制性（Valence-Arousal-Dominance， VAD）多维情感参数来获得更全面精细的情感信息。其次，利用正交卷积神经网络进行多维情感参数识别。最后，选用多个经典回归模型进行学业成绩和学业风险预测实验，最终选出最适合预测学术风险的模型。实验结果表明，采用正交化卷积约束的神经网络和未进行约束的模型相比，情感参数预测准确性提升；在预测学术成就上引入VAD情感参数比仅使用认知数据的预测准确度明显提升；ADA_RF_EXP模型在最终成绩预测和失败风险警示方面表现最佳。
关键词：面部表情识别；情感计算；智能教学系统；学业风险预警系统
中图分类号：TP391.4" 文献标识码：A" 文章编号：2096-4706（2024）11-0130-06
Online Learning Risk Early Warning Based on Multi-dimensional Continuous Emotion Recognition
HUO Yi
（Teachers College of Beijing Union University， Beijing" 100011， China）
Abstract： Online teaching teachers are unable to predict academic performance in a timely manner and intervene in advance like traditional face-to-face classrooms due to a lack of emotional interaction with students. To this end， it establishes an online teaching academic risk prediction method based on sentiment analysis. Firstly， by obtaining the multidimensional emotional parameters of Valence-Arousal-Dominance （VAD）， more comprehensive and detailed emotional information can be obtained. Secondly， it uses orthogonal convolutional neural networks for multi-dimensional emotion parameter recognition. Finally， multiple classic regression models are selected for academic performance and academic risk prediction experiments， and the most suitable model for predicting academic risk is ultimately selected. The experimental results show that compared with the unconstrained model， the neural network with orthogonal convolutional constraints improves the accuracy of emotion parameter prediction. The introduction of VAD emotional parameters in predicting academic achievements significantly improves the accuracy of prediction compared to using only cognitive data. The ADA-RF-EXP model performs the best in predicting final grades and warning of failure risks.
Keywords： facial expression recognition; Affective Computing; intelligent teaching system; academic risk early warning system
0" 引" 言
随着人工智能和大数据技术的快速发展，智能在线教育变得非常流行[1]。它提供一个无处不在的学习环境，让人们可在任意时间、任何地点使用任一终端设备进行在线学习[2]。这促进了知识的传播，更为有效地分发了高质量的教育资源，为高质量平等教育做出了巨大的贡献。此外，全球新冠疫情的突然爆发成为在线教育的催化剂，促使其快速稳步发展[3-5]。然而，教师在在线教育场景中很难像在面对面课堂一样，能够实时感知到学生的情感状态，预见他们的学业成就，并及时就教学内容和教学策略做出相应的调整。学生希望在在线学习中体验与传统课堂环境中类似的情感交流。因此，在智能在线教学系统中引入实时、全面的情感检测工具具有极其重要的意义和价值。
目前，情感测量主要有两种方法：第一种是离散情感类别，如愤怒、厌恶、紧张、喜悦、悲伤、惊讶和中立七种基本情绪[5]。第二种是从多个维度进行连续值量化。Mollahosseini [6]以连续形式将情绪表达在价值（V）和唤起（A）二维空间中。然而，Mehrabian发现，仅凭价值（V）和唤起（A）是无法完全表达情感信息的。他建议增加支配（D，支配—服从）并通过研究证明采用VAD三个维度可以有效解释人类情感，为人类情感提供全面系统的量化方案。实际上，上述离散情感类别都位于VAD三维空间中，这也表明后者是更加全面和准确的情感量化方式。
在在线教育场景中，预测学生的学术成绩并及早识别出存在学业失败风险的学生是至关重要的。事实上，教育中的早期警告系统（Early Warning System， EWS）已经存在，但目前主要依赖于认知评估[7]，基于情感状态的研究相对较少。然而，认知和情感是心理活动的两个关键方面，在学习过程中同时存在，相互影响和相互作用，即：积极的情绪可以促进认知的内化和传递，而认知状态也可以影响情感。因此，引入情感信息可以更加全面地理解学生的学习状态，这激发了学者们将情感检测纳入学术成就预测研究的动力。
总之，该研究的三个贡献如下：一是，通过引入情感状态，为教师提供一种行之有效的学生学术失败预测方法，这对于自适应教学来说既实用又方便，终将提高在线教学的效果。二是，提供一种多维情感测量方法即VAD，以满足学生对综合情感量化的需求，满足回归模型向量化输入数据的要求。三是，利用实际教学数据测试回归模型，以选择最适合学术成绩预测的机器学习模型。
1" 研究现状分析
1.1" 在线学习场景的情感测量
“使计算机能够识别用户情绪”的想法是由人工智能之父、麻省理工学院的教授Minsky [8]率先提出的，他强调情绪是实现计算机智能化的关键因素。随后，Picard教授[9]在1997年明确定义了情感计算的概念，指出情感计算涉及与情感相关因素的计算，这些情感可以被触发，或者是能够影响和决定情感变化。之后，神经科学家发现情绪在人类认知和决策中起着重要作用。因此，Pekrun等人[10]提出了学习情绪的定义，即与学校学习、课堂教学活动和学习成果密切相关的情绪。他们提出，学习者可能会因学习顺利而感到快乐，而在面对学习中未能解决的困难时感到焦虑。
从获取学生情感数据的角度来看，一些人利用调查问卷、脑电图（EEG）和心率[11]来收集与学生情绪相关的生理信息。然而，调查问卷缺乏客观性，而脑电图和心率的获取需要特定设备，使它们难以在普通学习场景中实现。此外，心理学家认为情绪由7%的语言、38%的声音和55%的面部表情组成[6]，其中面部表情是学生感受最自然、最真实的反映，也很容易获取。
因此，情绪量化主要有两种方式。第一种是离散的情绪类别，比如上文提及的七种标准情绪。第二种是从多个维度进行连续量化。Mehrabian [12]提出并证明了三维VAD量化可以更加全面有效地解释人类的情绪[13]。
然而，当前的系统普遍采用离散情绪类别的量化[6]，忽略了从多个维度如V（Valence）、A（Arousal）、D（Dominance）进行分析，未来智能教育环境需要从更多的角度来感知情绪。因此，本研究将立足可以满足未来智能教育需求的情绪量化方法，进行VAD情感测量方法研究。
1.2" 在线学习的风险预警研究
人工智能（Artificial Intelligence， AI）技术的迅猛发展，使它有机会下沉到大众使用的移动设备上提供预警功用，如智能手表可以检测心率，智能手机可以预警用户是否感染COVID-19新冠病毒[14]。在教育场景中，早期预警系统（EWS）可以提前识别出有学业风险的学生，并警告教师提前进行干预，预防风险的发生。在风险检测类别方面：包含面对面课程及在线课程的退课率或退学率，以及期末考核的不及格率。在研究方向方面：有的EWS系统重在定义能识别风险条件的预测模型，有的EWS系统重在预警可视化设计。在干预机制方面：根据风险级别的不同，分为系统自动给学生发送信息和教师与学生进行面对面谈话等。在风险预测模型的数据获取方面：现有EWS预警系统主要是基于认知数据进行风险检测，如：学生对在线学习资源的访问、在线练习的质量，以及其他持续的在线学习行为，这些行为确实与学业成绩和及格率紧密相关。并且这类工具已经表明EWS学业风险预警系统在课程质量、实时监控、学生满意度方面具有明显的优势[14]。但是仍有可能会因为代刷学习资源或代做练习等诚信问题而影响评价的客观真实性，而通过面部表情获取的情感参数是更客观真实的，也能反映在线学习者的认知状态。然而，目前国内的EWS风险预警系统普遍缺乏情感指标参与。国外最新研究表明，在新冠疫情期间，智能终端设备可以通过检测大学生情感状态来预警辍学率，也可检测大学生神经系统疾病的发生[14]。通过识别学生的面部情感参数，不仅可以预警学业风险，还可以帮助学生建立积极的情感状态。因此，将在线学习者的情感指标引入学业风险预警条件预测模型，可进一步提升预测结果的客观真实性。
1.3" 学业成绩回归分析模型
Ridge岭回归是一种正则化技术，用于解决线性回归中的多重共线性问题[15]。它向线性回归目标函数添加一个惩罚项，该惩罚项是系数的平方值乘以正则化参数的总和。正则化参数抑制了大的系数值，防止过拟合，并在特征数量大于观测数量时提供相应的解决方案。
Lasso套索回归也是线性回归的正则化技术。其关键区别在于惩罚项，该项是系数的绝对值乘以正则化参数的总和[16]。Lasso具有特征选择属性，倾向于将一些系数收缩到零。这使得它在变量选择和处理包含许多不相关或冗余特征的数据集时非常有用。
Elastic Net弹性网络是一种将岭回归和套索惩罚结合起来的正则化技术。它向线性回归目标函数添加了L1和L2惩罚的线性组合[17]。这种组合由两个正则化参数控制：alpha（类似于岭回归）和L1_ratio（L1和L2惩罚之间的混合比例）。在处理相关特征时弹性网络尤其有用。
在ADA_RF_EXP模型中，基本估计器是随机森林，它是一组决策树的集成。AdaBoost为错误分类的实例分配权重，重点纠正之前弱学习器所做的错误分类[18]。AdaBoost是一种集成学习技术，将多个弱学习器组合起来形成一个强学习器。AdaBoost与随机森林的结合有助于创建一个强大且准确的预测模型。
2" VAD情感检测与学业风险预测
2.1" VAD情感检测方法
这一部分介绍了正交正则化[19]，以提取更多样化和富有表现力的情感特征。使用三个独立的回归网络分别训练和预测VAD值。每个网络都是由17个卷积层和1个全连接层组成的ResNet-18，最后输出的是一个表示V、A或D的神经元。每个网络的输入是面部表情图像，回归计算输出的VAD实数值与标注的VAD值作为损失函数的输入。为了实现更好的预测性能，在每个网络的几个卷积层上强制实施正交化卷积来提取更多样化和富有表现力的特征[20]。因此，总体目标损失函数由常规回归损失和正交卷积损失组成。将λ＞0表示为正交正则化损失的权重，那么整体损失函数L定义为式（1），其中Ltask为面部表情识别任务的常规损失，而Lorth为正交正则化损失。
L = Ltask + λ Lorth" " " " " " " " " " " " "（1）
2.2" 基于VAD多维情感信息的学业风险预测
本研究在在线学习环境下探索了一个学术成绩预测和风险预警模型，如图1所示。从底部到顶部有三个步骤：首先，机器学习模型的学术成绩预测模型实现回归来预测最终学术成绩，其中包括岭回归、Lasso回归、弹性网络（EN）和ADA_RF_EXP回归。其次，它根据第一步的结果预测学术不及格情况。最后，生成学术成绩和不及格风险的结果。基于回归分析的学业成绩预测模型定义为式（2）：
Y = F （x; w）" " " " " " " " " " " " " "（2）
其中，x为输入的学习行为数据或学习和情感数据，Y为输出的学术成绩，F为回归模型，w为模型参数。在训练过程中，w将从训练数据集中生成。在测试过程中，它将被用作模型参数计算测试数据集的结果。
为了验证引入VAD情感数据可以提高学业成绩预测准确性的假设，进行了两个实验。第一个实验仅仅通过学习行为数据产生最终成绩和不及格风险预警，而第二个实验同时使用学习和VAD情感数据生成预测的学业成绩。因此，根据两种方法的预测准确性来比较它们的预测结果。另外，Ridge岭回归、Lasso回归、EN弹性网络和ADA_RF_EXP代表了经典的回归分析算法，每种算法都有其自身的优势，应根据数据的特性和回归任务的具体目标适当选择。本研究应用上述四种回归模型分别进行了学业成绩预测，根据它们的预测结果来确定最适合用于学术成绩预测的回归模型。
2.3" 度量工具
对于评估回归模型，均方误差（MSE）是连续域中的常用测量指标[6]。最终成绩预测的准确性通过均方误差和标准误差进行评估，其定义如下：
（3）
Standard error =" " " " " （4）
这些度量指标旨在验证学业成绩预测结果的准确性。另一方面，学习风险预测结果分为两类：“有风险”或“无风险”，因此使用与分类相关的度量指标——准确率（Accuracy）来衡量预警模型的有效性。
3" 实验测试
3.1" 实验环境
系统的硬件包括Intel Xeon E5-2678 v3 CPU、64G RAM，以及具有24 GB内存的NVIDIA 3090 Ti GPU。操作系统为Windows 10，GPU驱动版本为537.13，CUDA版本为11.8，CUDNN版本为8.2.0.53，编程平台为PyTorch和PyCharm。正交卷积神经网络使用RMSE（均方根误差）损失函数和随机梯度下降进行训练，批大小为64，输出的VAD是实值连续值。初始学习率设置为0.01，并且每10 000次迭代就缩小为原来的1/10。总的Epoch为120。在这些配置下，训练时间约为2小时，实验结果如下。
3.2" VAD多维连续情感检测
将基于提出的正交卷积神经网络的VAD预测性能与未进行正交正则化的预测性能进行比较。结果如表1至表3所示。很明显，在注释数据集上，除了验证集在D维度的预测结果外，具有正交化约束的ResNet-18回归模型在验证集和测试集中对VAD三个维度的预测都具有更好的准确性。
将基于正交化卷积神经网络[21]的情感分类实验结果结合起来，可以得出结论：在训练用于分类或回归的卷积神经网络时，将正交正则化约束应用于特定层可以增强网络的能力，实现更好的计算效率和性能。通过从面部表情图像中获取三个VAD维度的信息，获得的情感信息将更加丰富、多样和全面。这对学业评价和风险预警方面VAD预测性能的提升具有重要意义。
3.3" 学业成绩预测
本研究对仅基于学习数据以及同时使用学习和VAD情感状态的学术成绩预测（包括最终成绩和学业不及格风险的预测）进行了实验。实验数据包括学习过程数据和情感状态数据，前者来自实际课堂教学，包括预测试情况，即所有学生加入课堂之前的GPA成绩，以及12堂课的测验成绩，它们被定义为学习行为数据。后者来自所有学生的面部表情图像，并被标记为VAD情感状态。
首先，进行仅基于认知学习数据的学术成绩预测。采用四种回归模型（即岭回归、Lasso回归、EN弹性网络和ADA_RF_EXP）进行学习结果的预测。它们对最终成绩预测结果的均方误差（MSE）和标准误差（std error）分别在图2（a）和（b）中展示。为了比较各种模型的预测准确性，每个模型的均方误差和标准误差都在图2中进行了展示。
由图2（a）可以看出，同时使用学习行为数据和VAD情感数据预测学业成绩的均方误差（MSE）在四种回归预测模型上的结果都表明：仅使用学习行为数据的预测结果的均方误差（MSE）要低于同时使用学习行为数据和VAD情感数据的预测结果。同样地，图2（b）说明同时使用学习行为数据和VAD情感数据预测的标准差（std error）更低。进一步地，在四种回归模型中，无论是仅使用学习行为数据进行的学业预测，还是同时使用了学业和情感数据进行学业预测，ADA_RF_EXP都具有最小的预测均方误差（MSE），所以在学业成绩预测上相比其他三种回归模型效果更好。
3.4" 学业风险预警
首先，学业失败（不及格）被定义为少于85分。然后，以85分为标准将预测的学业成绩分为不及格和及格，与真实成绩生成的是否及格信息进行对比计算，并采用准确率（Accuracy）来衡量，这些指标显示在图3中。结果显示，在Ridge、Lasso和EN模型上，使用情感数据与不使用情感数据进行学业风险预测的准确性均为0.67；仅在ADA_RF_EXP模型上，使用情感数据进行风险预测的准确性（0.83）高于不使用情感数据的风险预测结果，比不使用情感数据的风险预测结果准确性高0.16。因此，ADA_RF_EXP也是学业风险预测效果最佳的回归模型，这与其在图2学业成绩预测中的表现一致。因此，该实验结果可以验证研究假设：通过将VAD情感信息引入学习行为数据，可以提高学业成绩预测与学业失败风险预测的准确性。
4" 结" 论
本研究的主要内容包括多维连续情感测量和基于情感参数的在线学习风险预警。在情感检测方面，当前系统几乎完全使用离散情感类别（如愤怒、厌恶、紧张、喜悦、悲伤、惊讶和中立）进行量化，但却忽视了从愉悦度（V）、唤醒度（A）、控制性（D）多维空间进行分析的情况。然而，未来智能教育系统需要从更全面和富有表现力的角度量化情感。因此，当前的情感量化方法难以满足智能情感交互中情感评估的要求。进一步地，本研究通过正交化卷积建立更准确地VAD计算网络模型，并提供了具有更高准确性的VAD多维情感参数测量工具。在学业风险预警方面，目前已有的预警系统主要基于学业行为数据进行预测，忽略了学习情绪；然而，认知和情感在学习过程中同时存在，并相互影响和相互作用。因此本研究引入多维连续的情感信息进行学业成绩预测和风险预警，通过实验证明，引入VAD情感信息可以提升预测的准确性。在学业成绩预测模型方面，本研究采用四个经典的回归学习模型分别进行学业成绩预测和风险预警，并选择预测准确性最高的ADA_RF_EXP回归模型作为学业风险预警模型。
参考文献：
[1] LU Y. Artificial Intelligence： a Survey on Evolution， Models， Applications and Future Trends [J].Journal of Management Analytics，2019，6（1）1-29.
[2] SHAPSOUGH S Y，ZUALKERNAN I A .A Generic IoT Architecture for Ubiquitous Context-Aware Learning [J].IEEE Transactions on Learning Technologies，2020，13（3）：449-464.
[3] AMPONSAH S，BEKELE T A. Exploring Strategies for Including Visually Impaired Students in Online Learning [J].Education and Information Technologies，2022，28：9355-9377.
[4] CLARK A E，NONG H F，ZHU H J，et al. Compensating for Academic Loss： Online Learning and Student Performance during the COVID-19 Pandemic [J/OL].China Economic Review，2021，68[2024-02-15].https：//doi.org/10.1016/j.chieco.2021.101629.
[5] WOLF M A，PIZANIS A，FISCHER G，et al. COVID-19： a Catalyst for the Digitization of Surgical Teaching at a German University Hospital [J/OL].BMC Medical Education，2022[2024-02-16].https：//bmcmededuc.biomedcentral.com/articles/10.1186/s12909-022-03362-2.
[6] MOLLAHOSSEINI A，HASANI B，MAHOOR M H. AffectNet： A Database for Facial Expression， Valence， and Arousal Computing in the Wild [J].IEEE Transactions on Affective Computing，2019，10（1）：18-31.
[7] CASEY K，AZCONA D. Utilizing Student Activity Patterns to Predict Performance [J/OL].International Journal of Educational Technology in Higher Education，2017，14（1）[2024-02-05].http：//educationaltechnologyjournal.springeropen.com/articles/10.1186/s41239-017-0044-3#citeas.
[8] MINSKY M. The Society of Mind [M].New York：Simon amp; Schuster，1988.
[9] PICARD R W. Affective Computing [M].Massachusetts：The MIT Press，2000.
[10] PEKRUN R. Progress and Open Problems in Educational Emotion Research [J].Learning and Instruction，2005，15（5）：497-506.
[11] SAHA P，KUNJU A K A，MAJID M，et al. Novel Multimodal Emotion Detection Method Using Electroencephalogram and Electrocardiogram Signals [J/OL].Biomedical Signal Processing and Control，2024，92[2024-02-06].https：//doi.org/10.1016/j.bspc.2024.106002.
[12] MEHRABIAN A，RUSSELL J A. An Approach to Environmental Psychology [M].Massachusetts：Massachusetts Institute of Technology，1974.
[13] MEHRABIAN A. Basic Dimensions for a General Psychological Theory [M].Cambridge：Oelgeschlager， Gunn amp; Hain，1980.
[14] ACM TechNews [EB/OL].[2024-02-10].https：//technews.acm.org/current.cfm.
[15] BAI Q H，YIN X L，WANG J，et al. Prediction Model of Minimum Temperature Inside Solar Greenhouse in Central Hexi Corridor Based on Ridge Regression [J].Journal of Agriculture，2023，13（5）：96-100.
[16] XU B W，LI B X，TIAN S Y.Glass Classification and Identification Based on Lasso Regression and K-means Clustering [J/OL].Highlights in Science， Engineering and Technology，2023[2024-02-08].https：//www.semanticscholar.org/paper/Glass-classification-and-identification-based-on-Xu-Li/bdfaf68ab1a4f1c8df3f9a129200c7ba0ae53780.
[17] ALAMEER A，GHAZAEI G，DEGENAAR P，et al. Object Recognition With an Elastic Net-Regularized Hierarchical MAX Model of the Visual Cortex [J].IEEE Signal Processing Letters，2016，23（8）：1062-1066.
[18] TOOCHAEI M R，MOEINI F.Evaluating the Performance of Ensemble Classifiers in Stock Returns Prediction Using Effective Features [J/OL].Expert Systems with Applications，2023，213[2024-02-07].https：//doi.org/10.1016/j.eswa.2022.119186.
[19] XIE D，XIONG J，PU S L. All You Need is Beyond a Good Init： Exploring Better Solution for Training Extremely Deep Convolutional Neural Networks with Orthonormality and Modulation [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu：IEEE，2017：5075-5084.
[20] WANG J Y，CHEN Y B，CHAKRABORTY R，et al. Orthogonal Convolutional Neural Networks [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Seattle：IEEE，2020：11502-11512.
[21] HUO Y，ZHANG L. OCFER-Net： Recognizing Facial Expression in Online Learning System [C]//Proceedings of the 2022 International Conference on Advanced Visual Interfaces.New York：Association for Computing Machinery，2022：1-3.
作者简介：霍奕（1982—），女，汉族，河北石家庄人，讲师，博士，研究方向：人工智能、计算机视觉、模式识别。
收稿日期：2024-04-10
基金项目：教育部人文社会科学研究项目（23YJE880001）
