摘 要:针对传统在线考试的灵活性和智能化程度不足的问题,把富媒体理念引入高校在线考试过程,可以在简答、计算和综合等题型中插入图片、视频和声音等,提出采用深度学习的智能阅卷模块和基于动作分析的智能监考模块,保证在线考试的易于交互、高效监考和智能阅卷效果。在分析在线考试需求的基础上,构建了富媒体在线考试的体系结构与功能模型,开展了富媒体在线考试的全流程设计,为基于云计算的富媒体在线考试系统的开发与完善,提供了概念模型与数据模型的支持。智能测评云平台的应用案例证明了所提出富媒体在线考试模型的有效性。
关键词:在线考试;数字化考试;富媒体;体系结构设计;概念模型
中图分类号:TP311.5;G424.7 文献标识码:A 文章编号:2096-4706(2024)08-0040-06
DOI:10.19850/j.cnki.2096-4706.2024.08.010
收稿日期:2023-08-28
基金项目:中国矿业大学“教育数字化”专项教学研究课题(2022ZX19)
0 引 言
在线考试是指考生借助计算机或移动智能终端以及相应的在线考试系统软件,在互联网或局域网提供的考试平台上进行口头、书面或虚拟操作的无纸化考核[1]。在线考试具备智能组卷、在线答题、网上提交、自动阅卷评分和自动统计等功能。在线考试有许多种类型,有面向中小学、高等教育平台的小型课程在线考试,主要考查课程知识点是否已被掌握,多通过选择题形式反馈,具有易于抽题组卷和快速阅卷的特点;一种形式是基于高校的计算机房的在线考试,例如计算机基础考试、普通话等级考试和雅思、托福等在线考试等,它们都是基于选择题、计算机操作或语音对话来完成,配备教师全程监考[2]。但还有一种情况是面向量大面广的高校基础课和专业课考试,怎样把在普通教室考场进行的手写答题考试,转化为分布式在线考试,作为正常使用或疫情、灾害等应急情况下的备选方案,形成与线下考试同质等效甚至更加高效的在线考试系统,还缺乏细致的研究与实践工作[3]。
许多学者在高校基础课、专业课的在线考试方面,开展了方法与应用研究。例如,西南交通大学的龚晖等[4]汇报了该校材料力学在线考试的实践并进行了技术总结,解决在线考试计算题和网络拥堵的方法是,多设置计算题,采用随机和已知条件使计算题不同,答案只提交中间计算结果和最终计算结果;配置高性能服务器和分时访问方式,保证在线考试的网络可靠性。重庆师范大学的熊宗杨等[5]设计了基于Think PHP和MySQL的在线考试系统,包括考试管理、试卷分析、系统管理和消息管理等功能模块,对该在线考试系统进行了测试和数据结构课程的考试应用。复旦大学的王漱阳等[6]分析了本科生病理解剖学课程的在线考试实践,指出考试题型包括单选题、名词解释、简答题和病理思考题,在题目中插入病理大体标本和组织切片显微镜下的图片,考试采用基于云计算的超星在线考试系统,采用Java语言作为主要的后端开发语言,前端界面使用标准HTML,支持SQL Server和MySQL等主流数据库,适配IE 10以上版本浏览器。华东理工大学杨勤民等[7]开发了大学数学作业自动批改系统,把数学主观题改造为树状选择题,让学生通过选择题选项迭代的方式来回答主观题,便于计算机自动评阅。但是,当前在线考试系统在考试形式上比较单一,难以支持不同类型课程知识点的考查特征;或存在在线考试监考系统能力不足的问题,无法准确辨识与预防考试作弊问题[8];另外存在手写客观题评阅烦琐的问题,要么不支持客观题的出题与阅卷,要么仅支持写作答案的拍摄图片并上传,采用人工图片阅卷,缺乏智能化阅卷初判功能,即阅卷不够方便,成绩登记工作量大,反而限制了专业课在线考试模式使用的动力。
因此,本文主要面向高校基础课、专业课的在线考试需求,探索引入富媒体设计理念,构建面向多学科、多专业课程可用的在线考试系统模型。分析富媒体在线考试系统的需求,提出富媒体在线考试系统的体系结构和功能模块,并阐述高校专业课在线考试系统的全流程设计,为高校富媒体在线考试系统的开发提供概念模型与数据模型支持。
1 在线考试的需求分析
富媒体(Rich Media)[9],与普通多媒体相比,包括图片、视频和一些用户交互,普通多媒体主要包括文本和图片;富媒体涵盖了多媒体的范畴,同时提供了更加吸引用户的交互方法,例如声音、流媒体视频和一些基于下载插件的用户交互等。富媒体作为一个工具包,能够更加具有创造性并增强用户体验和参与度。富媒体技术对于用户来说是透明的,富媒体使用户与网络系统的交互更加简单,更加真实,所以使用富媒体理念与技术可以推动在线考试技术的发展。结合当前在线考试系统的使用、研发与应用现状,提出富媒体在线考试具有以下需求特征。
1.1 对于在线考试形式的需求
结合高校的基础课,尤其是专业课的考试模式,在线考试要求除了能够支持选择题、判断题等,也能够支持对于手写主观题,例如计算题、简答题和论述题的回答。在电脑系统的人机交互界面中回答主观题,不如卷面手写主观题回答与阅卷方便,因为用计算机系统输入公式较烦琐,且无学生手写特征,教师评阅电脑文字较困难,不利于给出合理分数。因此,要求在线考试系统应具备拍照上传主观题答案的功能,或具备收集手写板回答结果的功能,并对考生自主上传的主观题回答图片,具有清晰度判别、内容初步判别的功能,形成符合答案类型范围的回答结果图片。
1.2 设置题目类型与属性的需求
新型在线考试系统,对于主观题的类型设置,要求能够输入文字、公式,且要求能够插入图片、流媒体的视频或音频,并通过排版布置,形成能够良好展示的综合问题。主观题通过设置,可以形成填空题、简答题、计算题和综合分析题,上述各题型设置的复杂度,是逐步上升的,采用的表达手段,如文字、公式、图片和音频、视频等逐步增多,表达试题的信息量逐步丰富,适合由简单到复杂的考试题目的设置。另外,对于试题属性,要包括题型、难度、教学目标、分值、回答形式和判分方法等属性,用于自动组卷与智能阅卷的需求,保证组卷的分值、难度和教学目标的合理覆盖,满足与线下考试类似的组卷需求,并通过富媒体形式,提供比线下考试更好的综合题形式。
1.3 对于在线监考的需求
满足在线考试的监考需求,保证考试公平性成为互联开放式在线考试的重要需求。当前在线考试的监考也具有一些方法,例如,签署考试诚信协议、通过腾讯会议设置第二机位、防止切换屏幕、防止复制/粘贴等功能和禁止已完成试题的回看检查功能等。这些功能虽然可以起到一定防作弊效果,但也增加了硬件使用量和考试不方便的问题。对于富媒体在线考试来说,防作弊可以采用个性化题型设置法,在保证题目难度均衡的情况下,能够个性化、智能化修改题目参数;可以使用电脑摄像头模块监控考生作答情况;可以记录考试页面的切换情况提供监考预警提醒。通过富媒体形式吸引考生投入考试,并设置网络化智能监考与预警功能,配合在线考试协议和诚信教育,减轻考生的在线考试硬件负担。
1.4 在线考试的阅卷需求
对于高校基础课、专业课的富媒体在线考试,怎样高效地完成试卷批阅并统计试卷与达成度成绩,是在线考试的重要功能需求。传统线下考试的成绩评阅与统计非常烦琐,教师需要进行大量的对照、记录和计算工作。借助于计算机在线考试系统,客观题的评阅将会非常简单。对于主观题,如填空题、简答题、计算题、综合题或绘图题的评阅,需要引入人工智能的主观题评阅法,采用图片内容深度学习技术,提取答案图片中的关键信息点,与学习的答案相对照,给出主观题的评阅分数。然后,可以采用人工校验法,修改或调整智能阅卷给出的分数。进而,智能系统进一步学习与修正,提高后续阅卷的准确度。当前基于图片的智能阅卷系统,由于试卷学科和题目类型的多样性,还没有达到良好应用的程度。
2 在线考试系统的体系结构与功能模型
2.1 系统体系结构
富媒体在线考试系统,与普通在线考试系统的区别就是,提供更加多样化的题型设置手段,使主观题的题型设置更加丰富,更加方便对学生知识应用能力的考查。同时,提供智能在线监考功能,使考生了解系统的监考方式,通过减少干扰、方便答题的方式,使考生完成诚信的在线考试过程。更进一步,提供智能阅卷功能,探索采用人工智能引擎,基于教师给出的标准答案,采用深度学习和大数据挖掘法,智能对主观题图片中的文字和图形信息进行评阅,给出试题得分,并与教师评分相校验和改进提高。其他如管理、组卷和统计功能等,与普通在线考试系统类似。
在系统的体系结构方面,富媒体在线考试系统工具将不断创新和分享核心源码的Java语言作为核心使用的计算机开发语言,同时内嵌使用JavaScript、Python等脚本语言。其上集成的框架工具包括前端工具extjs、消息中间件RabbitMQ、分布式服务工具zookeeper等都具备开源、分享的特点,使富媒体在线考试系统工具可以在不用考虑授权的基础上获得基础框架持续优化的加成,系统技术框架如图1所示。
系统采用J2EE平台的浏览器/服务器/数据库三层架构进行开发,以“服务请求+服务响应”为基本运行方式,系统应用JSP技术实现客户层的开发,逻辑层应用JavaBean、EJB技术,Session EJB内封装业务逻辑,Entity EJB介于服务层和数据层之间,完成数据存取过程中的事务处理,整个逻辑层采用Web Service封装,有效集成了数据库访问的优化机制,提高了访问效率。采用关系数据库SQL作为后台数据存取的数据支持,具备文件服务器,实现数据和文件在系统全局功能模块中的共享、分析和处理功能。
2.2 系统功能模型
富媒体在线考试系统的主要功能,是实现网络环境下基于客户端考试需求的快速组卷、在线答题和智能评阅与成绩统计功能,以提高在线考试反应的敏捷性和满意程度。因此,设计了富媒体在线考试系统的主要功能,如图2所示,包括系统管理模块、题库与组卷管理模块、在线答题管理模块、监考管理模块、智能阅卷模块和试卷存档与分析管理模块。
2.2.1 系统管理模块
该模块可以实现系统的登录权限、属性定义和公共信息浏览的管理。利用系统的权限管理模块,用户登录系统后,在前端发起的请求里,添加权限信息,后端接收到的每个调用请求都需要确认是合理的平台前端调用。基于角色的访问控制设计的权限管理模块,使用基于角色、用户、功能的授权约束技术,建立授权约束的冲突检测规则,能对不同用户在访问资源时进行权限控制,避免因权限控制缺失或操作不当引发的风险问题。属性定义模块定义系统即试题的属性及其水平,例如,题型属性可以定义为单选题、多选题、判断题、填空题、简答题、计算题、综合题和绘图题等。需实现系统中所用属性及其水平的灵活定义,保证系统面向不同应用需求的可配置性和灵活性。
2.2.2 题库与组卷管理模块
该模块实现了考试课程和题目设置的管理,并由定义的组卷计算规则,快速生成所需课程的在线考试试卷。考试课程管理主要定义专业、课程类型、课程名称等需要在线考试的课程信息,而题目设置管理则针对具体课程,允许教师构建该课程的在线考试题库,包括多种可使用富媒体支持的试题类型,并设置试题的客观或主观回答属性。富媒体在线考试系统的题目设置管理,应提供允许插入图片、视频或音频素材的界面,并提供试题排版界面,使试题清晰、准确的展示给考生。另外,组卷计算定义可设置试卷的总分值、分项分值,可设置试卷的难度层级和对课程目标的覆盖要求,并可选择所用的组卷算法,如随机填充法和遗传优化算法等[10]。进而,试题组卷模块则根据服务器端系统底层运算,抽取题库中的试题形成试卷,提交给教师审阅和校核。该功能应可生成满足不同重复度要求的多套不同试卷,如A、B和C卷等,充分减轻教师出题工作量。
2.2.3 在线答题管理模块
在线答题模块的主要功能是识别考生信息、清晰地展示在线考试的客观题与主观题,记录考生回答的结果,并具备提交与按时回收试卷的功能。其中,主要阐述主观题的富媒体在线回答方式,对于计算、写作或绘图等主观题,系统允许考生拍照上传其答案,并具备题目回答结果的预览和清晰度校验功能,在满足清晰度和图片容量要求后,允许考生提交该题的回答结果。从而摆脱了以往在线考试仅支持选择、判断等客观题,而对文字、绘图等主观题回答支持不足的问题,丰富了在线考试的应用形式。对试题提供答案提交与存储功能,保证在线考试结果的可查阅、可评阅和安全性特征。
2.2.4 监考管理模块
开放式、分布式在线考试的监考,需要提供创新的监考手段。除了采用考试诚信教育之外,面向减轻考生硬件设备负担的需求,系统需具备监考方式设置选项。在该功能项中,可设置是否打开摄像头监控、是否限制页面切换和粘贴预警的次数等。在作弊预警管理模块中,可设置作弊预警算法,如单次统计法、行为综合法和智能判别法等,及时给出考生的作弊倾向预警,记录可能作弊的证据并提交考官最终判断。
2.2.5 智能阅卷管理模块
阅卷管理功能模块强调智能特征,因为对于以图片形式上传的主观题答案,如果完全教师评判则工作量大,借助计算机的人工智能和深度学习算法,基于标准答案比对考生以图片形式提交的试题回答结果,能够完成试题的初步评阅,减轻教师大量评阅的工作量。因此,系统首先包括评分标准提交功能,主观题标准答案被以图文方式输入系统;智能阅卷引擎采用人工智能和深度学习机理,比对考生的回答结果与标准答案之间的差距,通过神经网络算法或基于模型的控制算法,给出主观题试题的评分。最后,配合客观题结果,由系统完成试卷的评阅,通过教师核查后,由系统进行成绩输出,学生可以根据通知提醒进行基于网络的课程考试查分。
2.2.6 试卷存档与分析管理模块
线下课程考试大量试卷的存档,占用宝贵办公室空间,同时,成绩数据、课程目标达成度数据的统计工作较烦琐。富媒体在线考试系统的存档与分析管理模块,需要提供校核流程管理,设置试卷成绩的批量校核流程,由不同的用户来顺接执行成绩批阅与校核工作。系统需面向专业认证与教学评估需求,提供成绩的分析统计功能。进一步,可以基于试卷大数据分析,面向教师进行试卷和教学效果反馈,指导教师改进教学过程、优化教学方法。试题库则是存储历史在线考试试卷的存储库,展示历年的课程考试结果,形成课程考试大数据。
3 在线考试系统的全流程设计
基于上述描述的富媒体在线考试系统的功能模型,开展富媒体在线考试的全流程设计与系统响应分析,构建了如图3所示的在线考试系统流程。
第一步,需要进行在线考试系统的题库设置。需要设置考试课程的客观题,如选择题、判断题,进而设置课程的主观题,如填空题、简答题、计算题和综合题等。对于工程图学和机械制图等绘图类课程考试,则需要输入绘图题。另外,需要输入题目的答案及评分标准,对于客观题,直接给出选项和判断结果,而对于主观题,则向系统输入文字或图片的标准答案,并给出评分标准。
第二步,针对课程考试,如期中、期末等考试需求,在组卷算法的支持下,通过组卷运算生成满足需求的多份标准化试卷。由课程组教师进行审核和评定,对不满足要求的试卷进行重新生成或微调,同时生成试卷的答案及评分标准。
第三步,在富媒体实时在线考试模块的支持下,通过网络化人机界面与后台响应的方式,进行考生登录、在线答题和在线监考的工作,同时系统记录答题时间。在考试过程中,对于主观题允许考试使用手写板回答,或上传手写答案图片的方式,目的是体现考生对于主观题的写作回答结果。对于主观题,采用与线下考试类似的回答方式,提高考生对于在线考试试题回答的熟悉程度,并体现出个性化答题的效果。
第四步,开发基于深度学习的主观题自动评阅模块,对学生以图片形式上传的主观题进行自动评阅。系统首先完成标准答案识别,然后采用深度学习或基于模型的控制策略,识别考生手写答案与标准答案的差距,从而给出得分评判[11]。进而,教师对于自动阅卷结果进行人工校核和修改。如果自动阅卷结果差异过大,则需改进自动阅卷模型并进行再学习评阅。在满足试卷评阅准确度要求之后,进行在线考试的成绩发布,并进行统计与分析工作。进而,对考试试卷存档形成在线考试大数据集合,供后续的调用与数据挖掘工作使用。
4 在线考试的应用案例
把上述富媒体在线考试的概念模型与数据模型,融入基于云计算的在线考试系统,我校已成功实施iTEST智能测评云平台,为高校外语教学提供在线测评与资源服务,如图4所示。iTEST提供了题库管理功能,其中,AI命题可以基于模板和题型等属性进行自动出题,提高了出题的灵活性;考试管理模块则设置考试时长、开始时间、考试报名和当前状态等信息,对接考生端登录在线考试系统答题。另外,系统具备操作管理和数据统计等功能。
项目团队采用ITEST智能测试平台,已成功对2021级学生进行了大学英语分级摸底线上考试,成功实现近6 000人的同步在线考试。同时,项目团队采用ITEST智能测试平台,对2021级学生进行了“学生手册”和“大学生廉洁文化知识”线上考试,大大提高了考试效率,有效避免了后疫情时代聚集性线下考试。在2022年上半年疫情期间,项目团队成功进行了“语音的故事”课程在线考试,如图5所示。考试采用ITEST软件和腾讯会议,利用ITEST平台提供在线试题,采用ITEST本身的防切屏和基于腾讯会议的二机位视频法,最大限度地防止考生作弊,为疫情常态化背景下在线考试工作提供了全新思路与实践案例。
5 结 论
本文分析了富媒体在线考试系统的需求,提出了富媒体在线考试系统的体系结构和功能模型,并开展了富媒体在线考试的全流程设计。提出支持图片、视频等的在线考试主观题设置,对于主观题采用手写答案上传和深度学习智能评阅的设计理念,配合智能化试卷组卷、在线监考和试卷大数据挖掘功能,整体实现富媒体在线考试的全流程设计,为面向高校基础课、专业课的富媒体在线考试系统的开发与完善,提供了可参考的概念模型与数据模型。
随着我国当前疫情的结束,高校的大量基础课和专业课都采用了线下纸质的传统考试模式,但是富媒体在线考试系统的开发,对于课程实施互联网分布式考试,减轻教师阅卷负担,提高考试数据分析能力,进行在线考试技术储备和实现教育数字化,具有重要的应用意义。同时,开展在线监考智能识别算法和基于深度学习的主观题自动评阅算法研究,对于突破在线考试的智能化监考和阅卷的功能瓶颈,为大规模、分布式在线考试的深度应用提供技术基础。
参考文献:
[1] 沈震,沈睿.高校思想政治理论课大规模在线考试研究 [J].思想理论教育,2022(6):77-82.
[2] 杨志明,夏胜俊,李希.教育考试数字化:模式、特点与启示 [J].教育测量与评价,2022(6):3-12.
[3] 侯平甫,吴长宇,汤莉莉,等.在线考试模式的改革实践与思考 [J].中国继续医学教育,2022,14(20):1-4.
[4] 龚晖,江晓禹,张娟,等.材料力学在线考试技术的研究与实践 [J].西南交通大学学报:社会科学版,2023,24(S01):98-107.
[5] 熊宗杨,薛学斌,王欣,等.基于过程化考核的在线考试系统的研究与实现 [J].重庆师范大学学报:自然科学版,2018,35(6):75-81.
[6] 王漱阳,刘秀萍,张志刚,等.疫情期间本科生病理解剖学课程在线考试的探讨与实践 [J].复旦学报:医学版,2021,48(1):71-75.
[7] 杨勤民,江志松.大学数学作业自动批改系统的设计与实践 [J].华东师范大学学报:自然科学版,2022(2):76-83.
[8] 贾志培.在线考试系统的研究与实现 [D].济南:山东大学,2021.
[9] ROUSE M. What Does Rich Media Mean? [EB/OL].(2015-07-01).https://www.techopedia.com/definition/9202/rich-media.
[10] 周小平.基于改进粒子群算法的计算机考试自动组卷方法 [J].自动化技术与应用,2023,42(7):70-73.
[11] 黎秋艳,刘佳祎,王鹏,等.基于GloVe-CNN算法的英语在线考试主观题自动评分模型 [J].桂林理工大学学报,2023,43(1):155-160.
作者简介:张慧琴(1980—),女,汉族,山东淄博人,副研究员,实验中心主任,硕士,研究方向:高校实验室建设与管理;通讯作者:李中凯(1980—),男,汉族,山东淄博人,副教授,博士,研究方向:智能信息处理;徐玉林(1980—),男,汉族,江苏南京人,实验中心秘书,硕士,研究方向:信息系统开发与管理。
Architecture and Whole Process Design for Rich Media Online Examination in Colleges and Universities
ZHANG Huiqin1, LI Zhongkai2, XU Yulin1
(1.School of Foreign Studies, China University of Mining and Technology, Xuzhou 221116, China;
2.School of Mechanical and Electrical Engineering, China University of Mining and Technology, Xuzhou 221116, China)
Abstract: In view of the lack of flexibility and intelligence of traditional online examination, the concept of rich media is introduced into the process of online examination in colleges and universities, and pictures, videos and sounds can be inserted into simple answers, calculations and synthesis questions. The intelligent marking module based on Deep Learning and intelligent invigilation module based on action analysis are proposed to ensure the easy interaction, efficient invigilation and intelligent marking effect of online examination. Based on the requirements analysis of online assessment, this paper constructs the architecture and functional model of rich media online examination, designs the whole process of rich media online assessment, so as to provide the support of concept model and data model for the development and improvement of rich media online examination system based on cloud computing. The application case of the intelligent evaluation cloud platform proves the effectiveness of the proposed rich media online examination model.
Keywords: online examination; digital examination; rich media; system architecture design; concept model