高校学生就业服务数据分析与可视化平台的设计与实现

known 发布于 2025-08-25 阅读(489)

摘 要:近年来高校学生就业压力逐渐增加,国家相关部门出台了许多政策、举措促进就业。为了帮助学生实现合理就业,辅助高校更好地制定和实施就业政策、开展就业教育工作,文章开发并实现了毕业生数据分析与就业服务可视化平台。通过对就业数据开展多维度分析,直观展示就业基本情况。并采集招聘网站上每个专业的热门岗位的技能需求,再利用自然语言处理算法建立岗位能力所需要的知识图谱与学习地图,整合构建就业服务可视化交互平台。通过平台辅助学生学习与就业,实现技术赋能高校就业管理工作。

关键词:数据可视化;TF-IDF;就业服务;设计与实现

中图分类号:TP391 文献标识码:A 文章编号:2096-4706(2024)17-0083-06

0 引 言

近年来,部分行业市场主体遇到暂时性困难,同时受经济形势的影响,部分企业已经出现减招、缩招现象,客观上加大了求职难度,使得青年失业率阶段性升高。“稳就业—多措并举保持就业形势稳定”是中央针对就业提出的举措,作为“六稳”工作之首,高校毕业生就业问题成为高校工作重点,同时也被放在我国经济工作突出位置,成为社会瞩目的焦点[1]。

在当前高校培养细分专业技能,以及丰富资源与碎片化课程学习模式下,大学生如果自我认识不足,就业方向需求与自身能力培养未能形成正确的认识,则往往难以聚焦关键。所掌握技能与岗位需求不能有效匹配已成为影响大学生就业难的重要因素之一。在信息化时代,大数据的发展也给学校的管理带来了方便。每年对毕业生的各类情况进行分析,是提高教育质量的一个重要抓手和举措,对进一步完善就业状况反馈机制,引导高校调整专业结构、创新培养模式、强化以学生为本,及时回应社会关切、接受社会监督具有重要意义。

新技术的应用正当其时,基于上述要求,我们借助Python和自然语言处理算法[2],对某高校的毕业生就业数据进行多维度分析,其次,利用爬虫技术对当前热门招聘岗位技能进行爬取,分析不同岗位的核心技能需求,构造学生的知识地图,帮助引导学生进行知识构建,从而选择合适岗位,同时提高学校的就业质量。

1 研究设计

1.1 数据来源

为了能够更加直观地了解高校大学生就业现状,本项目收集了某高校2020届毕业生相关数据,包括不同学院、不同专业毕业生人数、就业方向、工资待遇、岗位等多个维度信息,同时结合收集得到的企业关于毕业生的问卷调查,包含工作与专业相关性、用人单位需求与学生掌握程度、聘用本校毕业生渠道等字段。同时,为了构造不同专业热门岗位的核心技能,爬取了2022年拉勾网招聘平台对岗位详细信息。因此,本文研究均来源于以上数据。

1.2 研究方法及工具

本文采用基于ECharts的可视化分析框架进行数据展示与分析,页面上的各类图表实现采用ECharts。

ECharts是一个基于JavaScript和HTML5的数据可视化库,具有高度的可定制性、交互性、动态性和兼容性,支持多种图表类型,包括折线图、柱状图、散点图、饼图等,我们可以根据不同的需求选择最合适的图表类型,更好地展示数据信息[3]。通过这些技术和工具的有机组合,构建出的数据可视化系统,为研究和实践提供了更好的支持和保障。

2 可视化分析平台系统设计

2.1 总体架构设计

根据数据分析及系统功能需求,后端开发采用Spring+Spring MVC+MyBatis框架,前端开发采用Vue+IviewUI,页面上的各类图表实现采用ECharts[4]。平台任务分为三大模块:就业基本情况、就业相关分析、就业知识图谱。

该平台的总体架构设计采用微服务架构、前后端分离的模式[5],共分为4个部分:数据存储层、数据访问层、业务逻辑层和数据可视化层,如图1所示。

根据总体分析需求,各层的主要功能如下:

1)数据存储层。将收集到的毕业生个人信息、就业相关数据和爬取到的岗位信息数据位基础构建数据库,采用MySQL作为数据库管理系统,对数据可视化平台提供数据支持。

2)数据访问层。采用JDBC数据链接管理方法与数据库中的数据进行交互,将结果集转换为实体对象,传输给下一层业务逻辑层[6]。

3)业务逻辑层。包含一些复杂的计算和数据处理操作,例如数据的筛选、排序、聚合等,以Json数据形式发送给数据表示层。

4)使用Servlet和动态网页开发技术可以方便地构建交互式的Web应用程序[7]。通过Servlet,可以将业务逻辑层的数据处理和算法计算结果传递给前端页面进行展示。而采用ECharts可视化工具可以将数据以图表的形式直观地展示在Web平台的前端页面上,为用户提供清晰、易于理解的数据视图。

2.2 功能架构设计

根据数据分析及系统功能需求,平台功能设计为:数据获取、数据可视化分析展示、系统维护,其中三大模块,模块一为就业基本情况、就业相关分析、就业知识图谱,如图2所示。

各功能模块具体内容如下:

1)数据获取。通过访问毕业生相关信息、就业相关数据、岗位基本情况的数据库,用户查询当前针对自身需求的相关岗位信息。

2)数据可视化分析展示:利用ECharts可视化库展示3个模块内容,包括就业基本情况、就业相关分析、就业知识图谱。在就业知识图谱模块,根据不同专业、不同岗位的选择,可展示TF-IDF算法计算结果得到的不同岗位内容展示。

3)系统维护。该模块包括用户管理和数据维护,实现对毕业生就业数据的维护和用户的管理功能。

2.3 TF-IDF算法研究与应用

在信息检索当中,词频-逆文件频率(Term Frequency-Inverse Document Frequency, TF-IDF)是一种数字统计,旨在反映单词对集合或语料库中的文档的重要程度。它经常被用作搜索信息检索,文本挖掘和用户建模的加权因子[8]。

TF-IDF实际上是:TF×IDF,如式(1)所示,一层是“词频”(Term Frequency, TF),指文档中给定单词的出现次数。n表示某个词在文档中出现的次数,N表示文档中所有词出现的次数总和,这是一个归一化的过程,目的是消除文档篇幅长短上的差异。这个数字通常是标准化的,以防止它偏向长文件。另一层是IDF逆文档频率(Inverse Document Frequency)。IDF用于衡量一个术语的重要性。具体来说,如果包含某个词条t的文档越少,那么IDF就越大,说明该词条具有很好的类别区分能力[9],如式(3)所示,其中,N表示全部文档数,n表示包含词条t的文档数量。

(1)

(2)

(3)

最终TF-IDF值为两者的乘积,用TF-IDF值可以弱化常见词,保留重要的词,某一特定文件内的高词语频率,以及该词语在整个文件集合中的低文件频率,可以产生出高权重的TF-IDF。

TF-IDF主要的应用场景包括:搜索引擎、关键词提取、文本相似性、文本摘要。本文重要应用在关键词提取,将爬取到的文本数据进行关键词提取,得到所需要的岗位核心技能。算法步骤如图3所示。

具体应用流程如下:

1)首先,数据来源于拉勾网招聘平台所爬取的岗位详细信息,通过数据预处理,存储到数据库中,再进行读出。

2)分词。使用分词工具,如jieba对给定的岗位详细信息进行分词,将文本转化为词语序列。使用默认的精确模式words= jieba.lcut(sentence)。

3)去除停用词。在进行文本关键词提取前,需要对文本进行停用词处理,主要目的是去除一些重复出现但意义不大的高频词汇。这些词本身对于关键词提取的结果无帮助,同时也为了减少计算复杂度,因此需要建立一个停用词表,将这类无用词汇包含在内。当在进行文本处理时,当出现停用词表中的词,就将其剔除,否则保留。本文为提高过滤的准确性,对比了3个常用的中文停用词表后,决定使用百度停用词表过滤停用词,停用词表适用类型如表1所示。并在已有停用此表基础上,加入自定义停用词语料库,主要目的为了去除分词结果中,如“前端”“掌握”“工程师”等于技能无关词汇。

4)利用jieba.analyse.extract_tag方法[10]提取结果的关键词,得到不同岗位权重最大的前20个关键词,并按照降序排列。表2中数据科学与大数据技术专业为例,列举了TOP5关键词结果,再根据结果展示不同的雷达图。

3 可视化平台具体实现

根据数据分析及系统功能需求,系统三大模块中,第一模块为就业基本情况、就业相关分析、就业知识图谱。页面主体使用Bootstrap实现页面布局,设置统一的背景图在容器内显示,在每个模块上规划出不同的DOM容器,每个DOM容器根据需求放入不同的图表,最终实现整体模块可视化。模块一分为8个部分,包括学校概况、学院毕业人数、近两年就业率、毕业生就业地区分布、毕业生就业行业流向、毕业生生源分布、毕业生各专业人数、毕业生去向分布;模块二分为6个部分,包括毕业生月收入分布、聘用本校毕业生的渠道、用人单位需求程度及学生掌握度、工作与专业相关度、选择专业无关工作原因;模块三分为两部分,通过搜索框匹配图谱中的岗位信息,获取算法分析结果,得到岗位核心技能雷达图。

3.1 主要功能实现过程

如图4所示,数据可视化系统的架构分成前端和后端两大部分,即后端提供接口,前端获取利用Ajax等异步技术获取数据。系统后端使用Flask Web开发框架,编写可供前端数据展示调用的接口,增强系统的稳定性和可扩展性,降低开发难度,提高开发效率。前端通过Ajax局部刷新技术获取后端处理后的数据,通过Vue和ECharts动态地渲染到图表之中。

其主要功能实现如下:

1)首先通过登录页面,进入该平台系统首页,登录页面核心代码如下:

@app.route(/login, methods=[GET, POST])

def login():

if request.method == POST:

my_form = request.form

if my_form[userid] == liaoj and my_form[userpwd] == 123456:

# return redirect(url_for(success))

return render_template(index1.html)

else:

abort(401) # 401 Unauthorized(未授权)

else:

return redirect(url_for(index))

2)通过Ajax技术调用后端API,将数据保存到Vue组件实例的data中,通过ECharts的setOption函数将数据渲染到图表中,部分关键代码如下:

export default {

data( ) {

stuData:{ } ,

stuOption:null,

stuChart:null

},

mounted( ) {

var _this=this;

$.ajax({

url:http: http://127.0.0.1:5000//api/stuData,

type:get,

dataType:json ,

success:function(data) {

_this.stuOption = data.stuOption;

_this.stuOption.series[0].data = data.geoData[years];

_this.stuChart.setOption(this. stuOption);

}

});

}

}

3.2 可视化分析结果

平台依照设计原则,根据毕业生数据类型、特点,选取相应的ECharts可视化图表进行数据展示,具体可视化分析结果如下:

如图5为就业基本情况,根据分析数据,柱状图及滚动数据较好地展示了高校不同专业、学院的毕业生情况,其次通过折线图展现近两年的就业率情况,并通过地图、饼图展示毕业生地区分布及去向分布情况。

如图6为就业相关分析的可视化结果,主要有:

1)毕业生月收入分布折线图:通过折线图展示毕业生的月收入分布情况,帮助学生了解毕业生的收入水平。

2)用人单位需求程度及学生掌握度条形图:以条形图展示用人单位对毕业生的需求程度以及学生对就业知识的掌握程度,帮助学生了解用人单位对学生的要求和自身的就业准备情况。

3)工作与专业相关度饼图:通过饼图展示毕业生的工作与专业的相关度,帮助学生了解自己的专业在就业市场中的竞争情况。

通过这些可视化图表,学生可以直观地了解学校的毕业生情况、就业地区分布、行业分布、收入水平、用人单位要求以及自身的就业准备情况,从而更好地为就业做出规划和准备。

最后在第三模块中展示了利用TF-IDF算法实现的专业相关岗位技能,通过图7搜索框搜索想要了解的岗位,将返回结果图8。以前端工程师岗位为例,图8显示该岗位的核心技能雷达图,可用于帮助学生筛选与自身匹配技能岗位,提供就业咨询与推荐服务。

4 结 论

本就业数据可视化系统为高校提供更为便捷的统计功能,以及更为直观的数据展示,既提高了高校就业信息化建设水平,又为学生提供热门岗位学习地图,助力学生匹配岗位技能,找到更适合的岗位。同时帮助学校管理部门有效把握学生就业状态,从而有的放矢地制定、实施高校就业政策、辅助教育管理,实现学生的合理就业。

参考文献:

[1] 刘志兴,严嘉,陈慧.“互联网+”背景下发展型学生就业工作模式探析——以中国地质大学(武汉)为例 [J].中国大学生就业,2020(2):39-42+47.

[2] ESPOSITO M,FUJITA H,MINUTOLO AO,et al. Special Issue “Deep Learning for Natural Language Processing: Emerging Methods and Applications” [J/OL].Array,2022,14:100138[2024-01-16].https://doi.org/10.1016/j.array.2022.100138.

[3] 范路桥,高洁,段班祥.基于Python+Flask+ECharts的国内热门旅游景点数据可视化系统 [J].现代电子技术,2023,46(9):126-130.

[4] 周洪斌,陈立平,刘连浩.基于ECharts的数据可视化应用 [J].沙洲职业工学院学报,2021,24(1):3-9.

[5] 吴文福,张娜,徐文,等.吉林大米5T管理综合信息系统 [J].现代农业装备,2021,42(2):51-56+62.

[6] 张毅宇,徐梦雨,马建勇.软件工程中Web开发技术的应用研究 [J].中国高新科技,2023(20):120-122.

[7] 汪超.基于WebGIS的地铁工程信息承载平台研制与应用研究 [D].徐州:中国矿业大学,2022.

[8] 张玉芳,彭时名,吕佳.基于文本分类TFIDF方法的改进与应用 [J].计算机工程,2006(19):76-78.

[9] 郝秀慧,方贤进,杨高明.基于TFIDF+LSA算法的新闻文本聚类与可视化 [J].计算机技术与发展,2022,32(7):34-38+45.

[10] XU Q,WANG Z Y. A Data-Driven Model for Automated Chinese Word Segmentation and POS Tagging [J/OL].Computational Intelligence and Neuroscience,2022,2022:1-10[2024-01-16].https://doi.org/10.1155/2022/7622392.

作者简介:廖洁(1992—),女,汉族,福建三明人,讲师,硕士研究生,研究方向:大数据分析与数据可视化。

DOI:10.19850/j.cnki.2096-4706.2024.17.016

收稿日期:2024-02-04

基金项目:福建省中青年项目(JAT200870)

Design and Implementation of Data Analysis and Visualization Platform for College Students Employment Services

LIAO Jie1,2, SU Hualing1,2, CHEN Tingting1,2, WANG Ning1,2

(1.Xiamen Huaxia University, Xiamen 361024, China; 2. New Generation Information Communication Technology and Smart Education of Fujian Engineering Research Center, Xiamen 361024, China)

Abstract: In recent years, the employment pressure on college students has gradually increased, and relevant departments of the state have introduced policies and measures to promote employment. In order to help students achieve reasonable employment and assist universities in better formulating and implementing employment policies and conducting employment education work, this paper develops and implements a graduate data analysis and employment service visualization platform. By conducting multidimensional analysis of employment data, the basic employment situation is visually displayed. The skill requirements for popular positions in each major are collected from job recruitment websites, and NLP algorithms are used to establish knowledge graphs and learning maps required by job skills, so as to integrate and build a visual interactive platform for employment service. The learning and employment of students are assisted through the platform, and it achieves technological empowerment in college employment management work.

Keywords: data visualization; TF-IDF; employment service; design and implementation

标签:  数据 

免责声明

本文来自网络,不代表本站立场。如有不愿意被转载的情况,请联系我们。

iidomino cuppor