摘 要:设计并研究一种基于可视化地图的产业链知识图谱系统,以满足当今商业环境对产业链结构和动态展示的需求。系统采用数据治理层、三大功能模块和技术架构设计,结合Echarts和D3.js库实现地图与知识图谱的融合展示。数据源包括企业信息、行业资讯、政府公开数据等,通过任务调度、数据治理、图数据库注入实现数据处理。产业链图谱系统以实体管理、关系管理、产业链管理为核心功能,支持用户灵活管理和探索产业链关系。技术架构采用分布式存储、微服务框架,保障系统性能和可扩展性。整个系统的设计旨在为企业、决策者和研究人员提供直观、高效的产业链分析工具,助力精准决策。
关键词:数字化转型;知识图谱;可视化地图
中图分类号:TP319 文献标识码:A 文章编号:2096-4706(2024)14-0081-05
Design and Research of an Industry Chain Graph System Based on Visual Map
YAN Zengyong, CAO Yang, XIE Hongtao, HU Jian
(CETC Big Data Research Institute Co., Ltd., Guiyang 550081, China)
Abstract: It designs and researches an industry chain Knowledge Graph system based on visual maps to meet the demands of todays business environment for industy chain structure and dynamic display. The system adopts a data governance layer, three major functional modules, and technical architecture, combined with Echarts and D3.js libraries to achieve the fusion display of maps and Knowledge Graphs. The data source include enterprise information, industry information, government publicly available data, etc., and data processing is achieved through task scheduling, data governance, and graph database injection. The industry chain graph system takes entity management, relationship management, and industry chain management as its core functions, supporting users to flexibly manage and explore industry chain relationships. The technical architecture adopts a distributed storage and microservice framework to ensure system performance and scalability. The design of the entire system aims to provide enterprises, decision-makers, and researchers with intuitive and efficient industry chain analysis tools to assist in accurate decision-making.
Keywords: digital transformation; Knowledge Graph; visual map
DOI:10.19850/j.cnki.2096-4706.2024.14.016
收稿日期:2023-12-07
0 引 言
在当今高度复杂且日新月异的商业环境中,了解产业链的结构和动态变化对于企业和决策者至关重要。产业链知识图谱的引入为这一需求提供了一种强大的工具,能够以图形化和直观的方式展示不同实体之间的关系,从而帮助我们更好地理解产业生态系统的运作机制[1-2]。
本论文聚焦于基于可视化地图的产业链图谱系统设计与研究,致力于提供一种直观而高效的方式,帮助用户深入了解产业链的结构、关系和发展趋势。我们将详细介绍系统的整体结构设计和功能设计,特别强调了可视化地图在系统中的核心地位[3-4]。
产业链图谱系统的设计不仅仅是技术层面的挑战,还是对产业链理解和决策支持的深刻思考。通过本文,我们希望读者能够深入了解我们提出的系统,理解其在实际应用中的价值,同时也激发更多关于产业链知识图谱的研究与创新[5-6]。
随着全球产业不断演进,本文所探讨的产业链图谱系统有望为企业、决策者和研究人员提供有力的支持,助力他们更加准确地把握商业格局,做出明智的战略决策。
1 系统设计
1.1 系统架构设计
产业链知识图谱构建管理系统由数据治理及三大功能模块组成,如图1所示。
数据治理层包括数据采集、数据存储、数据清洗与加工、数据注入、数据调度、数据服务以及日志管理构成。
三大功能模块包括:实体管理、关系管理、产业链知识图谱。具体介绍如下:
1)实体管理。用户可以通过该模块进行实体类型的增删改,包括类型名称、表结构设计以及实体类型颜色的定制。同时,用户可以轻松地增加、删除或编辑特定实体,包括实体类型、实体名称以及表数据。
2)关系管理。用户可以定义关系类型,包括关系类型名称、表结构设计以及关系类型描述。通过关系管理,用户能够建立、删除或修改不同实体之间的关联关系,并为这些关系添加具体的表数据。
3)产业链知识图谱。负责产业链的创建和管理,用户可以通过该模块增删改产业链,包括产业链名称、描述以及产业链的关系创建。产业链可以被视为知识图谱的根节点,用户可在其下创建多级节点,形成层次分明的产业链结构。
1.2 技术架构设计
基于可视化地图的产业链知识图谱构建管理系统技术架构总体分为数据层、数据引擎、应用层、展现层4个部分,如图2所示。
具体介绍如下:
1)数据层。数据层承担着关键的角色,主要提供分布式数据存储服务。数据被划分为多个类型,包括业务数据、应用数据和文件数据等。为了更有效地处理这些数据,我们采用了多种不同的存储模式的组合。具体而言,结构化的业务数据储存在MySQL数据库中,而文件数据则以HDFS和FastDFS的方式存储,根据文件大小进行不同方式的存储。海量数据则专门存放在Hbase中,而实体及关系数据则有着专属的存储场所,即NebulaGraph [7-8]。
2)数据引擎。我们选择了XXL-Job作为任务调度架构,这是业内广泛应用的一种选择,有助于有效地进行调度管理。
3)应用层。我们基于广泛使用且功能齐全的Spring Cloud框架进行开发,搭建了一个强大的微服务集群。这个集群不仅能够根据需求进行水平扩展,而且构建了丰富的服务接口以支持高并发访问。在内部接口层面,我们采用了Spring Cloud的RPC接口;而对外则提供了RESTful API接口和RESTful推送接口。
4)展现层。采用前端主流的Vue3框架,配合Element-plusUI库构建大部分Web前端界面,通过使用Echarts提供图表及地图工具实现数据的可视化展现,利用pdf.js、sheet.js、docx-prebiew来实现文件的在线预览,同时还引入swiper插件对资讯等列表进行轮播展现,最终基于D3.js这个库编写知识图谱渲染组件,对实体与关系进行连线渲染处理。
1.3 数据架构设计
基于可视化地图的产业链知识图谱构建管理系统数据架构如图3所示。
产业链相关的数据源主要来源有:企查查、天眼查等公开的企业信息网站;行业资讯网站,如巨潮资讯;行业咨询网站,如艾瑞咨询;以及政府公开数据网站,如中国统计局、中国产业信息网、中财网等。这些多源异构数据有着数据可靠、数据海量的特点,足以支撑后续的图谱产业链分析,但因数据的不一致性,我们需要通过数据治理的手段对采集来的数据进行规范化标准化,以便于后续对图数据库的注入。同时,我们加入了任务调度模块使数据保持鲜活,总在不断采集不断清洗加工不断注入图数据库[9-10]。
我们需要自行对图数据库创建实体类型、关系类型。例如,创建实体类型“公司”“法人”“行业”,创建关系类型“拥有”“属于”;那在注入实体数据和关系数据后可以形成一个简单的知识图谱,例如,注入公司实体数据“xxx医疗器械公司”、注入法人实体数据“张某”、注入行业实体数据“医疗器械”,注入拥有关系:“张某”拥有“xxx医疗器械公司”、注入属于关系:“xxx医疗器械公司”属于“医疗器械”。因数据源的多样性、可靠性、海量性,加之对数据的处理以及对图数据库的数据注入,这些足以支撑我们后续的数据应用。
在数据应用层面,我们可以根据实体类型为筛选条件,查看某实体下的相关实体数据以及实体与实体之间的关系。例如:以烟草行业作为筛选条件,我们就可以查看他相关的产品,例如香烟、雪茄等,同样的我们还可以查看雪茄的相关产品,例如古巴雪茄、国产雪茄等。同样的,相关企业、相关政策、相关产品都可以被我们根据关系查看。最重要的,地图可视化的图谱展示不仅能直观看到产业链之间的关系,还能看到他们在地图上的位置,使决策者能够更好地分析产业的发展趋势以及发现产业的优化点。
1.4 可视化地图与知识图谱融合的设计实现
在可视化地图这块,我们选用Echarts来实现,一是因为项目中有一些图表可视化展示的情况,使用同一插件可以减轻客户端的渲染压力,二是Echarts地图离线渲染友好,在一些有内网要求的项目中有着极高的价值。
在知识图谱实现上,我们选择D3.js作为基础库来实现,因为D3.js是一种强大的数据可视化库,可以通过SVG和Canvas等技术创建丰富多彩的图形;另外D3.js是强大的选择器,可以灵活地操作DOM元素以及数据;最后,D3.js基于Web标准,可以在现代Web浏览器中运行,而且兼容性十分优秀[4,6]。
具体实现流程如图4所示。
Echarts部分:Echarts渲染地图部分相对容易,代码也主要以配置项为主,具体配置方法可参照官方的文档(配置项手册)。
D3部分:使用D3编写图谱渲染组件困难度相对高一些,但gitee等开源网站有不少demo,可作为参考。重要的是D3的高灵活性奠定了可视化地图与图谱融合的基础。
融合部分:关于将前两部分融合成一张图,最重要的是位置的计算和盒模型的层级。我们获取到公司位置一定是具体的经纬度,为了图谱节点能在地图中正确渲染位置且不受页面尺寸变化的影响,我们需要利用Echarts的实例方法convertToPixel来转换坐标位置。再将图谱盒模型置于地图盒模型之上即可实现融合,这里需要注意的是,D3应该创建的是SVG。
1.5 系统功能设计
基于可视化地图的产业链知识图谱构建管理系统以“整合资源、共享数据、可视化数据”为指导思想,构建产业链领域知识图谱支持上层应用,其功能如表1所示。
2 系统实现
基于实体、关系的创建,以及采集数据的支撑。如5图所示,对某具体产业链的相关关系数据进行了统计展示,如相关创新平台、相关政策、相关企业、相关产品、相关专家等。
图6是基于产业链相关企业的详情查看,可以看到某具体实体的,如生物医药下相关的所有企业,以及各企业的基本信息。
关于产业地图的查看则是对产业链相关企业分布的可视化查看功能,相关企业会根据实际的经纬度在地图中以圆圈节点的形式展示,根据企业的实际关系对企业节点进行关系连线,连线上展示关系的名称。该可视化功能可直观清晰地看出企业分布情况以及企业关系情况,让决策者能够更好地理解和分析具体产业的情况。
3 结 论
本论文聚焦于基于可视化地图的产业链知识图谱系统设计与研究,旨在为企业和决策者提供一种直观而高效的工具,以深入了解产业链的结构、关系和发展趋势。通过详细介绍系统的整体结构设计和功能设计,强调了可视化地图在系统中的核心地位。
在系统架构设计方面,我们提出了数据治理层、三大功能模块和技术架构设计。数据治理层涵盖了数据采集、存储、清洗、注入等关键环节,确保了数据的质量和实时性。三大功能模块分别负责实体管理、关系管理和产业链知识图谱的创建和管理,为用户提供了丰富的操作和查询功能。技术架构设计采用了分布式数据存储服务、任务调度架构、微服务集群等先进技术,保障了系统的性能和可扩展性。
在数据架构设计方面,我们从多个来源获取产业链相关的数据,包括企业信息、行业资讯、政府公开数据等。通过数据治理手段对数据进行规范化标准化,确保了数据的一致性。在数据应用层面,我们展示了如何根据实体类型和关系进行灵活的查询,以及如何通过可视化地图展现产业链的关系和地理位置。
在技术实现方面,我们选择了Echarts作为可视化地图的基础库,以其强大的数据可视化能力和地图渲染优势。同时,使用D3.js作为知识图谱的基础库,充分发挥其灵活性和可定制性。通过合理的整合,实现了地图与知识图谱的融合展示,为用户提供了直观而全面的信息。
参考文献:
[1] 彭楚骄,李连营,郭邦祁,等.使用知识图谱推荐专题地图可视化方法 [J].测绘科学,2022,47(6):188-194.
[2] 刘宏涛.基于地图可视化的知识表达方法研究 [D].北京:北京建筑大学,2020.
[3] 艾瑞咨询产业数字化研究部人工智能研究组.一图胜万言,一目了然 中国知识图谱行业研究报告 [C]//艾瑞咨询系列研究报告(2022年第8期).[出版地不详]:艾瑞咨询,2022:323-400.
[4] 窦昊.基于产业链知识图谱的服务组织技术的研究与实现 [D].北京:北方工业大学,2023.
[5] 郝文建,魏梅,张浩,等.标准知识图谱的构建与应用 [J].信息技术与标准化,2021(8):44-47.
[6] 齐如煜,尹章才,顾江岩,等.高精地图的知识图谱表达 [J].武汉大学学报:信息科学版,2024,49(4):651-661.
[7] 李振军,刘祖军,王鹏,等.基于图论的产业网络知识图谱挖掘与构建 [J].大数据,2023,9(6):174-183.
[8] 范存庆,余军合,战洪飞,等.产业集群知识图谱构建方法研究 [J].科技与经济,2022,35(3):56-60.
[9] 毛瑞彬,朱菁,李爱文,等.基于自然语言处理的产业链知识图谱构建 [J].情报学报,2022,41(3):287-299.
[10] 李连营,彭楚骄,郭邦祁,等.海洋地图可视化方法的知识图谱构建 [J].测绘地理信息,2022,47(1):77-80.
作者简介:严增勇(1994—),男,汉族,贵州贵阳人,工程师,本科,主要研究方向:数据治理、数据分析。