摘" 要:随着我国高分辨率对地观测系统重大专项的实施,高分数据越来越多地应用到农业、地质灾害监测、国防安全、城市治理等方方面面。但当公益组织或政府机构需要高分数据进行民生安全相关应用时,会由于国内外商、民、航空等遥感卫星等数据源繁多、数据获取途径分散、数据获取时间和频次不统一等原因,导致民生应用受到严重影响。因此文章从如何为政府组织等提供高分数据共享的角度出发,构建高分数据共享服务平台,从数据接入、数据编目、数据存储、数据产品生成和数据查询订阅等方面阐述平台架构的设计思路,并通过B/S和C/S相结合的技术途径,编程实现了整个平台系统,并验证了高分数据共享的高效性和便利性。
关键词:高分数据;数据共享;服务平台;数据编目
中图分类号:TP311" 文献标识码:A" 文章编号:2096-4706(2024)19-0069-06
Design and Implementation of Service Platform Architecture Based on High Score Data Sharing
HAN Mei1, DING Qing2, QIAO Xiaofei1, HE Jian1
(1.Chengdu Siwei Power Electronic Technology Co., Ltd., Chengdu" 610073, China;
2.The 29th Institute of CETC, Chengdu" 610036, China)
Abstract: With the implementation of the major project of high resolution earth observation system in China, high score data is increasingly being applied to various aspects such as agriculture, geological disaster monitoring, national defense security, and urban governance. However, when public welfare organizations or government agencies need high score data for peoples livelihood security-related application, the application of peoples livelihood will be seriously affected due to various data sources such as remote sensing satellites from domestic and foreign commercial, civil, and aviation, scattered data acquisition channels, and inconsistent data acquisition time and frequency. Therefore, this paper starts from the perspective of how to provide high score data sharing for government organizations and others, constructs a high score data sharing service platform, and elaborates on the design ideas of the platform architecture from the aspects of data access, data catalog, data storage, data product generation, and data query subscription. Through the technical way of combining B/S and C/S, the entire platform system is implemented by programming, verifying the efficiency and convenience of high score data sharing.
Keywords: high score data; data sharing; service platform; data catalog
0" 引" 言
近年来,中国陆续发射了多颗高分卫星,而高分数据作为高分卫星的数据成果,在国土、环保、遥感、气象等多个行业得到了广泛应用。通过高分数据的时间积累,可以监测出地质的变化;通过高分数据的地物分类,可是识别出林地、水域、沙漠、城市等区域的面积和变化趋势;通过对高分数据的图像识别,可发现林火、泥石流、洪水等灾害信息,等等。
针对林草局、应急厅等政府机构利用高分数据进行民生安全监测时,因为民用高分数据、商用高分数据、航空卫星遥感数据的来源各异,获取途径不同,无法快捷、顺畅地及时获取所需数据,从而极大地影响了高分数据的应用。我们针对当前高分数据的获取存在问题,结合计算机领域的架构技术,提出基于数据共享的高分数据服务平台的架构设计方法,让合法用户在授权许可的前提下,能方便查询、快速获取、定期接收所需的高分数据,保证高分数据应用的及时性,促进相关行业的应用推广。
1" 当前高分数据的获取问题
现在普遍民众能获取的高分数据主要分为:民用高分数据、商用高分数据和航空遥感数据。民用高分数据是免费卫星遥感监测结果,可免费在中国资源卫星中心数据查询平台上查询和申请获取。商用高分数据是商业卫星遥感监测的结果,以付费的方式对民众进行销售。航空遥感数据是某些机构自主进行的无人机遥感数据采集的结果。无论是哪种数据来源,其存在共同的特点是数据量十分巨大。
当政府机构、公益组织或应用单位在进行高分数据应用时,往往需要综合分析民和商的高分数据,因此在数据获取时就会面临如下问题。
1.1" 查询和获取数据流程烦琐
当前高分数据的来源各异,用户需要某区域的高分数据,就需要根据数据的不同来源,选择不同的渠道、访问不同的网站,再按照不同数据源的要求进行用户注册、登录,然后对所需区域的数据进行查询,申请下载或付费购买。
1.2" 无法及时获得更新数据
一旦下载和购买一次高分数据后,后续再需要使用更新的高分数据,就要重新再进行一次网站访问、登录、查询、申请和购买下载的全流程。这样的数据获取方式效率十分低下,难以适用于应用的数据更新频率要求。
1.3" 数据在线下载困难
高分数据实则是高分辨率卫星数据,包括:高空间分辨率、高时间分辨率、高光谱分辨率以及高辐射分辨率遥感数据,是从卫星角度照射地球,覆盖一定地表区域的遥感图像。加之因此处理手段不同,从原始高分数据经过辐射校正和几何校正后,还将形成不同等级的结果,进一步加大了高分数据的内容,因此在应用时可能需要大量的不同等级的高分数据,故而在线下载所需数据也存在一定的难度。
1.4" 难以及时获得所需数据产品
针对高分数据在各个行业部门的应用情况,专项提出高分卫星数据应用产品0~7级分级标准。其中,0~2级是标准产品,指由高分专项地面系统生成的原始影像数据,或经过系统几何校正和(或)辐射校正的影像数据。3~5级是共性产品,指基于标准产品采用定量遥感特征参数反演方法得到的作为至少两个行业专题产品生产输入的数据。6~7级是专题产品,基于标准产品或共性产品,由专业用户采用定量遥感特征参数反演方法,或多源数据叠加分析方法得到的支撑行业部门业务应用的数据[1]。但用户在选择数据时间,难以及时找到符合级别需求的数据产品,常常需要在获得接近需求的数据后,再经过专业转换和处理才能生成所需的数据产品,这样耗时费力,效果还不理想。
基于上述高分数据获取面临的现状和困境,如何构建一个能方便获取多源高分数据、下载理想级别的数据产品、及时跟踪数据更新的高分数据服务平台成为一个亟待解决的问题。
2" 国内外建设平台情况
从20世纪90年代初期开始,遥感技术在光谱分辨率、空间分辨率、时间分辨率等方面都取得巨大的进步,卫星影像的地面分辨率从10、5、2、1米向米级以下逐步提高[2]。因此主要的发达国家,如美国、法国、德国以及发展中国家印度等纷纷开始研究对地观测卫星系统,将卫星数据资源进行商业销售。因此全球各国的高分数据处理中心陆续建立起来。2016年3月,国家国防科技工业局正式上线高分应用综合信息服务共享平台,为国土、环保、测绘、农业、海洋、气象等11个行业提供2、8、16米卫星影像数据。2016年12月山东省为了有效实施高分赋能数字山东建设,研发并部署了山东省高分应用服务平台,面向单位部门和行业用户提供高分卫星数据分发服务[3]。2019年中国国家航天局推出了中国国家航天局高分卫星16米数据共享服务平台。青海省祁连山在2022年之前就构建了高分遥感数据一站式服务与应用平台,服务于“山水林田湖一体化”生态环境监测、评估和预警需求[4]。
2022年海南省建成海南高分数据与应用中心枢纽平台网站和海南高分数据与应用中心数据服务门户,为各类用户提供覆盖海南及周边海域高分数据查询和下载服务[5]。
2023年2月高分江西中心建成“江西省高分数据共享服务平台”,实现数据的在线查询、需求定制、数据下载,已向省内外50余家单位分发卫星数据和成果数据2万余景[6]。
截至2022年,全国已经建成31个省域分中心,以及粤港澳大湾区高分中心,逐渐从零开始实现了本地化遥感数据和技术服务[7]。
3" 高分数据服务平台架构设计
3.1" 设计思路
针对高分数据获取的问题,充分发挥数据集成优势,遵循政策推进、建立标准、形成体系,急用先行、问题主导,统筹资源、提高效能的策略,推进建设工作[8]。本平台的设计思路主要包括以下几个方面:
1)数据源接入与管理。为了确保平台能够提供多源高分数据,需要接入各类民用、商用和航空遥感数据。平台应具备数据源的自动识别、接入、处理和存储功能,同时提供数据源的权限管理,确保数据安全。
2)数据处理与分析。平台需提供顺畅、高效的数据处理能力,包括数据预处理、正射校正、辐射校正、数据融合等,以便用户能够快速获得符合需求的数据产品。
3)数据产品生成与发布。基于数据处理和分析的结果,平台应能够自动或半自动地生成各类数据产品,如标准产品、共性产品和专题产品。同时,平台需支持数据产品的发布和共享,提供多种访问方式,如在线浏览、下载、推送等。
4)用户交互与服务。为了提高用户体验,平台需提供简洁易用的界面,支持用户进行数据查询、申请、下载、订阅等操作。此外,平台还需提供个性化服务,如数据推荐、定制化数据产品等。
5)数据更新与维护。为确保数据及时更新,平台需建立高效的数据更新机制,实时监控数据源的变化,并及时更新平台中的数据。同时,平台需提供数据维护功能,确保数据的完整性和准确性。
6)系统管理与安全保障。平台需具备完善的管理功能,包括用户管理、权限管理、日志管理、备份与恢复等。此外,平台还需重视数据安全,采取加密、权限控制等技术手段,确保数据安全可靠。
通过以上设计思路,本文构建一个基于数据共享的高分数据服务平台,为外部用户提供统一的服务界面,提供数据浏览检索、订购分发和数据下载的能力[9],解决当前高分数据获取存在的问题,提高高分数据的应用效率,促进相关行业的应用推广。在未来的研究中,我们将继续深入探讨平台的技术实现和应用效果,以此为我国高分数据服务提供有力支持。
3.2" 总体方案
基于高分数据共享的服务平台由业务管理、数据组织管理、数据规范优化、海量存储和数据共享分发这5个子系统组成,如图1所示。
具体介绍如下:
1)业务管理子系统。主要负责数据共享与服务系统软硬件环境的管理控制,内外部接口的处理、业务流程和任务的调度监控、资源的管理和调度等,是数据中心的管理中枢。
2)数据组织管理子系统。主要实现数据以及信息资源管理,主要包括引接各类数据,并对数据进行有效性、规范性检查,对有效数据按类型进行信息资源管理,并实现数据的关联组织能力。
3)数据规范优化子系统。对接入的影像产品进行图像增强处理,改善卫星图像的质量,并能够进行几何精纠正处理,具备融合其他产品生产能力。
4)数据共享分发子系统。对外提供数据检索浏览入口,能够为用户提供统一的信息检索查询能力,建立按需实时分发、编目实时发布、订阅提取等信息共享机制;提供搜索引擎服务,按需组织数据返回给用户;提供用户各类需求的响应与处理服务;依据优先级策略提供传输管理服务。
5)海量存储子系统。为整个数据共享系统提供各类数据的存储服务。
3.3" 体系架构
高分数据共享服务平台在服务器和网络共同构建的硬件环境下,部署存储系统,构建数据服务,为具体的业务系统提供应用服务能力。高分数据共享服务平台主要包含基础设施层、数据存储层、数据服务层、应用服务层和业务系统层,如图2所示。
3.4" 平台数据关系
在数据关系方面,高分数据共享服务平台负责全系统数据流程的总体管控和协调,以及对数据输入输出接口的监听。外部引接进来的军、民、商以及其他高分支持数据源,按照产品等级进行数据的组织存储管理。平台内其他子系统通过业务综合管理进行数据的查询与数据请求,获得权限的数据通过共享分发模式对其他子系统用户提供满足要求的数据共享服务。同时,其他子系统生产的高级产品或者专题产品,通过业务综合管理申请后,在大数据共享的海量存储子系统中进行存储。数据关系图如图3所示。
3.5" 平台网络拓扑
将传统的遥感数据处理与共享平台业务进行拆分[10],利用B/S架构使得高分数据面向不同用户提供开放浏览、订单采购和订单查询的需求。而采用C/S架构完成高分数据的图像处理和产品生产的工作,确保产品生成时能充分利用本地计算机的GPU运算能力。因此高分数据共享服务平台采用B/S和C/S相结合的架构方式,平台网络拓扑架构如图4所示。
B/S架构主要用于构建数据查询浏览、订单生成的网站,C/S架构主要用于订单产品生成的系统。
3.6" 平台页面
高分数据共享服务平台以上述架构进行设计实现后,呈现的主要页面分别如图5至图8所示。系统提供了按照经纬度和行政区域两种方式进行军用遥感、民用遥感和商业遥感等不同数据来源的高分数据查询方式,如图5所示,具体数据按照遥感图片、编目信息进行展示。
如图6所示,数据编目信息按照每个产品为索引进行管理, 并通过数据来源、数据类型、产品登记和平台类型进行编目信息的统计。数据编目信息按照每个产品为索引进行管理,并通过数据来源、数据类型、产品登记和平台类型进行编目信息的统计。
根据具体数据,可在图7所示的页面下发产品的生产订单,订单下发后,订单信息直接传入订单产品生成的系统。单编号、种类、生产等级、订单创建时间和当前状态,便于用户能快速掌握订单的运行情况。
在图8所示的订单查询页面上可查询所有下发的订单状态,包括:订单编号、种类、生产等级、订单创建时间和当前状态, 便于用户能快速掌握订单的运行情况。
4" 应用前景
综上所述,高分数据共享服务平台以此架构进行设计与实现,完全打通异源高分数据与用户之间的信息通道。不仅能加快高分数据在军事领域的应用,还可以为民用和商业领域提供高效、便捷的数据服务。
在军事领域,通过高分数据共享服务平台获取最新的卫星图像,快速分析战场环境,提高作战效率和成功率;在民用领域,该平台的应用可以为城市规划、环境监测、灾害预警等领域提供高分数据支持。商业领域,可通过平台获取高精度卫星数据,应用于地图制作、不动产评估、保险索赔等方面。
5" 结" 论
随着信息技术的快速发展,高分数据共享服务平台作为一个重要的信息基础设施,正逐渐展现出其巨大的潜力和价值。通过业务管理、数据组织管理、数据规范优化、海量存储和数据共享分发五个子系统的协同工作,该平台为军事、民用和商业领域提供了高效、便捷的数据服务,推动了各个领域的进步和发展。
在未来,随着技术的不断创新和应用需求的不断提升,高分数据共享服务平台将继续发挥重要作用。此外,随着人工智能和大数据技术的不断发展,高分数据共享服务平台还可以与这些技术相结合,实现更高级别的数据应用和服务。我们将继续致力于提升平台的性能和功能,加强与其他领域的合作,推动高分数据共享服务平台的广泛应用和发展,为人类社会的进步做出更大的贡献。
参考文献:
[1] 廖楚江,赵坚,邢进,等.高分卫星数据应用产品分级与共性产品体系构建研究 [J].遥感学报,2023,27(3):563-572.
[2] 郑玮琦.区域性高分数据与应用中心建设探讨 [J].电子技术与软件工程,2017(9):179-180+184.
[3] 刘振,尚延玲,刘鹍,等.高分卫星在山东省数字强省建设中的应用 [J].卫星应用,2023(5):21-27.
[4] 李月皓,王晓凡,白丽,等.祁连山区高分遥感数据一站式服务与应用平台设计与实现 [J].卫星应用,2022(10):43-48.
[5] 黄拔,王雷,杨天梁,等.海南高分卫星应用与发展 [J].卫星应用,2022(10):23-30.
[6] 周朝阳,冯霞.高分专项在江西省的应用与实践初探 [J].卫星应用,2023(5):15-20.
[7] 李雁,李卫海,张泉,等.云南省高分专项卫星数据省域应用产业化实践 [J].卫星应用,2022(2):51-55.
[8] 方忆平,柏芸,林爱华.高分辨率遥感卫星系统工业企业应用的思考 [J].中国航天,2023(8):44-48.
[9] 徐文,周成虎,李飞,等.国产高分辨率遥感卫星数据处理分析与区域应用 [J].青海科技,2017,24(1):23-28.
[10] 韦二龙,党执政,李峰,等.基于微服务的遥感数据处理与共享平台设计 [J].计算机与网络,2019,45(12):56-59.
作者简介:韩梅(1982—),女,汉族,四川遂宁人,高级工程师,硕士研究生,研究方向:作战仿真、大数据应用、软件设计。