摘" 要:针对场馆元宇宙三维漫游系统发展过程中面临的三维模型下载慢、加载缓慢等问题,重点对5G+Web3D技术背景下的三维模型优化的关键技术进行研究。首先,对三维模型处理技术进行梳理和归纳,提出了三维模型优化的总体技术线路;其次,重点讨论了三维模型精简、压缩、动态创建等关键技术,提出了三维模型优化工作的系统流程;再次,根据场馆元宇宙需求创建实验系统,对所需的三维资产进行优化处理,处理后的三维模型文件可缩减70%~90%,验证了这些技术方法在实际场景中的有效性和可行性,能够有效支撑5G网络下的网络传输要求;最后,对场馆三维漫游系统构建过程中三维资产的优化处理过程提出了详细的操作指导。
关键词:三维漫游;三维模型优化;智慧场馆;5G;元宇宙
中图分类号:TP391" 文献标识码:A" 文章编号:2096-4706(2024)19-0146-06
Research on Model Optimization Method in 5G Venue Metaverse
WEI Chuncheng, LIANG Zhuo, LIU Anqi, CHAI Mengqiang, ZHANG Han
(China Unicom Digital Technology Co., Ltd., Beijing" 100032, China)
Abstract: Addressing the issues of slow download and loading of 3D models that are encountered in the development of venue Metaverse 3D roaming systems, the research focuses on the key technologies for 3D model optimization within the context of 5G+Web3D technology. Firstly, the 3D model processing techniques are sorted out and summarized, and the overall technical route of 3D model optimization is proposed. Secondly, the key technologies of 3D model simplification, model compression, and dynamic model creation are discussed, and the system process of 3D model optimization is put forward. Thirdly, an experimental system is created according to the requirements of the venue Metaverse, and the required 3D assets are optimized. The optimized 3D model files achieve a reduction of 70%~90% in size, validating the effectiveness and feasibility of these technical methods in practical applications. It can effectively support the network transmission demands under 5G Network. Finally, the detailed operation guidance is put forward for the optimization process of the 3D assets in the construction process of the 3D roaming system of the venue.
Keywords: 3D roaming; 3D model optimization; smart venue; 5G; Metaverse
0" 引" 言
当下,随着元宇宙概念的普及和5G、5G-A(5G Advanced,即5G网络的演进和增强版本)、Web3D(网页三维)技术的不断发展,基于网页技术的场馆元宇宙三维漫游系统日益成为现实。Web3D项目需要将所有三维资产文件实时下载到本地运行,这对三维模型的轻量化有较高要求。在这一背景下,精简、压缩、动态生成等三维模型优化技术显得尤为重要,前人多对具体的精简、压缩算法进行研究,但缺乏系统的三维模型优化过程论述。三维模型优化技术能够在保证视觉质量的同时,显著减小数据量,从而在网络传输、存储和计算方面带来巨大的益处。通过实验系统构建,探索了在5G与Web3D技术环境下,针对三维模型进行精简、压缩、动态生成的具体方法和步骤,在保障三维模型精度的前提下,能将静态模型文件压缩70%~90%,以满足博物馆、体育馆等场馆三维漫游系统的需求,同时兼顾网络性能,为相关领域的研究和应用提供有益的参考与启发。
1" 研究背景
1.1" 研究意义
场馆三维漫游是场馆元宇宙的重要组成部分,是基于虚拟现实技术的一种应用形式,是指计算机可模拟鸟瞰、人视等多种视角,通过键盘、鼠标、游戏控制器等操控设备来实现对场馆空间的虚拟探索,并能提供身临其境的体验感受。随着“元宇宙”等概念的发展,基于场馆元宇宙的线上三维漫游体验越来越受到各类场馆的青睐,用户可操作自己的虚拟分身在三维场景中进行自由探索,起到宣传教育、虚拟导览等目的。
基于Native3D(本地三维)的三维漫游系统多基于三维游戏引擎打造,用户需要事先下载相关客户端,安装后使用。这类三维漫游系统与第一人称、第三人称视角的电子游戏发展息息相关,基于Unity(团结引擎)、Unreal Engine(虚幻引擎)等游戏引擎能够快速创建一个三维漫游的演示,并能实现逼真的视觉效果和物理特效,但这类系统都依赖于庞大臃肿的游戏引擎,需要用户下载和安装应用程序,并在特定平台上运行,且需要本机具有较高的硬件配置,数据无法自动更新,维护成本较高。
而依托Web3D进行渲染的线上虚拟漫游系统,用户无须下载客户端,直接打开相关网页地址后即可进行三维漫游体验,所有三维资产均需即时下载、即时演算、即时渲染,对网络带宽具有一定的要求。5G网络普及以前,受限于网络下载限制,另外缺乏较为成熟、高效的开发工具,此类漫游系统的发展较为缓慢。
近年来,随着移动互联网、Web端应用的发展,极大推动应用程序的网络化[1],网络操作系统、网络化小程序等逐步改变用户的消费和使用习惯。场馆的运营管理者希望三维漫游系统能够即开即用,提高系统的传播效率和使用效率,并能够通过线上流量的积累快速为线下经营进行联动和赋能。5G通信技术和WebGL、WebGPU等Web3D技术的发展,让依托Web3D的场馆虚拟漫游系统逐步成为现实。
1.2" 三维模型优化的必要性
三维模型是对真实或虚拟的三维物体的全面数字表示。它包含了物体的几何形状、纹理、颜色、光照、材质等详细信息,并可以通过三维建模软件创建和编辑。三维模型通常由三维网格构成,但还包括其他附加信息,如法线、切线、UV(U-Veez,也称为“UV纹理空间”)坐标、贴图等,用于更精确地描述物体的外观和属性。三维网格是三维图形学中的一个特定数据结构,用于表示三维物体的表面形状。它通常由一系列的顶点(vertices)和连接这些顶点的边(edges)或面(faces)组成。这些顶点、边和面定义了物体的外部边界,并提供了物体的几何形状信息。顶点的数量和面片的类型影响了网格的精度和复杂度。
但并非所有的三维模型都适合在Web3D三维场景漫游系统中使用。文物保护、影视、游戏、动画等行业中所应用的三维模型具有较高的细节,模型面数较高,单文件可达百兆字节以上,当场馆元宇宙平台中同时加载众多三维模型时,数据传输和处理资源消耗较大,浏览器渲染和呈现效果不佳,面临三维模型解析时间长、浏览器绘制性能弱、渲染帧率低等问题。
1.3" 三维模型优化的可行性分析
三维模型文件的规范标准和编码方式不同,导致保存同样的三维模型信息,模型文件大小不同,选择合适的编码和文件规范,能够节省不必要的文件空间占用和解析时间;博物馆等场馆中的大部分空间、藏品模型由空间数字化扫描技术制作而成,模型的纹理贴图较大,三维网格密度较大,有较多的精度冗余,采用适当压缩,并不影响整体精度和效果。因此,对三维模型的优化具有技术可行性。
2" 三维模型优化技术分析
2.1" 三维网格精简技术
国内外学者对三维点云数据的精简算法研究较多[2],通过三维点云生成三维网格数据后,也可进一步进行精简。三维网格精简算法旨在通过减少三维网格中的顶点数量、三角形面片数量或其他几何元素,以降低模型的复杂度和文件大小,同时尽可能保持模型的视觉特征和重要细节。以Blender软件为例,主要包括塌陷、反细分、平面算法等。但精简算法是一种有损简化,会对原始三维网格精度产生影响,进而造成网格失真,需要通过反复测试不同参数,寻找精简和失真之间的平衡点。
2.2" 三维模型材质精简技术
除了网格精简外,还可对三维模型的材质纹理贴图进行精简。在贴图和UV映射的配合下,能让三维模型不同位置的材质呈现不同的漫反射、金属度、粗糙度、透明度、自发光强度等。一个材质可包含多张贴图,这些贴图以位图的形式进行保存,并链接到三维模型材质的各类参数中。
对贴图的精简主要是贴图合并、贴图尺寸压缩、修改贴图文件格式等,具体如下:
1)纹理贴图合并。将不同的材质贴图合并到一起,减少贴图所占用的贴图文件数量。
2)纹理贴图尺寸压缩。在Web3D项目中,部分移动设备浏览器因系统分辨率影响,无法读取超高清材质,会引起浏览器崩溃。将4K、8K精度纹理贴图压缩到2K以下,基本不影响Web3D下的渲染效果,但会极大减少贴图文件大小。
3)修改贴图文件格式。将.png、.bmp等格式替换为.jpg格式,也能减少位图文件大小。
2.3" 三维模型压缩技术
三维模型的压缩是指采用压缩技术,将原始三维模型文件进行压缩,然后传输到用户端后,再进行解压,以节省5G网络带宽资源。常见的方式有Gzip、draco等方式。
2.3.1" Gzip算法
Gzip算法[3]是一种常见的无损压缩算法,它可以对各种类型的数据进行压缩,包括三维模型文件。Gzip压缩算法的基本原理是首先使用LZ77算法[4]的一个变种对要压缩的三维模型数据进行初步压缩,再使用Huffman编码[5]进行进一步的压缩。通过这种组合方式,gzip能够实现对三维模型数据的高效压缩,从而减少文件大小,便于存储和传输。同时,由于Gzip算法是广泛应用的标准压缩算法,因此压缩后的三维模型数据可以在多种平台和工具中进行解压和使用。
2.3.2" Draco算法
Draco算法[6]是一种有损压缩算法,可在不影响视觉保真度的情况下让模型文件变得更小。Draco是谷歌开发的一种大幅加速3D图形网格的编码、传输和解码的库,主要应用于压缩和解压三维网格和点云数据,能有效改善3D图形网格的存储和传输[7]。Draco算法通过简化网格、编码属性和使用熵编码等技术,实现了对3D模型的高效压缩。这使得在存储、传输和使用3D模型时能够节省大量的空间和带宽资源。
2.4" 三维模型动态创建技术
除了从服务器端下载静态三维模型外,还可以在浏览器端动态创建三维模型,进而避免模型的过度下载。在场馆元宇宙的虚拟漫游系统中,随着不同场景的加载和呈现,根据实际场景需求动态创建模型具有许多优势,能有效减少5G网络下静态三维资产的下载量,能够适应更多的场景需求,能够提供更加个性化的内容。
2.4.1" 根据元数据进行三维动态建模
如基于高程数字模型(Digital Elevation Model, DEM)的三维地形建模,DEM通过一张栅格图像来存储不同位置点的高度信息,通过高度拉伸,可生成精度较高的三维地形模型。例如在三维地理信息系统中,建筑物的三维模型,也往往是通过二维的建筑物数据,依据建筑物高度值进行动态拉伸进行建模。在上述举例中,一张栅格图片和一幅二维地图所含数据量都比三维地形、三维建筑模型的数据量要小很多。在场馆三维漫游场景中,场馆内的规则墙壁、楼房体块等,都可以通过此种方式进行动态创建。
2.4.2" 对现有静态模型进行动态调整建模
在三维漫游场景中,特别是以元宇宙空间为特色的线上社区中,能对数字分身的外貌特征进行高度自定义是用户的强需求。若采用静态模型方式打造“千人千面”的应用场景,需要事先制备上千套不同风格的人物模型,并在系统运行时,将这些模型全部下载到本地进行渲染运行,在Web3D的渲染性能下,不足以支撑此需求。因此,人物的外貌和服饰变化,宜在基础模型基础上通过程序动态调整而来。参考角色扮演游戏(Role Play Game, RPG)中的“捏脸系统”,用户可以自行调整人物的外观和服饰,从而创建一个新的模型。而该模型只是记录了一些动态参数,在系统中加载时,是基于原有的基础人物模型,进行动态调整而来。此外,三维场馆具有一定的展示特性,如藏品展示、画作展示、视频展示等,这需要三维场景能够对某部分的三维素材进行动态替换,从而实现多样化的展示需求,实现对三维漫游场景的高效利用。
3" 研究方法
3.1" 场馆三维漫游系统的主要技术
3.1.1" Web3D技术
2010年之前,在网页端呈现三维内容往往需要借助插件来实现,如Flash、SliverLight、Java3D、Cult3d、View point等技术[8],后因无法在手机浏览器中原生运行,且不支持GPU加速,这些技术逐步淡出大众视野。2011年发布的WebGL(Web Graphics Library)1.0解决了上述Web3D的几乎所有缺点,能兼容各种浏览器、无须安装插件、可GPU硬件加速,并能基于既有成熟标准[9]。但随着三维图形技术发展,基于OpenGL的WebGL并不支持Direct3D 12、Metal以及Vulkan等新一代的原生GPU API。而WebGPU是一个更加精确的图形渲染API,可有效映射到现代图API之上进行工作,完全开放了整个GPU的能力,WebGPU将资源管理、准备等工作和提交给GPU的工作相分开,可减少CPU开销、更好地支持多线程、拥有全新的着色器语言等,因而具有更高的性能和效率[10]。
3.1.2" 5G移动通信技术
5G移动通信技术能够保障三维漫游系统的三维资产内容可随时随地下载到用户端,并能与其他用户进行高效的互动。5G网络其本身大带宽、低时延的特性,能为场馆的三维漫游系统提供高速信息通道,场馆外的观众可以依托5G网络随时随地体验场馆三维漫游内容。此外,在场馆内,依托5G专网和边缘计算技术(Mobile Edge Computing, MEC),能够有效减少三维漫游系统的各类三维资产、超高清视频资源、AIGC等动态内容获取的时延。5G-A,是5G网络演进的第2阶段,是5G到6G的过渡,在提供高速通信功能的前提下,可增加感知能力,实现通感一体[11]。
3.2" 实验系统构建
实验系统在5G应用的场景下,打造依靠Web3D进行渲染呈现的场馆元宇宙虚拟漫游平台。系统基于WebGL/WebGPU进行图像渲染,采用.glb文件作为模型、动画、骨骼的统一中间文件,使用Blender作为三维资产的预处理软件,通过WebRTC API实现多人音频交互,通过Colyseus作为多人在线服务,同时依托云计算资源,打造三维资产管理、数据存储等支持。
实验系统通过优化5G网络下三维资产加载方式,减轻负载,实现角色五官、服饰等自定义系统,通过参数化控制,实现三维场景漫游、交互。采用模型精简、压缩和模型参数化生成方式来提高三维模型资产的快速获取,减轻5G网络下载压力,保障了“即开即用”的场馆元宇宙平台构建,同时给用户带来更为逼真的使用体验。聚焦场馆元宇宙核心需求,形成航天科幻、文博教育、自然科普、企业展示等场馆元宇宙应用场景。实验系统运行效果如图1所示。
4" 实验与结果
4.1" 三维模型精简压缩处理
实验系统所需的所有三维模型,事先在Blender软件中进行预处理。将所有.obj、.fbx、.blend等格式的三维模型文件导入Blender软件中,经精简处理后,统一转换为.glb格式文件。实验系统中所用到的所有三维模型,进行统一优化处理,所涉及的工作步骤和流程如下。
4.1.1" 对三维模型进行精简
对模型添加精简修改器,通过对比和实践,采用“平面”算法,根据不同模型的细节程度,将角度限制设定在4°~8°之间,能对大部分三维模型进行较好的精简效果。模型精简后,将修改器进行应用,得到修改后的三维模型。以某文物的三维模型为例,初始模型具有400万面,通过上述精简操作后(角度限制5°),处理后的模型仅有48万面,精简了87.8%的面数据,相关数据如表1所示。
4.1.2" 进行模型材质烘焙
对三维模型进行编辑,重新调整每个模型的UV投射,合并或分拆不同材质的材质贴图。调整光环境和各类材质的漫反射、高光、粗糙度、金属度、透明度、法线等参数,并将材质的渲染结果烘焙到单独的材质贴图中。
4.1.3" 统一模型材质
因不同的三维编辑软件有各自独有的材质系统,三维建模软件的材质并不能直接导出到Web3D项目中使用,在Blender中,需要对原材质进行烘焙处理后转换为原理化BSDF材质,才能正确被导出。将上一步烘焙得到的贴图,依次应用到新材质的漫反射、高光、粗糙度、金属度、透明度、法线等参数中进行配置。
4.1.4" 材质纹理贴图优化
部分移动端操作系统并不支持过高的材质贴图,为避免因贴图尺寸过大导致系统崩溃,将原始材质贴图备份后,均处理到2K分辨率以下,转为.jpg格式,通过压缩贴图操作,可大大缩减各类贴图文件大小,以某文物三维模型为例,材质纹理贴图可压缩88.7%,减少近20 MB文件下载,如表1所示。
4.1.5" 模型压缩并导出
采用draco算法进行压缩,压缩级别设置为6,并导出为.glb格式进行存储。.glb文件格式是.gltf格式的一种变体,它将JSON数据和二进制数据打包到一个单独的文件中,这样就不需要单独的.bin文件,进而更便于分发和存储。
图2、图3展示了某三维模型经过精简操作后的网格和纹理细节对比,通过肉眼观察并未有较大变化,精简掉的细节并不影响场馆元宇宙的相关用户体验,但文件大小压缩了90%以上。不同的模型,因材质贴图数量、模型网格细节等不同,经过预处理后所得到的精简数据也不尽相同,综合来看,各类模型通过一系列精简和压缩处理操作后,模型文件可缩减70%~90%。
4.2" 三维模型加载效率分析
将三维场景和三维展品进行分离,逐步进行加载。实验系统采用WebGL2进行三维渲染解析,采用Babylon.js库进行调试,在请求三维资产时记录时间t1;三维资产下载达到100%时,记录时间t2;当三维资产完全被加载到屏幕中可正常浏览时,记录时间t3。通过随机多次下载和加载测试,取相关数据平均值,得到以下结论:
1)三维资产下载时长(t2-t1)。根据中国信息通信研究院相关数据,中国5G网络平均下载速率为348.31 Mbit/s[12],在实验环境中,设定下载速率为300 Mbit/s,延迟100 ms。统计了包括了三维资产从资源队列、连接开始、请求/响应等过程的时间总和,通过随机测试,经过处理后的三维模型,网络下载耗时可缩短4.6 s以上,如表2所示。但在实际使用中,部分地区5G网络下载速率仍然以100 Mbit/s为主,该文件的下载时间可节省10 s以上。
2)三维资产解析加载速度(t3-t2)。本实验中的解析加载时间是指浏览器获取到三维资产文件,通过Web3D的形式进行解码解析、渲染加载,并绘制在屏幕中的过程所耗费的时间。因极大地缩减了三维网格的面数和材质贴图的尺寸,能提高三维渲染效率。实验系统运行的设备配置为:CPU:六核心/十二线程/2.1 GHz;RAM:16 GB;GPU:集显。经实验,精简后的模型解析加载耗时可减少500 ms左右,如表2所示。
4.3" 三维模型动态创建分析
4.3.1" 人物动态创建
人的特征可由外貌和服饰等构成。外貌特征的动态变化可由骨骼系统进行动态调整,骨骼系统是驱动人物三维模型运动的重要组成部分。通过调整骨骼中某块骨头的位置、旋转、缩放等状态,即可对骨头所影响的三维网格——蒙皮,进行动态调整。比如,调整人物鼻子所对应的骨头“NoseBone”沿x、y、z轴分别放大1.5倍,则相应地,人物的鼻子部分的三维网格会分别在x、y、z轴的方向根据骨骼权重,各自做出相应的缩放。按照此方法将人物的五官、体型等对应的骨头分别做相关设定后,即可创建一个可通过不同参数来调整用户外观特征的角色自定义模块,如图4所示。通过角色自定义模块,能够极大缩减创建多人物场景下的三维资产加载量,性别相同的人物模型可通过基础模型克隆后,通过外貌参数的调整来动态生成,在做到千人千面的同时,避免下载额外的人物三维模型。
4.3.2" 展览素材动态更新
将场馆的展陈空间进行动态化管理,实现展品和相关素材的动态可实现对元宇宙空间的高效复用,场馆运营方可自定义场馆元宇宙内的各类展位信息,根据需求替换相关模型展品,而无须额外再制作整体的三维场景模型,减少重复部分的制作和下载。
5" 结" 论
通过对5G网络下通过Web3D技术实现场馆元宇宙虚拟漫游系统中三维模型精简、压缩、动态生成的主要技术方法的验证和分析,发现了5G+Web3D技术在场馆三维漫游系统中的应用潜力,通过一系列三维模型优化工作流,在保障三维模型精度和细节的前提下,使三维资产文件缩减70%~90%,能够极大的提高三维资产文件的下载速度,有效提升Web端的三维渲染效率,采用动态的模型生成和修改方法,能够灵活处理各类业务场景下的动态管理需求。通过三维模型优化技术,能够将实验系统转换为场馆元宇宙体验平台,应用于各类文博场馆、体育场馆、艺术场馆、会展中心等多种类型场馆的虚拟漫游和线上多人交互等场景。研究将继续聚焦在场馆三维漫游系统的发展,以期为用户带来更加生动、沉浸式的体验,同时也为相关领域的研究和实践贡献经验和见解。期待在不久的将来,通过三维模型优化技术的更广泛应用,为场馆元宇宙的发展带来更多的创新与惊喜。
参考文献:
[1] 王卓文.面向web端应用的大规模三维场景渲染方法研究 [D].北京:北京邮电大学,2022.
[2] 常鑫,郎锐,董建业.基于移动网格点云精简算法的研究 [J].测绘工程,2018,27(5):17-22.
[3] Free Software Foundation. GNU Gzip: General File (de)Compression [EB/OL].[2024-03-12].https://www.gnu.org/software/gzip/manual/gzip.html.
[4] 高志坚,蒋春蕾.LZ77压缩算法及其派生算法探究 [J].西昌学院学报:自然科学版,2005(1):88-91.
[5] 夏长权,徐思韵,张剑云,等.基于改进哈夫曼编码的Haar小波WSN数据压缩算法 [J].电子设计工程,2023,31(21):28-32.
[6] GitHub. google/draco [EB/OL].[2024-03-12].https://github.com/google/draco.
[7] 汪学清,董泽,陈博,等.基于Web的Revit模型轻量化和大屏显示研究 [J].青岛理工大学学报,2024,45(1):73-81.
[8] 范瑜.Web3D技术路线研究 [J].赤峰学院学报:自然科学版,2012,28(22):13-15.
[9] 马亮,王彬.WebGL三维技术、建模分析及优化研究 [J].长春师范大学学报,2022,41(2):64-69.
[10] 刘刚,陈根深,陈麒玉,等.基于Web的大规模三维空间模型高效可视化关键技术 [J].地理空间信息,2023,21(12):8-13.
[11] 陈大伟,向际鹰,陈诗军,等.5G-A通感一体化的场景、挑战及关键技术 [J].邮电设计技术,2022(8):23-28.
[12] 中国信息通信研究院.全国移动网络质量监测报告 [R].北京:中国信息通信研究院,2023.
作者简介:魏春城(1974—),男,汉族,黑龙江密山人,高级工程师,博士,主要研究方向:产业互联网和信息通信;梁卓(1978—),男,汉族,陕西南郑人,工程师,学士,主要研究方向:智慧文体和数字乡村;刘岸琦(1991—),男,汉族,北京人,产品总监,硕士,主要研究方向:智慧文旅、体育、教育;通信作者:柴孟强(1987—),男,汉族,山东寿光人,工程师,学士,主要研究方向:智慧博物馆建设;张涵(1999—),女,汉族,河北任丘人,产品经理,硕士,主要研究方向:智慧博物馆建设。