摘" 要:为了实现肝包虫病病灶的提前识别和精确诊断,使用基于深度学习技术的智能阅片系统“易诊”开发微信小程序,以辅助新疆偏远地区的用户对肝包虫病超声图像进行肝包虫病病灶区域的识别。采用卷积神经网络(CNN)等深度学习技术,实现医学影像数据的自动分析和诊断。经过测试和评估,该系统表现优异,所开发的微信小程序实现了移动端医学影像上传和病灶区域的识别分析。通过深度学习算法进行图像诊断分析,并实时展示分析结果,该微信小程序提供方便易用的上传医学图像的功能,助力医疗条件薄弱地区提高肝包虫病的诊断效率和诊断精度。
关键词:微信小程序;深度学习;图像处理;智能阅片
中图分类号:TP311" " 文献标识码:A" 文章编号:2096-4706(2024)09-0106-05
Research on the Construction of an“Yizhen”Intelligent Film Reading System Based on Deep Learning
Miwueryiti·Hailati1, Renaguli·Aihemaitiniyazi1, WANG Zhengye1, Yeerxiati·Duolikong1, YAN Chuanbo2
(1.School of Public Health, Xinjiang Medical University, Urumqi" 830011, China;
2.School of Medical Engineering Technology, Xinjiang Medical University, Urumqi" 830011, China)
Abstract: In order to achieve early recognition and accurate diagnosis of liver hydatid disease lesions, an intelligent film reading system based on Deep Learning technology called “Yizhen” is used to develop a WeChat Mini Program to assist users in remote areas of Xinjiang in identifying liver hydatid disease lesion areas in ultrasound images of liver hydatid disease. It uses Deep Learning technologies such as Convolutional Neural Networks (CNN) to achieve the automatic analysis and diagnosis of medical image data. After testing and evaluation, this system performed excellently, and the developed WeChat Mini Program achieved mobile end medical image uploading and lesion area recognition analysis. It uses Deep Learning algorithms for image diagnosis and analysis, and real-time displays of analysis results. This WeChat Mini Program provides a convenient and easy-to-use function for uploading medical images, helping to improve the diagnostic efficiency and accuracy of liver hydatid disease in areas with weak medical conditions.
Keywords: WeChat Mini Program; Deep Learning; image processing; intelligent film reading
0" 引" 言
医学影像识别技术是一种通过计算机技术来处理医学图像的方法。这项技术可以让医生更准确地诊断疾病,提供更好的治疗方案以实现理想的治疗结果。医学影像识别技术大致经历了三个发展阶段:传统方法阶段、机器学习方法阶段、深度学习方法阶段。在传统方法阶段,医学影像的分析和诊断主要采用图像处理和模式识别等传统的图像分析技术,通常需要手动提取医学影像特征,结合运用数学和统计学模型进行分析和分类;在机器学习方法阶段,人们开始尝试将机器学习技术运用到医学影像的分析和诊断中,使用监督学习、非监督学习等方法(比如常用的支持向量机(SVM)[1]、随机森林(Random Forest)等分类算法)进行图像特征的提取、分类和诊断;在深度学习方法阶段,利用深度学习算法(如卷积神经网络(CNN)等)进行图像特征的提取和分类。深度学习算法具有较强的自适应性和泛化能力,能够快速、准确地辅助临床医生给出较为准确的医学影像诊断,已经成为医学影像分析和诊断的重要手段[2]。许多公司(如国外的Zebra Medical Vision、Kheiron Medical等以及国内的深睿医疗、联影[3]和赢创[4]等)都已开展了医学影像诊断服务的业务。此外,医学影像诊断软件也可利用深度学习等技术,在结节检测、病灶分割和疾病诊断等方面为医生提供诊断和治疗辅助服务,应用包括肺结节检测、乳腺筛查、脑出血分析等。随着人口老龄化趋势的日益加剧,疾病的种类和数量在持续不断地增加,医学影像诊断的质量和效率成为制约医疗服务质量提高的重要因素。传统的影像诊断有赖于医生的深入分析和经验判断,但医生有时难免存在主观偏差,难以保证诊断结果的准确性和一致性。这种传统的诊断方式已经无法满足现代医学的需要。肝包虫病是一种犬绛虫(棘球绛虫)的囊状幼虫(棘球蚴)寄生在人体或动物肝脏/胆管中所致的一种寄生虫病[5]。在我国,肝包虫病是继血吸虫病之后,危害最严重的寄生虫病。新疆位于西北边陲,经济落后、医疗条件低下以及一些人的生活习惯不佳导致了肝包虫病的高发,全省肝包虫病总计20 734例[6]。患者分布在新疆全境,部分地区的患病率高达8.4%。目前,对于肝包虫病的防治仍然面临着许多困难[7],医疗资源匮乏和医生经验不足等因素影响着疾病的早期诊断[8,9]。肝包虫病的诊断主要依赖于临床症状、体征、实验室检查以及影像学检查,超声检查是金标准,早诊早治是肝包虫病治疗的关键[10,11]。
1" 研究方法与相关理论
1.1" 微信小程序
移动医学影像作为移动计算和医学影像相结合的交叉研究领域,越来越受到学术界和产业界的关注,移动医学影像多应用于诊疗指导、病情咨询以及远程医疗等方面,逐渐成为医疗服务发展的方向。其中,基于微信平台的医学应用在医疗行业中得到了广泛的应用,尤其体现在医生与患者之间的信息交流上。微信平台提供畅通的传播渠道和便捷的沟通方式,提高了医生和患者之间的交流效率,极大地推动了医疗行业的数字化、智能化、便捷化。为了充分发挥医疗图像微信公众平台的效用,以为患者提供高质量的信息服务,有必要对其开发与应用进行深入研究。
1.2" 目标检测算法
目标检测是计算机辅助诊断的一项重要任务,在对图像和视频中特定对象的检测、定位和跟踪方面具有广泛的应用[12]。目前,主流的目标检测算法主要分为两大类:基于区域提取的算法和单阶段检测算法。前者包括在R-CNN [13]基础上演化出的各种算法,如Fast-RCNN和Faster-RCNN [14]等,后者包括YOLO系列的算法,如YOLOv3 [15]和YOLOv4 [16]等。虽然基于区域提取的检测算法有着良好的检测性能,但它的实时性较差,所以单阶段检测算法成为当前目标检测领域的研究热点,其中最新的YOLOv5算法继承了YOLO系列算法的优势,在精度和速度上得到了很好的平衡。YOLOv5将输入图像划分为网格,对每个网格的类别和边界框进行预测,并使用非最大化抑制来过滤掉概率较低的检测框,以保留概率最大的检测框,加之可高度优化的硬件操作和较为先进的数据增强技术,YOLOv5的检测能力更强,检测精度更高,较高的检测速度使它在实时应用中具有巨大的应用潜力。综上所述,基于微信小程序的智能阅片系统作为一种新兴技术,以其高效、准确、可靠和便捷的特点,成为当前医学影像诊断领域的研究热点。
2" 研究结果
本研究参考世界卫生组织包虫病专家工作组(WHO-IWGE)[17]颁布的肝包虫病分型指南,选取新疆医科大学第一附属医院影像室900名病人的2 412张CE1、CE2、CE3、CE4和CE5共五个病灶类型的肝包虫超声影像。为提高后续计算的效率和准确度,对不同型号机器采集的超声图像进行灰度处理、高斯滤波去噪[18]等预处理,之后将数据集以7:3的比例划分为训练集和测试集,再使用开源软件Labelme对图像进行标注,如图1所示。
3" 系统架构设计与实现
根据本程序的用户群体(病患和医护人员),本文将系统功能分成两个部分来设计。如图2所示,在手机端通过手机拍照或从本地相册上传肝包虫的超声图像,在数据库后端使用Flask框架、YOLOv5等深度学习算法对前端传来的超声影像数据进行分析,对可能的病灶进行检测、识别和判定,同时对上传的超声影像数据进行增删改查等维护操作,并对该图像病灶的位置、疾病类别信息进行标记操作,最后在小程序中生成相应的图像报告,从而完成本文系统图像自动阅片的基础操作。
3.1" “易诊”肝包虫病智能阅片小程序前端界面设计
微信小程序前端的开发工作主要包括用户交互和数据展示两个方面,因此要根据需求对UI界面进行设计,并将其实现为相应的业务逻辑。本研究采用微信小程序作为前端实现方式,结合Flask框架[19]进行开发设计,开始界面中包含小程序名称和启动按钮。如图3(a)所示,首页设计要求简约清新、简单易用。进入小程序的首页,用户可通过微信快速登录(无须注册),首页展示小程序的名称、“启动”按钮。如图3(b)所示,点击“启动”按钮,小程序进入肝包虫病医学超声影像上传界面,用户通过屏幕下方的按钮拍照上传超声影像。如图3(c)所示,当手机前端完成对图像的上传后,小程序出现三个按钮选项,从左到右依次是处理图像选项、查看结果选项、选择重新上传图像选项。点击“查看结果”按钮后,小程序前端将呈现出肝包虫病超声图像已经由处理的迹象,病灶区域已被标记了出来,连同该超声影像中呈现的肝包虫病有可能是哪种肝包虫病的概率等数据反馈。如图3(d)所示,对肝包虫超声影像的病灶区域标识过后,小程序会自动生成文字报告,报告内容包括肝包虫病的类别、肝包虫病类型的概率,以及肝包虫病病灶区域的坐标。
3.2" Flask后台应用服务器的构建
Flask后台的构建包括影像数据库维护和病灶数据识别,影像数据库的维护包含影像基本信息(包括ID信息、病灶类别等信息)维护、影像文件的图像信息以及影像病灶的标注信息维护等,如表1和表2所示。影像病灶标注过程要具有高度的规范性和标准性,要保证标注的准确性和一致性,从而提高诊断的准确率和一致性。标注信息包括病灶位置的xy左上角坐标、病灶位置的xy右下角坐标以及病灶类别等信息。后台应用服务器具有病灶影像识别逻辑,即在服务器后端接收手机端传来的肝包虫病超声检查图像,Flask后台使用Python语言[20]进行算法实现,使用YOLOv5目标检测算法检测及识别病灶的位置和肝包虫病的类别,将病灶检测和识别的结果以JSON的形式组织起来,通过网络传回手机端,并在生成报告界面中将诊断结果以图形化的形式展示出来。
4" 结" 论
本文介绍了医学影像诊断系统的背景和发展趋势,探讨了深度学习技术在医学影像分析中的应用方法与操作步骤,包括微信小程序编程与部署、后台基于人工智能的卷积神经网络(CNN)等目标检测与识别算法的构建与调用方法。本项目使用微信小程序实现了医学影像数据的分析和对病灶区域的初始化和判读,提供了方便易用的医学影像阅片功能,实现了偏远地区用户快捷就医,同时辅助临床医师快速做出诊断决策,从而最大限度实现肝包病的早期诊断与防治。在小程序的开发中,本系统注重了操作的简易性和扩展性,方便医疗机构将小程序集成到自身的信息系统中进行推广应用。经过测试和评估,本文“易诊”智能阅片系统的性能良好,可以显著提高医生的工作效率和准确性,能够为患者提供更加及时准确的医疗服务。本项目的研究成果可为将深度学习技术引入医学图像分析提供有益的借鉴。
参考文献:
[1] 王文剑,门昌骞.支持向量机建模及应用 [M].北京:科学出版社,2014.
[2] 杨雪琴.医学影像微信公众平台的应用现状与展望探究 [J].人人健康,2019(20):259.
[3] 唐闻佳.联影海外发展再提速,中国“智”造惠及全球患者 [N].文汇报,2022-11-03.
[4] 赢创加入MIT-IBM沃森人工智能实验室,借助AI技术推进创新 [J].橡塑技术与装备,2021,47(10):7.
[5] 戴婷,王辉.超声诊断肝包虫病1例及误诊原因分析 [J].中国实验诊断学,2021,25(10):1551-1552.
[6] 排孜丽耶·尤山塔依,严传波,木拉提·哈米提,等.基于特征融合的肝包虫病CT图像识别 [J].北京生物医学工程,2019,38(4):400-406.
[7] 张壮志,张文宝,石保新,等.我国包虫病防控及其面临的困难 [J].兽医导刊,2011(6):27-29.
[8] 薄靖宇.基于深度学习的肺炎医学影像自动识别与检测技术研究 [D].北京:北京交通大学,2021.
[9] 南嘉格列,李锐,王海霞,等.基于深度学习的肝包虫病超声图像分型研究 [J].深圳大学学报:理工版,2019,36(6):702-708.
[10] 张洪辉.以用户为中心预防结直肠癌恶性肠梗阻的微信小程序开发与可用性评价 [D].合肥:安徽医科大学,2022.
[11] 彭棉珠.卷积神经网络目标检测方法比较及应用探讨 [J].普洱学院学报,2022,38(6):44-46.
[12] CHANG C C,CHEN H H,CHANG Y C,et al. Computer-aided Diagnosis of Liver Tumors on Computed Tomography Images [J].Computer Methods and Programs in Biomedicine,2017,145:45-51.
[13] GIRSHICK R,DONAHUE J,DARRELL T,et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus:IEEE,2014:580-587.
[14] REN S Q,HE K M,GIRSHICK R,et al. Faster R-CNN: Towards Real-time Object Detection with Region Proposal Networks [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1137-1149.
[15] REDMON J,FARHADI A. YOLOv3:An Incremental Improvement [J/OL].arXiv:1804.02767v1 [cs.CV].[2023-09-08].https://arxiv.org/abs/1804.02767.
[16] 白钰杰,裴以建,朱秀军.基于改进YOLOv4模型的乳腺钼靶图像肿块检测 [J].计算机工程与科学,2023,45(4):654-664.
[17] 刘文亚,蒋奕,王健.肝包虫病影像学诊断专家共识 [J].临床肝胆病杂志,2021,37(4):792-797.
[18] 邵党国,邓阳阳,相艳,等.基于自适应高斯滤波的超声斑点降噪 [J].数据采集与处理,2017,32(4):746-753.
[19] 范路桥,高洁,段班祥.基于Python+Flask+ECharts的国内热门旅游景点数据可视化系统 [J].现代电子技术,2023,46(9):126-130.
[20] 杜兴.基于Flask框架Web版的扫脸登录系统研究与实现 [J].电子制作,2022,30(12):54-56+87.
作者简介:米吾尔依提·海拉提(1996—),女,哈萨克族,新疆乌鲁木齐人,硕士研究生在读,研究方向:医学图像处理;热娜古丽·艾合麦提尼亚孜(1996—),女,维吾尔族,新疆乌鲁木齐人,硕士研究生在读,研究方向:医学图像处理;王正业(1996—),男,汉族,新疆乌鲁木齐人,硕士研究生在读,研究方向:医学图像处理;通讯作者:严传波(1970—),男,汉族,新疆乌鲁木齐人,教授,硕士,研究方向:医学图像处理。