摘 要：针对城市周边出租农场，文章提出一个基于数字孪生的虚拟现实农场系统。本系统由用户节点、云和APP三部分组成，用户节点通过图像识别技术，将环境信息、农作物生长状态信息映射到二维的农场游戏APP中，从而实现现实农场与虚拟农场游戏之间的数字孪生。APP端分为两部分，基于数字孪生信息的虚拟游戏界面和基于实时摄像头的现实监控界面。这两个界面均支持浇水、施肥等远程操作功能。同时，通过远程采摘机制通知管理员进行采摘，并根据用户地址提供送货入户服务。
关键词：数字孪生；物联网；智慧农业；深度学习
中图分类号：TP311 文献标识码：A 文章编号：2096-4706（2024）17-0195-04
0 引 言
中国农业面临着产业结构失衡、产业链效益低、科技支撑力不足以及高质量产品供给不足等问题[1]。对此，国家先后颁布了《关于全面深化农村改革加快推进农业现代化的若干意见》《乡村振兴战略规划（2018—2022年）》《关于做好2023年全面推进乡村振兴重点工作的意见》等一系列政策文件，以推进农业现代化进程。
消费群体对农产品品质需求在不断提升，而目前市场上农产品生产销售过程监管透明度不足，农产品的品质难以得到保障。然而，随着物联网、自动化技术的发展，使得种植趋向自动化，减轻了农民种植农作物实地操作的工作量，提高了工作效率，有效降低了农业生产成本。在智慧农场系统构建方面，国内外诸多学者已经展开了大量研究。文献[2]利用物联网技术完成远程监控系统设计，促进农业生产活动走向智能化，提高农业的生产效率。文献[3]借助先进的监测软件来分析田间的土壤水含量，明确土壤灌溉饱和点与补偿点，并提出具体的灌溉方案。通过中央控制系统将相关指令发送至阀门控制系统，实现农业节水灌溉的智能化。文献[4]通过外部传感器等元件，采集环境的温度、湿度、光照时间等信息，然后由计算机进行相应的分析并发出控制指令，实现对智慧农业监测系统的控制。文献[5]讲述了利用农业机器人完成除草、收割、喷施肥料、播种等农业日常工作，代替大量的劳动力，推动了智慧农业的发展。文献[6]利用云服务分布计算存储性能对数据分析处理，提升大数据平台应用价值，为农业园区提供了相应的AI能力和定制化管理服务，实现农业数字化。文献[7]融合物联网、智能感知、大数据和智能终端等技术，在农作物生产管理上取得了显著增效、减损和提质的效果。文献[8]提出通过一系列无人化作业手段与模式对农田生态系统进行生态化管理与改造，来实现农业生产的可持续发展。文献[9]以智能农场为农业4.0的代表，阐述了智能农场的概念及发展现状，以及包含的主要技术。文献[10]提出了"六域模型"农业物联网参考体系结构，并将其应用于家庭农场露地蔬菜种植，实现了家庭智慧农场系统结构设计。
现今，城市周边出现了很多出租农场，这些农场将土地出租给城市用户用于种植体验。但是由于城市用户时间紧缺，常出现很多农作物成熟但腐烂在地里的情况。针对此应用场景，本文设计了一种基于数字孪生的虚拟现实农场系统。依靠传感器的精准性，用户能够随时随地在APP上查看农场信息，并依靠图像识别技术直观地观察植物生长状态。当农作物成熟后，用户可下发订单至农场管理员进行采摘，并以快递的形式送至用户手中。
1 数字孪生农场系统的实现
1.1 整体系统
数字孪生的概念是指根据现实环境的量化数据生成虚拟世界，并确保现实环境与虚拟世界之间的实时同步。为了实现实际农场与APP之间的数字孪生，需要经过农场环境信息的量化、量化信息的实时传输、量化信息与虚拟世界元素映射，最终实现现实农场与虚拟农场（APP）之间的实时同步。我们把农场环境信息分为两类，一类为环境信息，另一类为农作物生长状态信息。环境信息通过传感器采集处理后已经达到了量化目的，而农作物的生长状态信息则需要通过摄像头采集图片，再通过神经网络分类量化。量化后的数据通过通信模块传输到云服务器，再转发至虚拟农场接口（APP数据端），根据量化数据进行解映射，并实现虚拟农场与现实农场的联动。
虚拟现实农场系统如图1所示，主要由四部分组成：硬件终端、云平台、图像识别模块和用户APP。该系统考虑的场景为市郊农场将分块的土地租出给用户，每个用户都具备独立的节点终端用于收集各自农场的环境信息。在硬件终端中，传感器负责收集环境信息并进行量化处理，图像识别模块负责收集农作物生长状态信息并进行分类处理。这些信息经过STM32单片机汇总后，通过Wi-Fi模块以MQTT协议发送至云平台。云平台汇总所有用户的数据，并将这些数据发送至指定的用户APP端口。每个用户的虚拟农场（APP端）根据现实环境的量化信息调用植物模型构建虚拟农场。考虑到农作物的生长缓慢以及用户体验感，现实农场与虚拟农场之间的同步数据一般每30秒进行一次。此外，农场的实时监控数据通过一个单独的摄像头采集，并通过云平台转发至用户APP，用于生成实时监控画面。用户也可通过APP向单片机下发命令，对光照和灌溉设备进行相关操作。
1.2 硬件节点
硬件节点的电路图如图2所示，采用STM32F103ZET6单片机为主控单元，土壤温度传感器DS18B20、LED模块、土壤湿度传感器LM393、空气温湿度传感器DHT11和光强度传感器BH1750分别接在单片机的PA0、PA1、PA5、PA6以及PA11和PA12数据接口。考虑到系统所需的传送速率，通信模块采用ESP8266Wi-Fi模块并通过PA2、PA3串行数据接口与单片机相连。图像识别部分采用了轻量化的OpenMV模块来实现农作物生长状态信息的分类，并与STM32通过PB10和PB11串行数据接口相连。硬件节点的工作的流程图如图3所示，硬件设备启动后，先对需要用到的各个端口进行初始化，初始化完成后通过各个传感器获取环境信息，由串型数据接口PB10和PB11获取图像识别信息，并将环境信息显示在单片机屏幕上，最后将所有采集到的数据打包，通过Wi-Fi模块以MQTT协议发送至云平台。
1.3 云管理平台
云管理平台使用OneNET物联网云平台。该平台接收到单片机传输的环境信息和图像识别的植物信息，将数据进行整合、存储，并绘制成动态数据图，在云管理平台的可视化界面上显示。同时，云管理平台提供API接口供APP调用。
1.4 图像识别
图像识别的主要目的是为了量化农作物的生长状态信息，因此，我们采用了神经网络对农作物图片进行分类，更多的分类数量可以使虚拟农作物更加接近真实农作物。本文以简单的九分类为例，简单说明农作物生长状态的量化过程。首先，农作物种类分为三类：番茄、辣椒、蘑菇；其次，每种农作物生长阶段分为幼苗、生长和成熟三个阶段，如图表1所示。农作物种类和生长阶段量化后的信息为[S0，S1]，其中S0和S1的长度都为2 bit。
图像识别模块OpenMV4支持多种神经网络模型，考虑到硬件的算力支持和计算延迟，本文采用了轻量级MobileNet网络。首先，我们制作了一个小型的训练集对MobileNet神经网络进行训练，达到最优性能后，将训练好的MobileNet网络下载到OpenMV4模块中。图片识别模块的工作过程如图4所示，OpenMV4模块的摄像头采集到320×320尺寸的图片后，对图片进行预处理得到128×128尺寸的图像，并将其输入MobileNet网络，最终得到识别结果[S0，S1]。用户APP端根据得到的[S0，S1]对照表1，改变虚拟农作物模型元素。
1.5 用户APP设计
用户APP分为虚拟界面、现实界面，用户可以通过点击导航栏对应的图标进行切换。无论在哪个界面，用户都可以通过点击按钮的方式进行远程灌溉、补光等操作。APP定时向云平台发送REQUEST请求以获取包含环境温湿度、土壤温湿度的环境信息，以及包含农作物种类S0、生长阶段S1的农作物信息。这些环境信息会在虚拟界面和现实界面的信息栏中显示，而农作物种类S0、生长阶段S1的农作物信息用来构建虚拟农场。基于数字孪生的虚拟农场构建过程如图5所示，APP对农作物种类和生长阶段信息[S0，S1]进行分割，首先根据S0判断农作物种类并定位至相应的文件夹，其次根据生长阶段S1定位至生长阶段模型，获取相应的模型图片，以此构成数字孪生虚拟农场画面。种类和生长阶段信息与模型图片的映射关系如表2所示。APP端的现实界面显示的是农场实时监控画面，当APP切换至现实界面后，它会直接接入监控API。当用户使用采摘功能时，APP将用户的采摘信息（农作物种类、用户ID）发送至云平台，管理员通过云平台接收到信息后，会安排工作人员进行采摘和派送服务。
2 结果和分析
通过摄像头拍摄的农作物图片作为数据集，其包含不同植物种类、不同生长状态、不同角度、不同光照下的图片，将训练集中的图片标注后，通过神经网络进行训练，并通过测试集验证其识别率及方案可行性。农作物生长阶段的数据集由334张图片组成，对图中植物进行处理后进行训练，训练集共267张图片，另外67张图片被用作测试集。训练完成后，导出模型文件。图像识别模块通过模型实时识别摄像头画面，输出植物的名称及其所处生长阶段，为用户端虚拟界面提供数据。农作物生长阶段的训练结果如表3所示，包括幼苗、生长、成熟等生长阶段，其中幼苗阶段和成熟阶段的识别精准度达到100%，生长阶段的识别精准度达到96.2%。
如图6（a）所示，系统选取了农场种植的番茄、辣椒、蘑菇三种农作物进行识别。以番茄为例，系统识别植物名称S0为“番茄”，生长阶段S1为“生长”，因此输出结果S0S1为“0001”。如图6（b）所示，用户APP基于此结果，呈现出数字孪生画面。当用户点击番茄的数字模型时，系统会高亮所选土地并显示其详细信息。在数字孪生画面下方，依次显示包含环境温湿度、土壤温湿度的环境信息、远程操控按钮，以及供用户切换界面的导航栏。
3 结 论
本文提出的基于数字孪生的虚拟现实农场系统，充分利用了深度学习，对农作物进行智能识别，通过数字孪生技术，该系统增强了农业互动感，使得农场游戏也能模拟真实农作物产出。系统依靠传感器对农场环境进行精准识别，调动灌溉系统为农作物提供更好的生长环境。农作物成熟时通知管理员采摘，有效避免农产品未及时采摘造成的腐烂和浪费等问题。综上所述，基于数字孪生的虚拟现实农场系统为用户提供了一个培育农作物的管理平台，可以有效地提高农作物生产的效率、资源利用率和产品质量，帮助消费者树立对农产品质量安全的信心，同时帮助生产者合理规划生产。
参考文献：
[1] 夏显力，陈哲，张慧利，等.农业高质量发展：数字赋能与实现路径 [J].中国农村经济，2019（12）：2-15.
[2] 张清淘.基于物联网技术的智慧农业远程监控系统设计 [J].南方农机，2023，54（2）：84-86.
[3] 宋卫东.物联网技术在智慧农业节水灌溉中的应用 [J].黑龙江粮食，2022（11）：52-54.
[4] 朱斌.基于物联网技术的智慧农业大棚监测系统研究 [J].南方农机，2023，54（6）：84-86.
[5] 刘元刚，熊刚.基于物联网技术的智慧农业无线控制系统设计 [J].自动化技术与应用，2021，40（6）：70-73.
[6] 陈菁，刘靖永，钱炜.基于5G和物联网的智慧农业大数据管理平台 [J].张江科技评论，2022（1）：71-73.
[7] 吴文福，张娜，李姝峣，等.5T智慧农场管理系统构建与应用探索 [J].农业工程学报，2021，37（9）：340-349.
[8] 兰玉彬，赵德楠，张彦斐，等.生态无人农场模式探索及发展展望 [J].农业工程学报，2021，37（9）：312-327.
[9] 穆悦，丁艳锋.智能农场：以水稻为例的一个未来农场运营的设想 [J].中国稻米，2020，26（5）：80-83.
[10] 王旭，周开利.“六域模型”农业物联网参考体系结构及应用 [J].现代电子技术，2022，45（6）：53-57.
[11] 张彦通，苏前敏.基于迁移学习的玉米病害图像识别 [J].中国农业科技导报，2023，25（10）：119-125.
作者简介：刘明辉（2001.10—），男，汉族，江西抚州人，本科，研究方向：物联网技术、图像识别；通信作者：尚玉龙（1988.02—），男，汉族，河南焦作人，副教授，博士，研究方向：无线通信、物联网技术、智能反射面、数字广播。
DOI：10.19850/j.cnki.2096-4706.2024.17.038
收稿日期：2024-03-19
基金项目：2023年省级大学生创新创业训练计划一般项目（202311463052Y）
Virtual Reality Farm System Based on Digital Twin
LIU Minghui， ZHANG Zheng， ZHU Lihong， LIU Xinyang， SHANG Yulong， XIAO Shuyan
（Jiangsu University of Technology， Changzhou 213001， China）
Abstract： In view of the rental farms in the urban periphery， this paper proposes a Virtual Reality farm system based on digital twin. The system consists of three parts of user node， cloud and APP. The user node maps the environmental information and crop growth status information to the two-dimensional farm game APP through image recognition technology， thus realizing the digital twin between the real farm and the virtual farm game. The APP terminal is divided into two parts， the virtual game interface based on the digital twin information and the real monitoring interface based on the real-time camera， and both interfaces support remote operations such as watering and fertilizing. Meanwhile， it notifies the administrator of picking through the remote picking mechanism， and provides the service of delivering goods to the home according to the users address.
Keywords： digital twin; Internet of Things; intelligent agriculture; Deep Learning
