摘 要：基于在线机器学习平台和嵌入式开发板，设计了一种具备实时监控环境信息能力的智能控制系统。借助MQTT传输协议所构建出的智能系统，可通过虚拟开关及语音方式控制办公和家庭场景下的各类电子设备，并通过对颜色卡片的感应识别一键切换系统场景。该系统可应用在配置了红外、蓝牙和无线控制模块的智能家居或机器人控制领域里，用于在软硬件资源受限的场景下提升系统的智能化程度。测试结果表明该智能控制系统能根据用户需求控制智能化设备，具有一定的实用性和可扩展性，可应用于物联网和机器人研究领域。
关键词：神经网络；语音识别；物联网；嵌入式；MQTT协议
中图分类号：TP18；TN929.5 文献标识码：A 文章编号：2096-4706（2024）15-0099-06
Embedded Intelligent Control System Based on Online Machine Learning Platform
LIU Ke， HUANG Xiaoman， KANG Yilin， WANG Hong， ANG Yin
（South-Central Minzu University， Wuhan 430074， China）
Abstract： Based on an online Machine Learning platform and an embedded development board， an intelligent control system with the ability to monitor environmental information in real-time has been designed. The intelligent system built with the MQTT transmission protocol can control various electronic devices in office and home scenarios through virtual switches and voice methods， and switch system scenarios with one click by sensing and recognizing colour cards. This system can be applied in intelligent homes or robot control fields equipped with infrared， Bluetooth， and wireless control modules， to improve the intelligence level of the system in scenarios with limited software and hardware resources. The test results indicate that the intelligent control system can control intelligent devices according to users needs， and has certain practicality and scalability， which can be applied in the fields of Internet of Things and robotics research.
Keywords： Neural Network; speech recognition; Internet of Things; embedded; MQTT protocol
0 引 言
随着人工智能与智能控制技术的发展，各类智能化电子设备开始出现在众多应用场景中。与此同时，人们对各类电子设备的控制趋于智能化和集中化，鉴于此，如何将机器学习技术与嵌入式控制系统相结合，构建出一种更为智能、高效、便捷的智能化系统，逐渐引起了研究者的重视[1]。目前各种电器的控制方式多种多样，所以能兼容多种设备的智能控制系统逐渐成为业内研究的热点。另一方面，现阶段的机器学习需借助强大的算力对大规模的数据进行分析和学习，对于软硬件资源受限的嵌入式开发而言，如何将训练好的智能化模型进行裁剪并适配到类型各异的智能化设备上是现阶段面临的一个重大挑战。在此类研究中，国内外学者越来越重视对原有嵌入式平台进行智能化改造从而赋予传统设备更多的智能，并提出了各种创新性的方案和思路。目前相关研究的重点涵盖了下面几个要点：首先是系统设计层面，即如何设计嵌入式智能控制系统的硬件和软件，如何保证系统的稳定性和可靠性[2]；其次是智能控制算法，即如何设计适用于嵌入式领域的轻量级智能控制算法，如何利用数据分析和人工智能等技术实现智能化控制；最后是智能控制系统的应用，即如何将嵌入式智能控制系统部署在实际场景中，如何提高系统的易用性和用户体验[3]。
国内外机构围绕上述三个方面进行了大量研究。苹果公司在2014年的全球开发者大会上发布了支持多种设备类型的HomeKit框架，它可以通过iPhone、iPad甚至Siri语音操作来控制该框架下所接入的设备[4]。华南理工大学的学者设计并实现了一套可靠的智能家居控制系统，具有安全稳定和易于操作的特点。清华大学的研究人员利用嵌入式训练系统和开源硬件平台进行智能家居控制的研究，通过机器学习算法和物联网技术实现了智能监测家庭能量消耗情况、监控空气质量等功能[5]。
此外，目前嵌入式机器学习的研究主要采用基于神经网络的机器学习框架，并在该领域取得了一定进展。在语音控制方面，大语言模型的发展使得自然语言处理的性能更加出色，其识别准确率和有效性已经越来越接近甚至超越人类水平。但是由于机器学习算法对设备的算力要求较高，很难在单片机上进行训练或部署，因此当前智能控制系统更多是将模型部署在云端，使用网络进行传输。综上所述，如何将模型轻量化部署在软硬件受限的嵌入式平台上是当前研究的重点，具有广泛的应用前景，国内外学者们在这一领域的研究不断创新，定会不断推动该技术取得更好的发展[6-8]。
鉴于此，本文提出了一种基于在线机器学习平台的嵌入式智能控制系统，该系统使用MLP Topology Workbench和Edge Impulse在线训练平台，尝试将颜色、语音识别模型部署到Arduino开发板上，结合多个传感器和MQTT传输协议，实现远程控制电子设备，并提供语音控制和颜色识别等多种智能功能。通过传感器数据的采集和处理，该系统还能够实时监控室内的温湿度等信息。该智能控制系统可以提高生活和工作的便捷性，具有一定的研究价值。
1 系统设计方案
1.1 系统总体架构
系统总体架构分为如图1所示的软件和硬件两个部分，其中硬件部分为嵌入式平台所包含的颜色识别、语音控制、温湿度监控和远程遥控功能模块。软件部分包括在线颜色语音机器学习模型训练和MQTT通信模块等。语音识别功能需要能够快速准确地识别语音信号，并使用机器学习模型进行预测。然而由于嵌入式平台计算资源有限，无法使用传统深度学习的方法。因此，如何对服务器上训练好的模型进行裁剪并适配到智能化设备上是现阶段面临的一个重大挑战。考虑到Edge Impulse是一个针对物联网设备的开发平台，可帮助开发者在线创建工程、完成在线训练并将工程导出部署到终端设备上。因此，团队利用Edge Impulse在线训练出语音识别模型并将其部署到开发板中，从而通过继电器控制电路的通断，实现对设备的开关控制。
系统中的颜色识别功能使用TCS34725色彩识别传感器，同时结合MLP Topology Workbench训练颜色识别模型。MLP Topology Workbench是一款专业、强大的在线神经网络拓扑结构优化工具，支持多个机器学习框架，此处将借助该平台将优化后的模型导出嵌入式设备中做进一步的开发和部署。这种在线模型训练的方式可以有效解决本地模型训练资源不够和开发环境算力偏低的问题。
1.2 嵌入式开发板选型
当前市场上的开发板种类繁多，功能各有不同。ESP8266是一款带有微控制器的低成本Wi-Fi单芯片，其具有低功耗、设计紧凑和较高稳定性等特点，本项目使用的开发板型号为ESP-12ENodeMCU。该型号的开发板自带17个GPIO引脚，4个GND口，三个3.3 V的VCC接口和一个ADC模数转换口。这些常见接口可满足对各类传感器信息的采集和传输需求。但ESP控制芯片的板载资源有限，无法在其上部署高性能推理模型，需要使用更强大的Arduino Nano 33 Ble Sense开发板完成复杂数据处理任务。它采用了ARM Cortex-M4F处理器和蓝牙低功耗通信技术，适合用于物联网、机器学习和人工智能等领域的开发。此外，它还拥有加速度计、麦克风、陀螺仪、磁力计、颜色传感器和温湿度计等多种传感器，能够实时采集环境数据。
1.3 关键技术简介
1.3.1 MQTT通信协议
消息队列遥测传输（Message Queuing Telemetry Transport， MQTT）是一种用于物联网领域的通信协议，为受限设备和网络状况下的通信提供了一种高效的方式[9]。MQTT协议包括MQTT客户端、MQTT代理发布和订阅机制三个核心角色。其中，MQTT客户端连接到MQTT代理，并通过MQTT代理进行发布或订阅消息。该代理担任存储和路由消息的角色，并将消息传递给订阅它们的客户端[10-12]。如图2所示，当客户端订阅该主题时，即可获取该主题内的消息，本团队借助该协议完成各类信息的采集与发布。
1.3.2 神经网络
神经网络是一种模拟人类神经系统运作方式的计算模型，由大量人工神经元以及其连接状态所组成。神经网络一般分为输入层、隐藏层和输出层三个层次，每个神经元会收集上一层或者外部的信号，并将这些信号加权、求和后输出给下一层或者最终输出。所使用的前馈神经网络常用于分类、回归等任务中，它通常包含许多个隐藏层和一个输出层，信息只从输入层流向输出层[13]。本系统借助所设计的轻量级神经网络对传感器模块所采集的颜色数据和语音数据进行训练学习，从而完成系统对颜色和语音识别的功能。
2 系统设计与实现
2.1 硬件系统设计与实现
2.1.1 颜色识别模块
颜色识别组件由TCS35725颜色传感器模块和Arduino开发板组成。借助颜色采集和识别功能，可实现对用户不同颜色卡片的感应识别，以达到快速切换智能情景模式的效果。在开发过程中，将Arduino开发板、TCS35725颜色传感器连接好后就能收集各类颜色信息，再将此类信息上传到MLP Topology Workbench中训练好模型并部署到Arduino中即可实现颜色识别功能。
2.1.2 语音控制模块
语音控制组件由Arduino开发板上的语音采集设备和继电器等设备组成。由于语音信息具备更复杂的结构特征，所以要使用能兼容更复杂模型的Edge Impulse平台来完成在线语音识别模型的训练，并将训练好的模型导出到Arduino开发板上，以实现语音控制家电的功能。系统设计过程中使用了一些开发技巧，例如借助Mbed OS编程可同时执行多个线程和实现多任务处理；电路板在调用延时函数过程中会进入睡眠模式以节省功耗，并在延迟结束后自动回到运行状态，以大幅度降低系统功耗。
2.1.3 温湿度监控模块
温湿度监控模块利用多个传感器实现对实验场景下的温湿度、大气压和光线亮度等环境数据进行收集分析，并实时传输到客户端进行显示。所采用的传感器为HTS221-ST温湿度传感器、LPS22HB-ST大气压传感器和APDS9960光线传感器。在获取到各传感器的数据后，通过MQTT协议将数据发送到客户端。
2.1.4 远程遥控模块
远程遥控组件主要以红外发射接收传感器和ESP8266开发板组成。以遥控空调为例，智能系统的红外发射传感器在向空调发出控制信号之前，需对空调遥控器各按键的信号指令进行解码[14]。实现步骤为：首先把红外接收传感器连接到ESP8266开发板上，再把采集红外信号的专用工程代码烧录到开发板上，在按下遥控器按键后即可获取到按键的红外编码内容，然后将各按键解码的记录结果烧录进ESP8266开发板。当在客户端按下模拟控制键时，控制器驱动红外发射传感器发射出模拟信号，从而实现远程遥控功能。
2.2 软件系统设计与实现
2.2.1 颜色识别模型训练
在构建好智能系统的硬件框架后，考虑到颜色识别模块采集到的特征数量规模较小，使用MLP多层感知机结构就能挖掘出其中的关键信息了。鉴于此，设计出如图3所示的包括输入层、隐藏层和输出层的MLP神经网络[15]。该模型训练过程如图4所示，在输入准备好的训练数据集后点开始训练按钮，系统在均方误差MSE降到足够低时结束训练并得到模型参数，将这类参数加载到开发板上即可达到颜色识别的效果。
2.2.2 语音控制模型训练
语音控制模块需采集各类语音指令和噪音的样本，以便将其用于分辨语音指令和无关噪音[16]。在线采集样本时，首先在Edge Impulse里新建一个包含“开灯”
“关灯”和“噪音”三类数据集的项目，再将笔记本或嵌入式设备连接至该项目，录制对应的音频并加载到项目中，语音样本录制过程如图5所示；最后，重复以上步骤，直到完成三个标签的所有数据集的采集。
在完成语音信息采集后，紧接着按照如图6所示方式，在页面上选择一个训练模型对录制好的语音样本集合进行训练，经过多次迭代后，得到训练好的语音模型。
在训练结束后，借助在线开发平台所提供的模型导出功能，把在线模型导出后接入本地Arduino IDE库，然后将发光二极管连接到Arduino开发板上模拟电灯，在对开发板发出“开灯”或“关灯”的语音指令时，即可点亮或熄灭发光二极管。此时的语音控制操作不需要控制设备联网，是以离线方式运行。在实际使用过程中可通过继电器控制物理电路的通断。
3 实验结果分析
本系统的整体硬件连接效果如图7所示，图中从上到下依次为Arduino开发板、颜色识别传感器、红外发射传感器和ESP8266开发板。其中Arduino开发板用于颜色和语音识别，ESP8266开发板用于温湿度等信息的采集以及信息的发布和共享。在构建好系统后进行了多轮的语音和颜色识别实验。
3.1 语音识别模型实验
为研究Edge Impulse学习平台上，为了找出不同训练集和测试集的比例对训练结果所产生的影响，进行了多轮语音识别模型实验。实验过程中每条语音的采集时长为2秒，开灯、关灯和噪音的三类数据分别采集了50条、50条和40条，总时长为2分48秒。实验过程中将学习率设置为0.005，迭代次数设置为300轮，所得到的训练集和测试集比例与结果的对比情况如表1所示。
由结果可知，将训练集和测试集比例控制在90% / 10%到80% / 20%之间可以得到最好的训练结果。后续实验将比例固定为准确率最高的85% / 15%，通过修改训练轮数后得到如表2所示结果。对多轮实验结果的分析表明，过多或过少的训练轮数对准确率都会产生较大的影响，现有数据集在300轮左右会得到最佳结果。
3.2 颜色识别模型实验
为了研究不同的网络结构对颜色识别模型准确率的影响，本文在MLP Topology Workbench中调整了隐藏层的结点数进行了多次训练，实验过程中将迭代次数设置为900，学习率设置为0.1，得到的训练结果如表3所示。通过对实验结果的分析表明，在输入输出层为4时，隐藏层1和隐藏层2结点数分别为4和3时，经过900轮的训练后MSE得到了最佳的结果。
4 结 论
本文设计开发了一种基于在线机器学习平台的嵌入式智能控制系统，本系统利用机器学习、嵌入式开发和MQTT通信协议等相关技术实现了对电子设备的远程控制、语音唤醒等功能。借助颜色识别模块，系统还可根据用户以往的控制习惯，自主地切换系统应用场景。测试结果表明，该系统可实时查看系统上报的各类环境信息，并能实时智能控制多种电子设备，能满足用户的个性化需求。综上所述，本文提出的研究方案在与物联网和机器人应用场景结合后，对实现智能方便的设备控制具有一定的参考价值，对未来智能控制系统的发展有一定的借鉴意义。
本系统可改进的地方在于现阶段系统远程控制的设备局限于红外设备，未来可考虑拓展支持更多的协议类型；此外，由于嵌入式设备计算能力的限制，系统目前选用的是相对简单的神经网络模型，后续使用算力更强的嵌入式设备后，可考虑使用更复杂的神经网络模型，以进一步提升系统的识别准确率和智能化程度。
参考文献：
[1] 夏璐.智能家居集成系统及其能源管理策略研究 [D].成都：西南交通大学，2017.
[2] 袁铭.物联网专业智能家居实训室建设与实践 [J].现代信息科技，2021，5（7）：174-177.
[3] 姜宇航.基于物联网的智能家居控制系统设计 [D].长春：吉林大学，2014.
[4] VONGCHUMYEN C，TORTHITITHUM S，KHAMSOPA J，et al. Home Appliances-Controlled Platform with HomeKit Application [C]//2019 5th International conference on Engineering， Applied Sciences and Technology（ICEAST）.Luang Prabang：IEEE，2019：1-4.
[5] 沈方宇.面向智能家居的流量混淆技术研究与实现 [D].广州：广州大学，2023.
[6] 陈俊龙，魏小镇，黄堪杰，等.基于本地化ARM主控的智能家居联动集成系统设计 [J].电子制作，2023，31（9）：12-16+11.
[7] 闫志峰.面向小型嵌入式设备的基于深度学习的交通标志检测方法研究 [D].北京：中国科学院大学（中国科学院人工智能学院），2020.
[8] 陈顺祥.使用英飞凌ModusToolbox（TM）机器学习为IoT设备解锁AI [J].电子产品世界，2021，28（9）：10.
[9] 褚治广，陈昊，张兴.基于微信小程序的智能家居系统 [J].辽宁工业大学学报：自然科学版，2020，40（6）：362-366.
[10] 向江南.基于MQTT的服务质量保障及安全防御策略研究 [D].成都：电子科技大学，2019.
[11] 葛天雄.基于MQTT的通用物联网安全系统框架 [D].杭州：浙江大学，2021.
[12] 陈文艺，高婧，杨辉.基于MQTT协议的物联网通信系统设计与实现 [J].西安邮电大学学报，2020，25（3）：26-32.
[13] 黄振川.机器学习在播出智能报警系统的应用 [J].现代电视技术，2022（4）：108-113.
[14] 谢礼德.庭院式住宅智能化系统的设计 [D].厦门：厦门大学，2020.
[15] 赵宇航，胡伟.基于机器视觉的LTE模块编带系统 [J].机电工程技术，2022，51（1）：130-134.
[16] 马兰兰.智能照明声控信号的声纹与语义识别算法研究 [D].合肥：合肥工业大学，2019.
作者简介：刘科（1979—），男，汉族，湖北荆州人，教师，博士，研究方向：智能机器人；通讯作者：黄晓曼（2001—），女，壮族，广西河池人，本科，研究方向：模式识别与智能控制；康怡琳（1982—），女，汉族，湖北武汉人，教师，博士，研究方向：认知科学；汪红（1968—），女，土家族，湖北恩施人，教师，硕士，研究方向：计算机组成与系统结构；昂寅（1999—），男，汉族，安徽巢湖人，硕士，研究方向：机器视觉及自动驾驶。
