基于YOLOv3的动态交通信息传递无人机设计

张学峰，郁洋，任彬

（石家庄铁道大学 机械工程学院，河北 石家庄 050043）

如今，无人机在人们生活中扮演着越来越重要的角色，广泛应用于农业种植、航拍摄影、电力巡航等领域以及一些距离较远、人类难以接近或较为危险的场所。

在高速公路上，两个摄像头之间的距离较远，固定摄像头的视野盲区较多，难以监控整条路段的车流情况。当有车祸发生在摄像头的视野盲区内时，相关人员难以第一时间得知现场情况。这时就需要一种能随时改变观测角度，将现场信息实时传输给交通指挥人员，指挥人员能够籍此调节现场的装置，无人机显然是不二之选。

王永杰采用无人机倾斜测量技术进行海外公路探测；石秀使用无人机探测高速公路违章情况；宋宇、陶柳使用无人机在山区公路选线测量；樊宝安、曾荻清分别使用无人机制作了高速公路违章检测平台并设计了相应的通信方案。本文设计的高速公路检测、指挥无人机控制系统分为飞行控制系统、图像传输系统和地面站三个部分。飞行控制系统采用开源架构Pixhawk 4，保证无人机可以稳定飞行；图像传输系统使用5.8 G 图传将所收集的图像信息传回地面站；地面站程序采用Qt 编写，负责处理传回的图像信息，监测无人机运行参数，并预测接下来会出现的车流量。地面站可以在普通电脑上运行，有比嵌入式设备更高的算力，也更容易使用。

本文设计的无人机硬件采用pixhawk 4 作为主控，pixhawk 4 是一个基于ARM 芯片的开源飞控系统，如图1所示。

图1 Pixhawk 4 飞控板

飞控系统主要由微控制器、传感器、储存模块和外部接口组成。微控制器使用STM32F427，使用雷迅UBLOX M8NGPS 模块和Bosch BMM 150 MEMS 磁力计更新无人机的实时位置，使用空速计来避免无人机失去控制，保证在有风的情况下可以保持无人机机体稳定运行，使用PX4 Flow获得更加精确的定位。

接收机使用牛牛航模5.8G 图传手机接收机，发射机使用熊猫发射机5.8G，图传摄像头使用弹弓摄像头，确保可以摄像头的方式传回实时图像，经过测试，图像传回的延迟在1秒以内，1 秒的延迟对于本设计没有明显影响，如图2所示。

图2 图传发射机

很多无人机图像的处理过程都是在无人机部分完成的，即在无人机上装载嵌入式设备完成图像的及时处理，并将处理结果返回给工作人员。而本文采用将图像传回电脑端，在电脑端完成图像的处理。由于电脑CPU 计算能力比嵌入式设备计算能力强大，所以电脑端的处理速度会比嵌入式设备的处理速度快很多，在遇到无人机坠毁等小概率事件的情况下，损失也会更小。

地面站的程序使用QT 编写，分别提供了Linux、Windows 系统的版本，在各种系统上均可以使用。地面站可以接收无人机的飞行状态、摄像头采集的图像，计算无人机视野内车辆数量，标记当前公路的车辆密度。

本文在无人机飞行控制方面，主要采用人工操作和智能巡线两种方式。人工操作保证在拐角处做出适当的位置转变并且确保飞行方向无误；智能巡线是确保在无人机飞行较长距离没有交叉的高速公路部分可以自主地完成飞行。

无人机姿态保持的过程包括检测状态、姿态解算、PID输出。平稳的飞行是精确识别车祸和车流量的前提保障，相应人员需要随时读取无人机飞行数据，并通过处理位姿数据来调整无人机的飞行姿态。

我们通过MPU9250 传感器来实时获取无人机的位姿信息，MPU9250 是一种集加速度计、陀螺仪、磁力计为一体的传感器，如图3所示。

图3 MPU9250 九轴数字运动处理器

使用加速度、角加速度积分得到的位姿信息存在累计误差，使用加速度进行正交分解测得的数据存在高频误差，所以可以使用两种数据的融合来获得具体的位姿信息，再使用磁力计对结果进行修正，这样可得到较为准确的计算结果。本文使用四元数计算位姿，然后将四元数转化为欧拉角，求得无人机的位姿信息。

四元数是基{1，，，}的线性组合，可以表示为=[，，，]的向量形式。表示旋转的一般形式为：

为了计算方便，将旋转公式压缩为三维矩阵：

其中：

此外，还可以通过加速度计测量出实际重力加速度向量。两个向量方向差值为：

所以误差为：

使用PI 控制器

计算角速度补偿值，再由微控制器输出相应的PWM，稳定无人机姿态。

无人机在高速公路上稳定行驶时可以进行图像获取、图像处理以及返回位置数据。无人机沿公路以每秒45 张图像的拍摄速度进行航拍并通过图传将图像发送给电脑端，电脑对接收到的图像进行二值化处理，过滤掉车辆和可能的交叉路口，将识别到的高速公路的分界线作为检测值，并与拍摄窗口的目标值中线进行比较得到相对位置偏差，将处理后的偏差数据返回给无人机的飞控系统，对无人机的位置进行调节。

采用YOLOv3 目标识别方法进行目标检测及追踪。YOLO 将物体检测作为回归问题来求解，YOLOv3 基于一个单独的端到端网络，完成从原始图像的输入到物体位置和类别的输出。YOLO 的统一体系运行速度非常快，基于YOLO的模型可以实现以每秒45 帧的速度实时处理图像，此外，较小的网络FastYOLO 每秒可以处理大约155 帧图片。

将输入的图片输出为3 个不同尺寸的特征图，分别为13×13×255 的y1、26×26×255 的y2、52×52×255 的y3，因为每个box 有横坐标，纵坐标，长，宽，置信度confidence 五个基本参数，80 个类别的概率，RGB 三种颜色，所以深度为3×（5+80）=255。

如图4所示，DBL 层包括卷积、BN、Leaky relu三个部分。卷积是图像处理中的基本操作，BN 层可以加快网络的收敛速度，Leaky relu 函数作为激励函数。

图4中resn 包含res1、res2、res8 等，表示res_block内含有res_uint 的数量，其基本组件是DBL，为了增加网络深度，达到darknet-53 这样多的层数，采用残差结构resnet，残差网络增加了恒等映射，把当前的输出直接传给下一层网络，略过了本层运算，解决了深层网络中的梯度消失问题。

图4中的张量拼接concat 是将darknet 中间的某一层与之后的某一层进行上采样拼接，这样可以扩充张量的维度。

图4 YOLOv3 结构图

在本实例中，采用聚类的方式先在图像数据集上得到初始的边界框，在YOLOv3 中，选择=9，在对输入图像进行32、16 和8 倍采样获得的三个尺度上进行预测，得到如表1所示的长宽。

表1 通过k 聚类得到的初始边界框

再采用多个Logistic 分类器（一种二分类分类器）对目标进行分类。Logistic 分类器使用了Sigmoid 函数：

将特征数据训练成一个0/1 分类模型，其中介于上述9个长宽范围内，由图像可以得知，（）＞0 时可以认为其属于该类，（）＜0 时不属于该类，Sigmoid 函数如图5所示。

图5 Sigmoid 函数图像

通过多尺度预测可以识别分布在视野内大小不同的目标。使用之前的方法可以获得三个深度为255 的特征图，三个深度图的尺寸不同，为了连接两个不同尺度的特征图，用（2，2）的上采样来保证拼接的张量尺寸相同。使用不同尺度的特征图可以让图像在因具有不同距离导致图像尺寸突通时，预测结果不受影响。

使用摄像头可以测量出视野内的车辆数目，也可以检测出路面出现的事故，并可将路面情况迅速返回给地面站，帮助工作人员第一时间发现异常情况，如图6所示为无人机运行流程图。

图6 无人机运行流程图

在出现车祸时，不仅要立刻传回车祸现场信息，还应提供车祸发生道路的车流量信息，避免后续车辆因无法得知车祸信息未避开该路段而发生交通堵塞。因此，获取车祸路段到地面站之间的车流量信息就变得非常重要。可以使用GM（1，1）灰色预测模型来预测后续车辆的数量。

本文使用YOLOv3 检测一段时间内视野内的车辆数量，一段时间内的车辆数量为：

对应的累加生成数为：

对应的累加生成数列为：

令z为向量生成的向量，即

定义微分方程

其中x为灰导数，为发展系数，z为白化背景值，为灰作用量。=2，3，…，n 时，

引入矩阵记号

所以GM（1，1）表示为=，解得

所以预测值为：

之后一段时间的预测值为：

设无人机飞控系统在时刻的速度为υ，结合无人机飞行速度υ≈45 km/h，汽车在高速公路上的时速大约为无人机的2.5 倍，无人机相对于车流量向后运动，非常适合预测后面陆续到达的车辆数量，向交通部门实时传回车辆数量信息。通过对实际交通路况的实验测试，如图7所示，在车辆行驶速度很快的情况下，无人机依旧可以对车辆进行较为准确的识别。通过将一段时间内所记录的实际车流量数据与GM（1，1）预测算法求得的预测值作比较，然后利用MATLAB 对多次获取的数据进行处理，绘制出如图8所示的对比图。分析图像可知，实际路况车流量的真实值与预测值几乎是吻合的，表明无人机能够很好地完成交通情况的预测。

图7 无人机实时预测图

图8 MATLAB 绘制GM（1，1）真实值与预测值的对比图

本文针对高速公路距离长难以在公路上全程安装监测传感器的问题，设计一种利用无人机检测整个高速公路车流量以及路面异常状况的方法，并使用GM（1，1）灰色预测模型来预测后续车辆的数量，方便工作人员适时调整公路管理措施，可在一定程度上降低违章率。该系统性能稳定，具有较好的扩展性，可以高效率地完成任务，具有一定的使用价值。