基于双目相机和 IMU融合的无人机定位系统设计

基于双目相机和 IMU融合的无人机定位系统设计

李辉 蔡玮辰 孙阔腾 夏立杰

中国南方电网有限责任公司超高压输电公司柳州局 545026

摘要：融合多传感器的自主定位与导航技术是当前无人机领域研究的热点课题之一。相比于其他类型传感器，视觉传感器具有制造成本较低、采集视频信息量较大且图像直观等优点。在电力线路巡检过程中，经常由于相机快速转动造成图像模糊、障碍物遮挡、纯转动以及尺度不确定性一系列问题，导致的图像特征点缺失、精度和鲁棒性降低等问题;而IMU可以通过加速度计和陀螺仪直接测得载体的运动速度数据信息,为载体运动提供必要约束,与视觉传感器互补，可以有效解决运动载体在快速运动以及纯转动下存在的问题，为电力线路巡检的高清图像拍摄及目标定位提供可能性。

关键词：双目相继 IMU融合 无人机定位 系统设计

现行的无人机控制主要依靠专业的设备，由经过专业训练的人来完成。这给无人机的普及以及推广带来了不小的困难。无人机越来越多的应用场景给操控的便捷性带来了越来越高的要求，现有的依靠设备的方法在很多应用场合有着很大的局限性，限制着无人机应用的扩展。为此，本文研究了简化无人机人机交互的方法，该方法在拓展无人机应用方式上有着重要的应用意义。

一、研究背景及意义

无人机定位系统是多学科融合的综合性应用系统，无论是在国防安全、航天探索、工业生产、家庭服务、智能医疗服务等诸多领域都能体现其极大的应用前景和价值，对智能移动机器人技术不断深入地探索与研究,逐步推进了各个学科之间的交叉融合，极大程度地提高了生产力的快速发展。各类新技术，包括深度学习、自动驾驶、图像识别、人工智能等都在急速发展，世界各国也在积极响应，纷纷在制定各项政策大力发展无人机定位系统。通过估计无人机的空间相对位姿来实现自主定位和导航，主要有全球定位导航系统,惯导系统，以及激光雷达系统和视觉定位导航系统等，其中最为广泛的是GPS，现阶段发展相对较为成熟，这种绝对定位方式，累积误差较小，但容易受到天气因素或者障碍物的干扰,从而造成定位精度降低，在室内以及一些遮蔽性的环境中一般很难利用GPS进行移动机器人的定位导航研究。

图1 视觉与惯性融合流程图

激光雷达是一种适应性强、测量范围广的传感器，可以通过激光直接测量室内外环境信息，定位精度高，对环境敏感度较低，对于中高端激光雷达，其体积较大且价格昂贵。而单独使用惯性传感器来进行位姿估计,基于惯性传感器自身采集数据频率较高，带有累计误差，长时间采集计算容易导致整体位姿估计精度降低。近年基于视觉的移动机器人自主定位与导航技术研究逐渐成为热点。其视觉模块体积较小、能耗低、视觉信息量较大，能够实时地获得场景的二维和三维视觉信息。综上，目前各种传感器都可进行移动机器人位姿估计，但也都存在各自的一些约束。本文所研究的内容是融合惯性数据和视觉信息实现无人机的定位与导航惯性定位导航方式则可以很好的弥补视觉信息的不足。在快速运动中和环境纹理较弱的场景下获得较好的效果。惯性定位主要是利用惯性测量单元，它主要由两部分构成:陀螺仪和加速度计，通过实时测量载体的运动速度数据信息,进而可以采用积分的方式解算得出载体的位置姿态信息。IMU最主要的优点在于不依赖于其他种类的传感器，仅仅依靠自身所测量获得的信息来估计载体的姿态。视觉和惯性两种定位导航方式高度互补,融合两者能够增强系统的鲁棒性,极大提升定位导航系统的精度，具有极高的学术以及实用科研价值。总的来说，松耦合的实现较为简易，可扩展性较好，易于融合多种传感器数据，但是姿态估计精度不高;紧耦合复杂度较大，可扩展性相对松耦合较差，但其对移动机器人耦合位姿估计精度相对松耦合要高。

二、存在的问题

我国关于双目相机和IMU融合的无人机定位系统方面的有关技术研究起步较晚，发展还不成熟，许多关键性技术还有待解决，所以需要我们结合实际情况进行分析。

1.由于精密制造技术本身工艺上的一些不足，导致各类传感器自身在数据感知和传输中其精度性都有一些不足，单传感器不能满足智能平台定位精度要求。

2.针对一些高精度传感器，比如激光雷达，其定位精度相对较高，对环境敏感度较低，可以很好的满足高定位精度要求,但是由于其制造价格相当昂贵,研发成本较高，不适合搭载在一般的移动定位平台上，因此，在保证精度的前提下，尽可能选择少的传感器以控制机器人的成本。

3.基于视觉定位导航技术受光照以及自身运动速度的影响较大，在光照变化和运动速度过快的情况下，容易丢失视觉图像特征导致定位失败，且随着时间的累积定位误差在不断增大，另一方面，在一些纹理特征较不明显的环境中,视觉无法很好的提取图像特征，也会导致定位错误。

4.因环境差异性的问题，需要选用不同的传感器，而且各类传感器算法之间不具备通用性，融合算法稳定性更有待于提高。

图2 惯性导航解算图

三、基于双目相机和IMU融合的无人机定位系统设计

1. 直接法的双目匹配算法设计。经过研究测试得出结论，利用直接法进行运动估计的方案处理速度更快、效率更高，满足系统实时性的需求，该方法更适合应用于四旋翼无人机等机载控制器处理能力较差的平台上。近年来，随着SVO, LSD-SLAM、 DSO-SLAM这些基于直接法的SLAM系统的流程，直接法本身也得到越来越多的关注。用双目立体视觉进行位姿估计，但现有的整幅图像的直接法(direct-method)常见于RGB-D相机，稀疏直接法(semi- direct)方法常应用于单目视觉中。根据现有文献资料显示，直接法还没有应用在双目系统上。但是，对于现有的双目系统获取空间点3D位置信息常采用的还是特征法(feature-method)，根据提取出的特征点进行左右图像匹配，获取视差图以及深度信息，为提升整个系统的实时性，尽量避免使用特征点进行位姿估计。

图3 捷联惯性系统原理图

2. 回环检测。根据视觉SLAM的前端特征提取与匹配，粗略估计相机相对位姿，后端主要是对前端估计数据的进一步优化，获得精确的相对位姿。但是前端部分只考虑相邻帧之间的关系，没有考虑全局帧间关系，容易造成误差的累积从而导致整个视觉系统的稳定性降低。回环检测环节主要利用全局一致性原则，当视觉传感器经过与之前轨迹重合的位置时，能有效识别出来，及时为后端优化提供准确数据,得到更加精确的全局估计。回环检测给出了之前数据与此刻数据之间的关联，在跟踪导航算法出现丢失问题的时候，能够及时根据回环检测进行重新定位。可见，回环检测能够有效提高整个SLAN视觉定位导航系统的稳定性以及精度。

3. 惯性与视觉融合。按照系统数据信息耦合方式，惯性测量与视觉融合方式分为紧耦合和松耦合。正如第一章所介绍的，松耦合方式是将视觉部分与惯导部分分开来研究，分别计算两种方式下移动载体的位姿信息,再通过滤波等融合技术估计系统的位姿信息。紧耦合是将惯性测量单元与视觉测量得到的原始数据进行耦合计算,而得到载体精确位姿信息。相比于松耦合，紧耦合计算量更大，对系统实时性要求更高。相比于视觉相机的帧率，惯性测量单元帧率要更大，能够以高频率来测量载体的加速度与角速度信息,利用预积分的方法对惯性数据进行预处理，把选定的关键帧间的惯性测量都集成至单个载体相对运动约束中去,这样能有效解决传感器旋转群多重结构问题。惯性测量单元所带加速度计和陀螺仪测量具有初始偏差,通过对选定相邻帧间的IMU测量数据与积分获得相对旋转矩阵，最小化视觉旋转与陀螺仪预积分信息获得陀螺仪初始偏差。可以直接计算出关键帧的的速度，以此来区分重力和加速度的偏差，细化比例尺和重力方向。

4. 视觉惯性里程设计。以优化的方式对视觉信息与惯性数据进行融合,构建视觉惯性里程计，联合视觉与惯性测量估计误差，以代价函数形式给出，最小化两者误差以达到融合优化的目的。其中代价函数包括IMU测量观测误差和相机观测路标重投影误差。视觉SLAM中采用最小化观测重投影误差以优化相机位姿的方法，这种方式只含有一个误差项。视觉重投影误差与惯性IMU测量误差的融合位姿优化，以IMU数据作为视觉位姿估计的约束条件，将IMU测量偏差与相机位姿作为同时优化变量。通过非线性优化的方法来最小化代价函数求解相机姿态与观测路标信息，其中代价函数包括相机观测路标重投影误差和IMU测量误差。相比于线性优化，非线性优化通过不断迭代更新实时信息，避免了线性累积误差,但是也因此增大了非线性优化的计算量，为了提高系统计算实时性，同时为了降低优化VIO计算复杂度，采用边缘化优化形式对滑动窗口当中关键帧进行限制。在一个活动窗口中，当相邻下一帧为关键帧时，则其会停留在活动窗口中，而较老的帧会被边缘化处理，若相邻帧不是关键帧，则对其进行可视化测量,保持与之相连的IMU测量数据值。

四、总结

本文所采用的双目相机视觉融合IMU定位仍是相对定位方式，两者相互结合，从而产生新的无人机定位系统。在系统长时间运行的情况下依旧会产生累积误差，重力加速度观测误差主要是针对无人机俯仰角和横滚角，而对于航向角在长时间运行中容易增加累积误差。因此，可以从视觉图像处理方面考虑，利用关键帧技术，减少图像处理所需时间，增强系统实时性，进而减小航向角误差，提高系统精度。

参考文献：

[1] 徐伟杰.基于视觉的微小型无人直升机位姿估计与目标跟踪研究[D].浙江大学,2012.

[2] 淳于江民，张珩.无人机的发展现状与展望[]. 飞航导弹, 2005(2):23-27.[3]王加芳.GPS/Visua/INS多传感器融合导航算法的研究[D].浙江大学,2017.[4] 张志飞.小型无人直升机视觉定位于跟踪系统的设计与研究[D].浙江大学, 2013.

[5] 周超.微小型无人直升机地标跟踪研究[D].浙江大学, 2011.

[6] 谌婷.小型无人直升机跟踪地面移动目标控制策略研究[D].浙江大学,2013.

[7] 谷雨.空中机器人视觉导航与控制若干问题研究[D].浙江大学, 2009.

[8] 张栋.基于空中机器人平台的运动目标检测和视觉导航[D].浙江大学,2013.