基于视觉伺服的小型四旋翼无人机自主飞行控制研究进展
2017-6-16 来源：装甲兵工程学院控制工程系 作者：吕强，马建业，王国胜，林辉灿，梁冰
摘要：在GPS信号较弱甚至失效的环境下，视觉伺服能够通过视觉信息控制自主飞行，因此近年来视觉伺服在自主飞行控制领域受到广泛关注。根据获取的图像信息不同，可将视觉伺服分为基于位置的视觉伺服和基于图像的视觉伺服。与基于图像的视觉伺服相比，基于位置的视觉伺服位姿估计稳定，可直观地在直角坐标空间定义机器人运动，符合机器人工作方式，且控制器设计简单，但控制精度受摄像机和机器人标定精度的影响，且计算量较大。对于小型四旋翼无人机自主飞行控制的应用研究中，视觉伺服的实时性、精确性和鲁棒性尚待提高，且小型四旋翼无人机的智能化不高，在室内室外模式转换及室内协同控制方面还有广阔的发展空间。
关键词 视觉伺服；自主飞行控制；小型四旋翼无人机
无人机正快速成为一种无处不在的现代工具，它在搜索、救援、监视、航拍、远程遥感等领域已得到广泛应用[1-5]，更被应用于电线检修[6]和农业感知[7]等特殊领域。与有人驾驶的飞行器和固定翼无人机相比，小型四旋翼无人机由于体型小、可垂直起降、机动灵敏等特点，使针对狭窄空间的搜索成为可能，并且在室内进行飞行测试更加方便；此外其以电池替代燃料驱动，即使发生碰撞也不会对人类造成严重威胁，安全性得到大幅提升。近年来，小型四旋翼无人机因体型小、造价低、易操作、易维护和适用于严峻环境等特点，已逐步成为无人机研究的热点。目前，室外自主飞行器普遍采用 GPS 系统实现定位，然而 GPS 信号强弱问题大大影响定位精度，尤其是在室内、森林、洞穴以及建筑物繁多的城市等GPS较弱甚至失效的环境中，需要一个可靠的方法来控制飞行器自主飞行[8]，因此视觉伺服受到了研究人员的青睐。在机载处理信息的情况下，视觉伺服可以被应用到独立且GPS失效的环境中，视觉伺服通过摄像头获取视觉信息控制飞行器运动，摄像头不仅具有轻便、低损耗等特性，而且能够提供位置及速度信息的高分辨率数据；另外，GPS的精确度只能达到米级，而视觉算法在室内小环境下能将目标定位上升到厘米级精度[9-10]，这也使得旋翼型无人机能够执行更精准的任务。视觉伺服已经被广泛应用到了避障、测距、悬停以及同时定位与地图构建（SLAM）等任务中[11-15]。
1.视觉伺服
视觉伺服指的是利用计算机视觉信息控制机器人的运动，依赖于图像处理、计算机视觉和控制理论等技术。所有基于视觉伺服的方案，目的都是减小误差e(t)[16]。误差e(t)可表示为
上述为大多数视觉伺服的基本概念[16]。对于视觉伺服的分类，可以理解为不同的视觉伺服方法从图像中获取的信息不同[16]。事实上，在PBVS中，视觉传感器被认为是三维传感器，因为其利用视觉算法构建三维空间，获取深度信息，进而实现位置估计。但是控制定律是在笛卡儿空间中定义的，这使得摄像头在笛卡儿空间能够跟踪最优轨迹，而在图像空间则不能跟踪最优轨迹，所以当仅有一张图像时，即使在图像测量中很小的错误都会导致位姿出现误差，这严重地影响了系统的准确性。在多旋翼飞行器应用中PBVS的基本结构如图1所示。
另一方面，在IBVS中，视觉传感器被认为是二维传感器，因为其直接从图像空间中提取特征，当采用单目摄像头时，这显得更加逼真，而且使得IBVS对于校准和图像噪音引起的误差表现出显著的鲁棒性。然而IBVS并不是没有缺点，当移位过大，摄像头会达到局部最小值或跳过交互矩阵的奇点，从而不可预知摄像头的运动。在多旋翼飞行器应用中 IBVS的基本结构如图2所示。
2.视觉伺服在自主飞行控制中的应用
视觉伺服在小型四旋翼无人机自主飞行控制方面得到了广泛研究，主要是 PBVS 和 IBVS，虽然取得了一定成果，但是两种视觉伺服方案都存在各自的缺点，还有很大的研究和发展空间。下面从PBVS和IBVS两方面阐述近5年来视觉伺服在小型四旋翼自主飞行控制方面的主要研究进展。 PBVS和IBVS的主要优缺点如表1所示。
表1 PBVS及IBVS的特点
2.1 基于位置的视觉伺服
2011年，Li等[17]设计了一种多机器人地空系统，采用Asc Tec四旋翼机载处理视觉信息，通过单目摄像头、惯性测量单元（IMU）、飞行计算机等机载资源和多传感器融合（MSF）、光流、红外标记等方法，获得了精准的位姿估计和运动估计。为了实现四旋翼在地面机器人上平稳起飞、稳定跟踪和安全降落，设计了相应的滑模控制器；还设计了数据同步和时间延迟补偿，以提高系统性能。利用标记物辅助四旋翼进行位置估计的研究很多，Carrillo 等[18]采用标记物方法进行位置估计，提出一种基于视觉的位置控制方法，提高了四旋翼无人机飞行的自主性。计算机视觉方法主要包括降落标记点检测算法与跟踪算法，通过已校准的机载单目摄像头估计四旋翼相对于降落板的位置和线性速度，其中线性速度是通过光流法估计的。为了体现视觉算法的性能，采用基于 PD 控制器的简易控制策略控制高度和偏航角，采用基本的全状态反馈控制器控制俯仰和横滚角。除此之外，Romero等[19]也采用特殊标记物辅助计算机视觉来解决四旋翼的稳定性和局部定位问题。将 IMU 获得的姿态数据和单个摄像头组成的视觉系统获得的视觉数据进行融合，用来估计四旋翼的方向和位置。视觉系统估计四旋翼的位置、偏航角和平移速度的同时，IMU以更高的速率控制俯仰和横滚角。其中用于位置估计的技术结合了用于相机标定的齐次变换法和用于位置估计的平面位姿法，而且基于光流法的导航系统被用来估计四旋翼的平移速度。
虽然利用标记物容易实现位置估计，但其具有局限性，例如LED红外标记容易受到光线影响，在强光照环境下基本不能应用；标记物只能借助地面机器人才能移动，而且在不平坦路面影响巨大；标记物易与周围环境混淆且易被外界环境损坏等。
视觉里程计[20-21]和视觉SLAM[22-23]在未知环境中进行定位及位姿估计，尽管与控制没有直接关系，但也是基于视觉信表1 PBVS及IBVS的特点Table 1 Advantages and disadvantages of PBVS and IBVS特点优点缺点PBVS可以直观地在直角坐标空间定义目标的运动，符合现有机器人的工作方式控制精度很大程度上依赖于位姿估计精度，而位姿估计精度依赖于摄像机和机器人的标定精度等；此外计算量较大IBVS无需三维空间定位、对摄像机和机器人标定不敏感；计算量较小伺服控制器复杂且缺乏适应性；需要额外的传感器获取深度信息；移位过大会导致不可预知摄像头运动图1 PBVS的基本结构Fig. 1 Basic structureof PBVS图2 IBVS的基本结构Fig. 2 Basic structure of IBVS69息的，并将获取的位姿估计作为控制器的输入来控制其输出，以控制并稳定四旋翼飞行，所以归类于PBVS。Blosh 等[24]第一个提出将视觉 SLAM 用于四旋翼，然而只是通过 USB 线传输图像实现地面站数据处理。这一工作基于 Asc Tec 公司的 Hummingbird 四旋翼平台进行研究，通过视觉SLAM算法跟踪摄像头位姿，同时构建周围环境地图，以位姿估计为基础，设计了 LQG/LTR 控制器来稳定四旋翼，使四旋翼能够实现起降、悬停和设置点跟踪。实验数据表明，四旋翼悬停时位置均方值误差在5 cm以内，而且可以按照紧凑的设置点飞行。随后 Achtelik 等[25]对其进行改进，通过采用同样来自 Asc Tec 公司的机载计算机实现了机载数据处理。为解决视觉相对于四旋翼高灵敏性更新频率低的问题，将视觉数据与IMU数据进行融合，同时添加压力传感器来估计视觉位姿测量的绝对尺度。这个系统第一个将机器人操作系统（ROS）[26]准则用于机器人控制，并且第一个将通用计算机用于机载计算机视觉。
Park等[27]提出一种用于小型四旋翼无人机的基于视觉的SLAM 系统。采用基于 Kanade-Lucas-Tomasi 的定位与跟踪方法进行实时定位，同时采用地面站处理方法进行基于特征转换尺度不变的地图构建和更精确的定位。他们也提出一种基于单目视觉的三维地图构建方法，这个方法首先从图像中提取直线信息并且在三维空间进行方程式计算，然后通过线信息构建平面信息。
Faessier等[28]设计了一种基于视觉的四旋翼无人机，不仅可以按指定路径自主飞行，而且能够获取实况的稠密的三维地图。他们运用半直接视觉里程计（SVO）算法估计飞行器运动，同时对探索到的环境进行地图扩展。为增强四旋翼的稳定性并提高地图精度，采用MSF算法将通过SVO算法获得的视觉信息与从飞控板 Pixhawk 获得的 IMU 信息融合，然后通过级联控制器控制四旋翼稳定飞行，级联控制器包括运行在Odroid上的高级控制器（位置控制器和姿态控制器）和运行在飞控板Pixhawk上的低级控制器（速度控制器）。
Huang 等[29]设计了一种基于单目视觉的自主导航系统，应用于 Parrot AR.Drone 飞行器。该系统将通过无线摄像头获取的视频流传输给地面站计算机，在地面站上运行视觉SLAM算法处理数据进行位姿估计。为解决收到的视频中运动模糊和帧丢失问题，改进了视觉 SLAM 算法中的特征跟踪方法和重新定位模块，增强了鲁棒性。同时为获得更精准的三维位置与速度，融合了视觉 SLAM 和机载传感器获取的数据，并且设计了一种扩展卡尔曼滤波器用于传感器数据融合，矫正了局部漂移误差并且解决了比例模糊问题。
目前 PBVS 方法得到了广泛的研究，尤其是视觉 SLAM，近几年提出了很多 SLAM 算法，主要包括 RGBD-SLAM[30]、LSD-SLAM[31]和 ORB-SLAM[32]等。虽然视觉 SLAM 算法发展迅速，但现阶段仅依靠视觉数据不足以稳定控制四旋翼，还需要融合其他传感器数据，主要是由于视觉 SLAM 在特征不明显的环境中鲁棒性不强，且运算量大，对所需处理器性能要求高，而目前机载处理器的性能一般，运动过快会导致检测不到特征点，从而丢失位置。
2.2 基于图像的视觉伺服
Bills等[33]采用Parrot AR.Drone四旋翼飞行器自带的朝前和朝下的摄像头在未知的走廊、楼梯和周围角落环境下实现视觉导航。采用分类算法选择环境类型，然后通过视觉算法估计飞行方向。通过实验证明了这种视觉算法的稳定性，但是所有的处理都是在地面站完成的，图像和控制命令通过Wi Fi 传输，而且四周距离和高度通过声纳探测得到，所以该视觉算法的作用只是对环境的选择和对飞行方向的判定。
IBVS在无人机垂直起降问题上得到了广泛研究。Henry等[34]提出一种基于视觉伺服和速率陀螺仪测量的稳定反馈定律，用于无人飞行器的垂直起降飞行控制。通过视觉对平面目标进行测量，给定目标与飞行器参考位姿的距离，只需此距离高于下限，不需要目标任何几何信息，稳定反馈定律就能成立，并且可以应用到未知环境中无人飞行器的控制。此外其采用增益调谐策略，使得在大范围操作下表现良好。针对垂直起降这一问题，Lee等[35]提出一种基于视觉控制的无人机垂直起降算法，采用IBVS在二维图像空间跟踪平台，并且生成速度指令，作为自适应滑膜控制器的输入。与其他基于视觉的算法相比，重构一个完整的三维表示的目标需要精准的深度估计，而IBVS由于对深度估计不敏感，允许通过快速的方法来获得深度估计，为提高滑膜控制器的跟踪速度，要对地面效应做自适应补偿，最终通过IBVS算法与自适应滑膜控制器的集成实现跟踪和降落。但是该方法不是机载处理数据，而是通过无线与地面站计算机连接传输数据和发送命令，因此延迟问题突出。Podhradsky[36]在硬件上设计了一种新颖的自动驾驶仪，应用于 IBVS，并且在降落方案中运用了光流算法，由于光流算法直接从二维图像中提取信息，因此属于IBVS。通过实验发现光流算法在高度小于1 m时，计算准确，能够定位到延伸焦点；但当高度大于1 m时，光流算法就变得模糊不清并且出现错误，主要原因是高度增加很难追踪到像素的运动。由于分数阶增强在边缘检测算法中的应用能够提高目标检测的精度，因此下一步研究中可以把分数阶微积分用到光流中，以降低光流计算的误差。不同于固定位置降落，Lippiello 等[37]对于垂直起降无人机在驱动降落平台上的协同降落问题，提出一种IBVS控制方法。协同降落采用无人机的机载摄像头和IMU数据，以及采用移动机械手的里程计数据，并且将系统任务层呈现的冗余、移动机械手固有的冗余和无人机的欠驱动都明确地编址到所提出的控制方法中。当无人机离降落平台较远时，会出现大幅度运动，这时机械臂的灵活性就得到了应用，以确保实现安全且精确的衔接。通过模拟大量实验案例，证明了该方法的有效性，但是该方法还只是停留在仿真阶段，运用到实际中可能由于环境等影响会出现新的问题。
在跟踪问题上，IBVS也有涉猎。Singh等[38]提出一种图像检测与跟踪算法。这种算法致力于采用机载摄像头从实时流视频中检测移动或静止的物体，采用基于Viola-jones 算法和斑点分析的IBVS，其中IBVS 用来定位，Viola-jones 算法及均值漂移跟踪用来检测物体。这项研究主要是为了探究视觉伺服技术在无人机应用中的潜力。在实际应用上，Sa等[39]采用IBVS 和部分自主技术设计了一种基于垂直起降平台的相对杆状物导航系统。该研究的目的是对垂直建筑物进行空中检测（例如电线杆），相对杆状物导航提高了系统的自主性并且为部分自主提供了便利，只需设置高度及偏航速率，系统可自调整四旋翼与杆状建筑物的距离、距地高度和摄像头的姿态。IBVS 仅被用来跟踪两条垂直线（杆状建筑物边缘），以稳定四旋翼相对杆状建筑物的姿态。通过基于精准地面真实数据的室内外测试评估，证明此系统能够使四旋翼相对杆状建筑物悬停并环绕航行，误差在20 cm内，使用者可以轻易执行此任务。同样在跟踪线性结构方面，Araar等[40]为了达到对线性结构基础设施的视觉跟踪目的，提出并比较了两种基于霍夫参数的控制方案，第一种方案是 PPBVS（基于部分位姿的视觉伺服）方案，与 PBVS 有相同的优点，且不需要完整的 3D 位姿估计；第二种方案是基于最优线性二次控制（LQR）算法的IBVS方案。通过仿真对两种方案进行比较，结果表明PPBVS方案在快速性方面表现更加优秀，这主要是由于Hough参数与三维姿态之间存在线性假设关系，而在IBVS 方案中，尤其在过渡阶段没有这一关系。此外，PPBVS 控制器设计也比IBVS简单，因为它只需要利用在笛卡儿三维空间下设计的位置控制器。不仅如此，而且PPBVS方案中高度和横向位置控制器的设计独立于彼此，这使得其相对于IBVS方案更容易调谐。与 PBVS 算法相比，
IBVS 算法计算简单且高度估计不易受影响，但需要采用距离传感器，控制器设计难度也较大。随着算法的不断改进和处理器计算性能的不断提高，PBVS算法相对于IBVS 算法在位姿估计和控制器设计方面表现出了优势，受到研究人员的青睐。
3.发展趋势
随着电子科学技术和计算机视觉技术的快速发展，电子元器件、处理器不断小型化、高性能化，视觉算法研究不断取得突破，视觉伺服在小型多旋翼无人机自主飞行控制中的研究已成为一个前沿高端的热门领域，虽然目前已取得一些进展，但是对于小型多旋翼无人机自主飞行控制的应用还远远不够，只是简单实现了特征明显环境下的自主起降、悬停和按设置点飞行，未来的发展必将围绕着增强视觉算法的实时性、精确性和鲁棒性展开，并且实现自主飞行的智能化，例如室内室外模式选择、室内协同控制等。
1）视觉算法的鲁棒性。目前视觉算法只能够在特征较为明显的环境下实现实时定位，满足自主飞行。若摄像头运动过快且特征不是特别明显，则会发生特征点跟踪失败从而丢失位置的现象。虽然 MSF 方法增强了自主飞行控制的鲁棒性，但是没有从根本上解决问题，所以只有从根本上增强视觉算法的鲁棒性，才能够实现在任何环境下的自主飞行。
2）室内室外模式转换。目前对于无人机自主飞行控制的研究不是完全针对室内环境的就是完全针对室外环境下的，而从室外自主飞行转换到室内自主飞行的研究鲜少。室外可采用 GPS 定位，室内采用视觉定位，当 GPS 信号低于一定值时转换为视觉定位，高于一定值时再转换为 GPS 定位，此方向的研究有利于对一些室内等 GPS 信号失效的环境进行远程探索、侦察和搜救等。
3）室内协同控制。目前对于地面机器人协同控制和基于外部视觉系统的多无人机协同控制研究较多，而基于机载视觉的多无人机室内协同控制研究鲜少。基于机载视觉的多无人机室内协同控制不需要采用外部辅助系统，不仅节省资源，而且可以在未知环境下应用，相对于地面机器人，无人机具有更强的机动性和灵活性，且有更好的视角。多无人机室内协同控制可同时控制多架无人机对复杂环境进行分块搜索、侦察和构图等，这一功能不仅大大提高任务效率，而且增强其可靠性。
4.结论
在小型多旋翼无人机自主飞行控制中，视觉伺服已成为一个前沿高端的热门研究领域，在未来的各个领域中，无论是军事领域还是民用领域，视觉伺服必将发挥重要作用，推动各个领域的发展。虽然现在对视觉伺服在小型多旋翼无人机自主飞行控制中的研究还不够成熟，依然存在机载处理数据运算能力有限、视觉算法不够成熟以及应用环境有限等问题，但是已经有越来越多的研究者投入到了这个领域，这些问题将会迎刃而解，使视觉伺服应用到小型多旋翼无人机自主飞行控制中的各个领域。
投稿箱：
如果您有机床行业、企业相关新闻稿件发表，或进行资讯合作，欢迎联系本网编辑部， 邮箱：skjcsc@vip.sina.com
如果您有机床行业、企业相关新闻稿件发表，或进行资讯合作，欢迎联系本网编辑部， 邮箱：skjcsc@vip.sina.com
更多相关信息
