光流法

JournalofImageandSignalProcessing图像与信号处理,2016,5(2),66-72

:///journal/jisp

/10.12677/jisp.2016.52009

文章引用:黄宏燕,高斯文,余艳梅,何小海.基于光流法的视觉避障系统研究[J].图像与信号处理,2016,5(2):66-72.

/10.12677/jisp.2016.52009

VisualObstacleAvoidanceSystemBasedon

OpticalFlowMethod

HongyanHuang,SiwenGao,YanmeiYu*,XiaohaiHe

InstituteofImageInformation,CollegeofElectronicsandInformationEngineering,SichuanUniversity,

ChengduSichuan

Received:Apr.2nd,2016;accepted:Apr.16th,2016;published:Apr.21st,2016

Copyright©2016byauthorsandHansPublishersInc.

ThisworkislicensedundertheCreativeCommonsAttributionInternationalLicense(CCBY).

/licenses/by/4.0/

Abstract

Tosolvetheproblemsofeffectiveorientationandobstaclerecognitioninautonomousflightof

UnmannedAerialVehicles,thisessayhasstudiedthevisualobstacleavoidanceprinciplebasedon

PyramidLKopticalflowandtheobstacledetectionmethodaswellastherelevantobstacleavoid-

ingwiththe320×240pixlecamera-

equippedvisualmoduleandhigh-performanceembeddedcomputingplatform,weconstitutea

mentsshowthattheproposedalgo-

rithmcanrecognizeobstaclewellandreactwithrelevantobstacleavoidanceaction,whichhas

goodreal-timeandrobustnessfeatures.

Keywords

UnmannedAerialVehicles,OpticalFlowMethod,PyramidLKAlgorithm,VisualObstacleAvoidance

基于光流法的视觉避障系统研究

黄宏燕，高斯文，余艳梅*，何小海

四川大学电子信息学院，图像信息研究所，四川成都

收稿日期：2016年4月2日；录用日期：2016年4月16日；发布日期：2016年4月21日

*通讯作者。

黄宏燕等

67

摘要

本文针对无人机自主飞行过程中有效定位和识别障碍物的问题，研究了基于金字塔Lukas-Kanade光流

法的视觉避障原理，在光流法基础上给出了障碍物检测方法及相应的避障策略。结合配有320×240像

素摄像头的视觉模块和高性能嵌入式计算平台，构建了一套完整的实时视觉避障系统。实验表明，本文

算法能够很好地识别障碍物并作出相应的避障动作，具有较好的实时性和鲁棒性。

关键词

无人机，光流法，金字塔LK算法，视觉避障

1.引言

随着技术的发展更新，消费级无人机越来越多的进入大众视野。无人机在很多应用领域被寄予厚望，

如空中视频监控、地理测量、农业植保以及航拍摄影等诸多应用。而无人机的智能自主飞行成为当下的

研究热门，能够有效的定位和识别障碍物是无人机自主飞行过程的一个重要技术问题。目前已有很多技

术用于障碍物感知，这些技术大致分为基于距离传感器的障碍物检测和基于图像视觉的障碍物识别两大

类。距离传感器的障碍物检测，即使用超声波传感器、激光扫描仪、声呐传感器和立体相机等技术直接

测量障碍物距离来获取周边环境信息。这类方法存在一些缺点，一是有些硬件成本较高，二是增加了无

人机载荷重量和功耗问题，三是如超声波之类的测距模块其测量范围有限，难以全方位的测量周边环境

信息。另一方面，基于图像视觉的障碍物识别已成为计算机视觉的研究热门，主要分为图像分割、图像

深度提取、和光流法这几大类。图像分割方法主要是利用颜色来分割图像中无障碍物区域(如马路、天空

等)[1]，这类方法缺陷是场景单一，无法适用复杂的飞行环境。图像深度提取方法通过图像深度信息构

建环境的3D地图[2][3]，这样能很好的检测到周围的障碍物体，但计算量大，实时性难以保证。

本文旨在设计一套实时的视觉避障软硬件系统，能够在线检测并规避障碍物区域。而光流法避障近

来研究应用较多，研究者们发现，诸如苍蝇、蜻蜓等飞行昆虫都是通过感知环境的光流信息来导航和规

避障碍物[4]。本文的避障策略就是采用启发于飞行昆虫的光流平衡法则。首先介绍了金字塔LK方法的

计算原理，再结合Shi-Tomasi算法提取视频帧序列的角点特征值，基于角点用金字塔LK方法计算出无

人机向前运动产生的稀疏光流场。接着利用运动视差原理从光流场中计算出潜在障碍物区域，最后采用

平衡法则避障策略引导无人机规避障碍物。算法框架如图1所示。最终算法应用在基于嵌入式系统控制

的无人机平台上作验证，实验表明本文系统具有较好的实时性和准确性，能够很好的识别障碍物并作出

相应的避障动作。

2.光流场计算

-Kanade方法

LK算法是一种用于计算稀疏光流的重要方法，只需要每个感兴趣点周围小窗口的局部信息，这与

Horn和Schunck的算法全局性是不同的。采用LK算法的三个前提条件是需满足亮度恒定不变、时间连

续和空间一致[5]。

设(),,Ixyt

是

t

时刻图像上点(),xy

的亮度，LK算法假设图像中感兴趣区域的像素在相邻帧间运动

时亮度不随时间发生变化：

黄宏燕等

68

图像序列角点提取

光流场

计算

障碍物

检测

无人机避

障动作

平衡法则

避障策略

meworkofobstacleavoidancealgorithm

图1.避障算法框架

()(),,,,IxxyyttIxytδδδ+++=

(1)

其中，xδ和

yδ为

x

和

y

在经过tδ时间后在两帧间的位移量。结合时间连续性，取0tδ→

，

将(1)左边用

泰勒级数展开化简即得：

0

xyt

IuIvI++=(2)

其中：

x

u

dt

δ

=

、

y

v

dt

δ

=

就是点(),xy

光流的x和

y

分量，

x

I

I

x

∂

=

∂

,

y

I

I

y

∂

=

∂

,

t

I

I

dt

∂

=

。公式(2)即为著名的

光流约束方程。

结合空间一致性，即在一个很小的空间领域

Ω

内运动矢量保持不变，所以将图像划分成若干小窗口

领域。这里窗口不能过大或者过小，避免产生运动跟踪不一致和孔径问题。令光流向量()T,uv=v

，

在一

个很小的空间领域

Ω

内，光流估计误差被定义为：

(

)()

()

()2

2

,

,

xyt

xy

WxyIuIvIε

∈Ω

=++∑v

(3)

式(3)中(),xy∈Ω

表示遍历小窗口的像素，()2,Wxy

为窗口加权函数，它使窗口中心区域像素对约束

方程产生的影响比边缘区域更大。在光流

v

取最优解时误差方程ε一阶导数为0。即：

()

[]00

opt

ε

=

∂

=

∂

vv

v

v

(4)

令：

()

()

()

()

()

()

()

222

,,

222

,,

,,

(,),

xxy

xyxy

xyy

xyxy

WxyIWxyII

G

WxyIIWxyI

∈Ω∈Ω

∈Ω∈Ω





=







∑∑

∑∑

(5)

()

()

()

()

2

,

2

,

,

,

xt

xy

yt

xy

WxyII

WxyII

∈Ω

∈Ω





=







∑

∑

b

(6)

结合式(4)，我们可以得到此点的最优光流向量：

1

opt

G−=−vb

(7)

2.2.金字塔LK算法

LK方法的缺点是难以跟踪大尺度运动。而无人机所获取的周边环境视频数据大多是漂移晃动较多的

黄宏燕等

69

一系列大而不连贯运动，难以满足LK方法的前提条件。引入图像金字塔模型可以解决这个问题，利用

金字塔模型建立起一系列多尺度图片，先在较大的空间尺度上进行跟踪，接着逐步向金字塔下层依次处

理迭代更新得到最终的光流向量，如图2所示。Bouguet给出了结合金字塔模型的LK算法具体的迭代过

程[6]，因此本文采用这个更有效的算法来计算光流场。为了兼顾算法的有效性及实时性，本文采用3层

金字塔模型。

由公式(7)可知，选择用于LK跟踪搜索的窗口中心特征点需满足使得G可逆的条件，即G满秩，而

角点能很好的满足这个条件。Harris角点定义为图像的二阶导数自相关矩阵有两个最大特征值的地方，

该点附近的图像纹理至少存在两个不同方向区域。此外，由于无人机获取的视频序列时常具有旋转特征，

Harris角点具有的移动不变性和旋转不变性就显得很重要。本文采用Shi-Tomasi算法来提取角点[7]，其

原理和Harris角点相似，但在很多时候效果会更好，金字塔LK算法基于这些角点计算出运动帧间的光

流向量。

3.障碍物检测及避障策略

3.1.潜在障碍物检测

本文的潜在障碍物检测方法是运用了运动视差原理：当无人机在向前移动时，靠近的物体相比于远

处的背景在图像上会产生更大的运动，正如我们乘坐在运动的汽车上观察窗外的风景时近处的物体相较

于远景来说运动得更快。另外，近处的物体也会占据更大的视野，因而靠近的障碍物相比于背景区域会

产生更大的光流。基于这个原理，本文结合上面获取的光流场来计算潜在的障碍物区域。根据无人机飞

行中避障方向的实际情况，可通过上下左右四个方向组合来进行障碍物检测和规避动作。首先将获取的

光流向量按其位置划分至左右、上下四个视场区域，如图3所示，分别计算各个区域的平均光流值。

图片1

图片2

从顶层开始

依次向下

0

L

1k

L

−

k

L

...

0

L

...

1k

L

−

k

L

...

pleofpyramidLKalgorithm

图2.金字塔LK算法原理

左

视

场

右

视

场

上视场

下视场

geisdividedintofourparts

图3.将图像平均分成4部分

黄宏燕等

70

在判断某点是否可能为潜在的障碍物时，通过比较该点的光流值和与其相反区域的平均光流值，当

其比值超过给定阈值T时，则判定该点为潜在障碍物，用公式表示如下：

1

1

i

i

u

OFN

=−

∑w

(8)

式(8)中

i

OF

为i检测点光流模值，∑w

为检测点相反区域的光流模总和，N为该区域光流点个数。

以某一帧左视场区域某检测点

i

为例，分别计算该点光流值和右视场区域的平均光流值，由上面公式获

得相应的

i

u

。本文设定的阈值T为0.5，即当检测点光流值超过相反区域平均光流2倍时判断该点为潜在

障碍物。所以当

i

uT>

时该点即为潜在障碍物，否则认为该点为背景区域或者其虽然为障碍物但并未达

到危险距离。

3.2.平衡法则避障策略

光流是飞行昆虫用于感知周边环境的重要方式。人们基于蜜蜂、蜻蜓等飞行昆虫做了大量实验，发

现昆虫能够利用光流估计出运动速度、感知障碍物信息并规避障碍物。在这方面试验中比较著名的就是

Srinivasan团队对蜜蜂所做的系列实验[8]，其表明蜜蜂是通过平衡眼睛所感知的左右两边图像速度进行导

航来规避障碍物。

本文的无人机避障策略就是采用启发于飞行昆虫的光流平衡法则[9]。在无人机向前运动过程中，反应

在图像序列上即靠近的潜在障碍物体会较远处的背景产生更大的运动，也因此产生更大的光流，无人机在飞

行过程中通过避开光流幅值大的一侧来平衡两侧的光流，以此规避潜在的障碍物区域。由于无人机可通过上

下左右四个方向进行规避动作，需利用平衡法则分别判断左右和上下视场区域是否需要避障。本文光流场基

于角点计算的，为了最大化减少由于角点数量差异对光流向量模总和的影响，本文通过计算各视场区域的平

均光流值代表该区域的光流强度。以左右避障为例，分别计算左右两侧的平均光流值，当一侧的平均值大于

另一侧并超过给定阈值T时，则向光流较小的一侧靠近来躲避另一侧潜在的障碍物，用公式表示为：

min

max

1

m

F

n

∆=−

∑

∑

w

w

(9)

式中，

max∑w

表示光流大的一侧其光流向量模总和，m表示该侧的光流向量数。

min∑w

表示光流小

的一侧其光流向量模总和，n表示其光流向量个数。计算得到

F∆

，这里本文设定的需采取避障动作时的

阈值T为0.5，所以判断当

0.5F∆>

时无人机认为光流大的一侧可能为潜在障碍物，应该向光流小的一侧

靠近。否则认为前方无障碍物或离障碍物较远。

在确定了避障方向后，下一步就是将避障动作量化成无人机具体的控制量。Warre提出的著名的Law

ofControl控制法则[10]中总结出：光流的变化量与系统反馈作用力之间存在着一种函数关系，即：

()LR

LR

LR

FFk



−

∆−=





+



∑∑

∑∑

ww

ww

(10)

其中()

LR

FF∆−

为系统两边的作用力之差，k为一个常量，∑w

是视场中一侧的光流向量模总和。将这

种函数关系应用到本算法中来量化无人机的飞行姿态控制参数，同样地，本文使用区域平均光流值代替

模总和∑w

。通过公式(10)计算出无人机的具体偏航角度或高度来改变飞行轨迹避障。

4.实验结果及分析

4.1.硬件系统构成

本文系统将避障算法运行在基于NVIDIATegraK1高性能嵌入式处理器的Dji妙算计算平台。该平

黄宏燕等

71

台在linux环境下开发，具备高达326GFLOPS的计算能力，提供了基于gpu优化的opencv图像库，能够

满足本系统的实时图像处理要求。视觉模块采用DjiGuidence视觉模块，通过usb接口实时将25hz的320

×240灰度图数据输入处理器。为了便于开发调试，通过网口使用ssh远程登录到妙算开发算法程序以及

存取测试图像数据。

本文使用DjiM100无人机来进行算法验证测试，该无人机平台具有丰富的OnboardSDK用于开发者进

行自主飞行控制。处理器实时处理采集的视频图像，并将控制信息通过串口发送给无人机以调整飞行轨迹来

规避潜在的障碍物区域。基于以上模块，本文构造了一套视觉实时避障嵌入式系统。其系统结构如图4所示。

4.2.实验结果分析

为了验证本文算法的可行性和准确性，在室外搭建了一个障碍物场景。在光照充足的室外平地上放

置一块竖直的广告牌充当障碍物，无人机以固定的速度从广告牌一侧由远及近地飞向广告牌。如图5所

嵌入式

平台

Guidence

视觉模块

M100

无人机

usbuart

Ethernet

hardwarearchitecture

图4.系统硬件结构

(a)远离障碍物时处理结果(b)接近障碍物时处理结果

(c)第一次避障处理结果(d)第二次避障处理结果

ultofobstacleavoidancealgorithm

图5.避障算法结果

黄宏燕等

72

示，图中蓝色点为提取得到的角点，红色点为潜在障碍物，绿色字符信息代表当前应该采取的避障动作。

图5中蓝色点代表通过Shi-Tomasi算法获取的角点，可以看出能够很好的获取飞行前方物体的轮廓

信息，为了能够更全面的获取飞行视野前方的光流场信息，必须要保证每帧图片都能得到足够的角点数

量用于计算光流向量。因此在计算光流前，首先判断上一帧金字塔LK算法跟踪到的角点数是否满足最

低阈值，若数量满足，则沿用这些角点计算光流，以减少计算量，否则重新计算角点。

如图5(a)所示，当无人机距离广告牌较远时，算法并未将广告牌上角点视为潜在障碍物区域，因此

此刻无人机无避障动作保持向前直行(GOSTRAIGHT)。当逐渐靠近到危险距离时，如图5(b)所示，广告

牌上角点基本被正确的检测为潜在障碍物，显然障碍物位于前方右下角区域，根据本文的平衡法则避障

策略正确作出向左上方转向(GOLEFTUP)的避障动作。图5(c)和图5(d)为两次避障动作的结果。

上述实验结果表明，本文提出的视觉避障系统在实际环境中能很好的检测出潜在障碍物及作出适当

的规避动作，从而验证了本文系统的可行性。

5.总结

本文针对无人机自主飞行过程中有效的躲避障碍物问题提出了一套完整的基于嵌入式平台的视觉避

障系统。研究并实现了基于光流法的视觉障碍物检测和避障策略算法，从实验结果可以看出本系统能够

很好的快速检测出潜在的障碍物区域并做出适当的避障动作，具有较好的准确率。

参考文献(References)

[1]Ulrich,rbakhsh,I.R.(2000),

866-871.

[2]苏东.基于双目视觉的小型无人飞行器的导航与避障[D]:[硕士学位论文].成都:电子科技大学,2014.

[3]Alvarez,H.,Paz,L.,Sturm,mers,D.(2016)CollisionAvoidanceforQuadrotorswithaMonocularCamera.

mentalRobotics,109,195-209.

/10.1007/978-3-319-23778-7_14

[4]Chao,H.,Gu,olitano,M.(2013)ASurveyofOpticalFlowTechniquesforRoboticsNavigationApplica-

lofIntelligent&RoboticSystems,73,710-716.

[5]Bradski,hler,A.(2008)LearningOpenCV:ComputerVisionwiththeOpenCVLibrary.O’ReillyMedia,

Sebastopol.

[6]Bouguet,J.Y.(2001)PyramidalImplementationoftheAffineLucasKanadeFeatureTrackerDescriptionoftheAlgo-

orporation,5,4.

[7]Shi,asi,C.(1994)dingsoftheIEEEConferenceonComputerVisionand

PatternRecognition,Seattle,21-23June1994,593-600.

[8]Srinivasan,gory,R.L.(1992)HowBeesExploitOpticFlow:BehaviouralExperimentsandNeuralMod-

els[andDiscussion].B:BiologicalSciences,337,

253-259.

/10.1098/rstb.1992.0103

[9]Souhila,im,A.(2007)ationalJournalofAdvanced

RoboticSystems,4,:///10.5772/5715

[10]Warren,W.H.(1988)Cesin

Psychology,50,:///10.1016/S0166-4115(08)62564-9