无人机航拍视频去抖方法
【技术领域】
[0001] 本发明属于图像处理技术领域，涉及一种无人机航拍视频去抖方法，特别是涉及 一种基于图像边缘检测与霍夫变换的直线提取方法与基于直线角度直方图的道路方向检 测方法和基于道路方向旋转图像的校正方法，以实现图像去抖的目的。
【背景技术】
[0002] 无人机因为具有机动性强、视野广、飞行路线不受地形限制等优点，而被广泛应用 于测绘、航拍、交通监控等领域。两轴和三轴稳定云台的应用消除了航拍图像由于无人机姿 态调整、外部条件(阵风)等造成的图像抖动问题，但在很多应用场景，如无人机高速路交通 监控，由于无人机不具有智能识别道路的能力，造成无人机的飞行前进方向与道路方向的 夹角时刻变化，从而造成航拍图像中道路抖动的问题，这种抖动不论是对地面人员通过图 像监控交通态势，还是对基于图像处理方法进行交通参数提取都带来了很大的障碍。因此， 发明智能道路航拍图像去抖方法就显得尤其重要。
[0003] 目前，航拍图像的图像去抖方法主要有机械去抖和配准方法去抖两种方式。硬件 去抖，即将图像采集设备安装于具有自增稳功能的机械云台上，这种方式消除的是航拍图 像由于无人机姿态调整、外部条件(阵风)等造成的图像抖动。图像配准方法，通过跟踪图像 中的特征点获取图像背景的运动，从而通过仿射变换方法消除抖动，这类去抖需要提前选 取基础配准帧。在实际的无人机交通监控应用中，用户感兴趣的是道路区域，需要获取的是 稳定的道路图像，对于这种应用场景，由于现有去抖方法无法感知道路区域，因此无法有针 对性的消除道路航拍图像抖动问题。
【发明内容】
[0004] 针对现有图像去抖方法无法智能消除无人机道路航拍图像中道路抖动的问题，本 发明提出了基于道路方向直方图的图像去抖方法，采用基于道路方向直方图的方法进行道 路航拍图像去抖。本发明为基于道路方向直方图的道路航拍图像去抖方法，首先通过道路 方向直方图检测提取道路方向，然后基于道路方向旋转图像，实现道路航拍图像去抖。本发 明的图像去抖方法能够智能感知道路方向，从而实现现有方法所不能实现的图像去抖。
[0005] 本发明以全新的研究着入点，提出一种可以普遍适用的道路航拍图像去抖办法， 通过下述步骤实现：
[0006] 步骤1:道路航拍图像预处理
[0007] 对无人机航拍视频进行解帧，获取单帧RGB彩色道路航拍图像，并将RGB彩色图像 转换为灰度图；
[0008] 步骤2:基于航拍图像提取直线
[0009] 采用Canny边缘检测算子处理上步中的灰度图获取边缘轮廓图，基于霍夫变换检 测边缘轮廓图，获取直线；
[0010] 步骤3:计算直线方向直方图
[0011]计算上步中检测到的直线的角度，然后计算直线相对角度直方图。提取直方图中 最大的峰值点对应的角度，该角度即为该帧航拍图像中道路的方向。
[0012]步骤4:航拍图像校正去抖
[0013] 将道路航拍图像顺时针旋转上步中获得的角度的大小，即可将航拍图像中朝向不 同的道路一致调整为水平方向，从而实现道路航拍图像去抖。
[0014] 本发明的优点在于：
[0015] (1)本发明利用无人机航拍道路图像检测提取出的直线大多与道路方向平行的特 点，建立直线相对角度直方图，通过检测直方图最大的峰值点对应的角度，可得到航拍图像 中道路的方向，根据该角度旋转图像将道路调整为水平方向，实现航拍图像去抖；
[0016] (2)本发明基于图像处理技术，通过智能感知道路方向并旋转航拍图像，从而实现 无人机道路航拍图像的去抖；
[0017] (3)本发明可适应各种道路场景下的航拍图像去抖，具有很好地鲁棒性，运算速度 快且不需要外部数据支持(如GIS地图数据），拥有多点创新。
【附图说明】
[0018] 图1为航拍图像的灰度图；
[0019] 图2为基于Canny边缘检测算子检测边缘轮廓图；
[0020] 图3为基于霍夫变换检测直线图；
[0021] 图4为图像坐标系与直线角度方向定义图；
[0022]图5为直线方向相对直方图；
[0023]图6为基于道路方向水平校正图；
[0024]图7为本发明的方法流程图。
【具体实施方式】
[0025]下面将结合附图和实施例对本发明作进一步的详细说明。
[0026]本发明提供一种基于道路方向直方图的航拍图像去抖方法，所述去抖方法首先对 提取的道路航拍图像进行预处理转换为灰度图；然后基于Canny边缘检测算子检测灰度图 获取边缘轮廓图，然后对边缘轮廓图进行霍夫变换检测直线;计算检测到的直线的角度并 计算直线方向相对角度直方图，提取相对角度直方图最大的峰值所对应的直线的角度，即 获得了道路方向；然后基于检测到的道路方向将原始航拍图像进行瞬时针旋转，可将道路 旋转为水平方向，实现航拍图像去抖。上述基于道路方向直方图的航拍图像去抖方法，流程 如图7所示，具体处理步骤如下：
[0027]步骤1:道路航拍图像预处理
[0028]对道路航拍视频进行解帧获取RGB彩色图像，将RGB彩图转换为灰度图，如图1所 不。
[0029]步骤2:基于航拍图像提取直线
[0030]获得了灰度图像后，接下来通过Canny边缘检测算子对灰度图进行处理，获得二值 的边缘轮廓图，如图2所示，对图2的轮廓图进行霍夫变换，检测并获得直线图，如图3所示。 [0031]步骤3:计算直线方向直方图
[0032]计算图1中每条直线的角度，其中直线角度的定义如图4所示，其中0(0,0)为图像 像素坐标的原点，以〇(〇，〇)为起点，向右为图像的列坐标轴，向下为图像的行坐标轴。对图3 中的任意一条直线i，其两个端点分别为P1和P2,其中P1与P2的像素坐标分别为(ci_i，ri_i) 和( Ci_2，ri_2)，奶为直线i与水平方向的夹角，的表示将一条水平直线逆时针旋转到与直线 i平行时所转过的角度，任一直线i的角度机的计算方法如下式(1)所示：
[0034] 其中，<Ρ?为整数，计算时采用四舍五入的方法处理，且明e [0' 180%
[0035] 基于计算出的直线角度，计算相对角度直方图，其详细步骤如下所示：
[0036] (1)确认图3中检测到的直线的数量η;
[0037] (2)设置 180个小区间 θρθ·，其中：区间为 ^=[0。，1。），02=[1。，2。），…，0i = [(i-l)° ,?0),···,θ?80=[179° ,180°)；
[0038] (3)对于图3中检测到的η条直线(η为步骤（1)中确认得到），对直线角度进行统计， 若角度为的直线有m条，则认为角度0i出现的次数为 m次，这里用h(0i)代表直线角度01出 现的次数，即频次。
[0039] (4)对步骤(3)中统计的直线角度出现的频次ΜΘ,)进行归一化处理，计算每个直 线角度1出现的相对频率!1(0〇，计算方法为!1(0〇=]1(0〇/11。频次11(0〇归一化的目的是简 化计算，缩小量值。
[0040] (5)绘制相对直线角度直方图，如图5所示，直方图的横轴表示直线方向角，其定义 域为[0°，180°)，纵轴表示直线角度出现的相对频率，其值域为[0，1]。如图5所示的直方图 中，每个角度对应的直线的高度值为步骤(4)中计算得到的相对频率值H( )，图5中高度 值最大的直线所对应的相对频率值称为最大直方图峰值。
[0041] (6)图5中最大峰值 H(0k)通过式 算得到，其中9k为最大直方图峰值所对应的直线角度。
[0042]角度9k即为该帧图像中道路的方向。道路方向的检测原理是:在航拍图像中，道路 及周边结构的轮廓线与道路方向是平行的，因此图3中直线角度出现的相对频率最大的角 度即为道路的方向，而且该原理对一般的直线道路都是适用的。
[0043]步骤4:航拍图像校正去抖
[0044]将道路航拍图像顺时针旋转9k度，即可将图像中的道路校正为水平方向，校正后 的图像如图6所示。
[0045]通过将步骤1到步骤4重复进行，即可基于道路方向校正实现航拍视频去抖的目 的。
【主权项】
1. 无人机航拍视频去抖方法，包括以下几个步骤： 步骤1:道路航拍图像预处理 对无人机航拍视频进行解帧，获取单帧RGB彩色道路航拍图像，并将RGB彩色图像转换 为灰度图； 步骤2:基于航拍图像提取直线 采用Canny边缘检测算子获取灰度图边缘轮廓图，基于霍夫变换检测边缘轮廓图，获取 直线； 步骤3:计算直线方向直方图 计算直线的角度，然后计算直线相对角度直方图，提取直方图中最大的峰值点对应的 角度9k，该角度即为该帧航拍图像中道路的方向； 步骤4:航拍图像校正去抖 将道路航拍图像顺时针旋转角度9k，即将航拍图像中朝向不同的道路一致调整为水平 方向，实现道路航拍图像去抖。2. 根据权利要求1所述的无人机航拍视频去抖方法，所述的步骤3具体为： 设边缘轮廓图的左上角为图像像素坐标的原点〇(〇,〇)，以〇(〇,〇)为起点，向右为图像 的列坐标轴，向下为图像的行坐标轴，设任意一条直线i，其两个端点分别为Pl和P2,其中Pl 与P2的像素坐标分别为(mi)和(ci_2，ri_2)肩为直线i与水平方向的夹角肩表不将一 条水平直线逆时针旋转到与直线i平行时所转过的角度，任一直线i的角度豹的计算方法如 下式(1)所示：其中，Φι为整数，计算时四舍五入，且(Pi e [0。, 180。); 基于计算出的直线角度，计算相对角度直方图，具体为： (1) 设步骤2中获取的直线数量为η; (2) 设置 180 个小区间Q1-Q18O,其中：区间为":=^^^；^=^'〗。)，···，!=^。 1)°4°)，···，θ 180=[179°，180°); (3) 对于η条直线，对直线角度进行统计，若角度为0,的直线有m条，则认为角度Q1出现的 次数为m次，采用Me 1)表示直线角度Q1出现的次数，即频次； (4) 对步骤(3)中得到的直线角度出现的频次I1(Q1)进行归一化处理，计算每个直线角度 Qi出现的相对频率H(Qi)，计算方法为H(0i)=h(0i)/n; (5) 绘制相对直线角度直方图，直方图的横轴表示直线方向角，其定义域为[0°，180°)， 纵轴表示直线角度出现的相对频率，其值域为[〇，1];相对角度直方图中高度值最大的直线 所对应的相对频率值为直方图峰值； (6) 直方图最大峰值H(0k)通过式H(Qk)=MaxIH(Q1)，Η(Θ 2)，...，Η(θ〇，...，Η(θ18〇)}计 算得到，其中9k为直方图峰值所对应的直线角度； 角度Gk即为该帧图像中道路的方向。
【专利摘要】本发明公开了一种无人机航拍视频去抖方法，包括步骤1：道路航拍图像预处理；步骤2：基于航拍图像提取直线；步骤3：计算直线方向直方图；步骤4：航拍图像校正去抖；本发明利用无人机航拍道路图像检测提取出的直线大多与道路方向平行的特点，建立直线相对角度直方图，通过检测直方图最大的峰值点对应的角度，可得到航拍图像中道路的方向，根据该角度旋转图像将道路调整为水平方向，实现航拍图像去抖。本发明基于图像处理技术，通过智能感知道路方向并旋转航拍图像，从而实现无人机道路航拍图像的去抖。
【IPC分类】H04N9/04, H04N5/357
【公开号】CN105450950
【申请号】CN201510888639
【发明人】王云鹏, 徐永正, 余贵珍, 吴新开, 马亚龙
【申请人】北京航空航天大学
【公开日】2016年3月30日
【申请日】2015年12月7日