基于图像序列光流与三角网格的遮挡区域检测方法
【专利摘要】本发明公开了一种基于图像序列光流与三角网格的遮挡区域检测方法，该方法通过计算图像序列连续两帧间的光流；对第一帧图像进行Delaunay三角网格划分；计算图像像素点和各三角形区域在两帧图像间的亮度变化；根据第一帧图像三角形寻找对应的第二帧图像三角形区域，并检查第二帧图像对应三角形区域是否有嵌入像素点，确定存在遮挡的三角形区域；根据嵌入像素点和三角形区域的亮度变化确定是嵌入像素点被遮挡或三角形区域被遮挡；对图像中所有三角形区域进行遍历，以检测整个图像的遮挡区域。与现有方法相比，本方法具有更高的遮挡检测精度与可靠性。
【专利说明】
基于图像序列光流与三角网格的遮挡区域检测方法
技术领域
[0001] 本发明涉及检测技术，特别涉及一种基于图像序列光流与三角网格的遮挡区域检 测方法。
【背景技术】
[0002] 当图像序列存在遮挡现象时，图像中的遮挡区域的像素点在连续帧图像中出现 "时有时无"的现象，这一问题会导致图像序列运动目标检测、跟踪以及三维重建结果的准 确性与可靠性面临较大挑战。因此，图像序列遮挡区域检测是图像处理、计算机视觉等研究 领域的一项重要研究内容，其研究成果在机器人视觉、无人机导航、车辆辅助驾驶等领域具 有重要的应用意义。
[0003] 传统的图像序列遮挡区域检测方法通常采用基于特征匹配的策略，由于特征匹配 的方法仅依靠单一像素点在连续两帧图像是否存在对应关系来判断像素点的遮挡，因此特 征点匹配的鲁棒性与准确性对遮挡区域检测影响较大，常常导致遮挡区域检测结果并不满 足实际需求。
【发明内容】
[0004] 本发明的目的是提供一种基于图像序列光流与三角网格的遮挡区域检测方法，利 用Delaunay三角网格对图像进行三角形划分，并利用两帧图像光流进行遮挡区域的检测技 术，能准确地对图像序列中的遮挡区域进行检测、提取。
[0005] 为了解决上述技术问题，本发明采取以下技术方案。基于图像序列光流与三角网 格的遮挡区域检测方法，其步骤如下：
[0006] 1)计算图像序列连续两帧间的光流；
[0007] 2)利用De Iaunay三角网格对第一帧图像进行三角形划分；
[0008] 3)根据Delaunay三角网格划分结果和图像间光流，分别计算各像素点在第二帧图 像的坐标，并根据第一帧图像三角网格划分结果，在第二帧图像建立对应的三角形网格区 域；
[0009] 4)根据两帧间图像光流与第一帧图像像素点坐标，计算各像素点在两帧图像间的 亮度变化：
[0010] Λ Ip= I(x+w)-I(x) ； (I)
[0011] 式中：P表示第一帧图像中任意像素点；x表示点P的图像坐标;w表示点P在两帧图 像间的光流；Λ Ip表示点P在两帧图像间的亮度变化；
[0012] 5)根据图像Delaunay三角网格划分与各像素点在两帧图像间的亮度变化，计算各 三角形区域在两帧图像间的亮度变化：
[0013] Λ Ia =αι · Λ Ιρι+α2 · Λ Ιρ2+α3 · Λ Ip3; (2)
[0014] 式中：Λ I△表示图像各三角形区域在两帧图像中的亮度变化；Λ ΙΡ1、Λ ΙΡ2、Λ ΙΡ3表 示组成三角形的三个像素点在两帧图像间的亮度变化;Ct1^2W 3表示组成三角形的三个像 素点在计算三角形区域亮度变化时的权重，取《I =? =% =4，即各像素点所占权重相同； .3
[0015] 6)根据两帧图像对应的三角网格划分结果，以及图像De Iaunay三角网格划分的各 三角形区域亮度变化Λ I△和组成该三角形的三个像素点在两帧图像间的亮度变化Λ Ip⑴ (i = l，2,3)，对图像序列中各三角形区域是否存在遮挡进行判断，判断规则如下：
[0016] a)当第一帧图像的三角形区域在第二帧图像中的对应三角形区域没有像素点嵌 入，则该三角形区域没有遮挡现象；
[0017] b)当第一帧图像的三角形区域在第二帧图像中的对应三角形区域有像素点嵌入， 则该三角形区域存在遮挡现象，则采用式(3)进行下一步判断：
[0018]
[0019]式中：Λ Ip表示嵌入第二帧图像三角形区域的任意像素点P的两帧图像间亮度变 化；
[0020] 7)对图像DeIaunay三角网格划分的所有三角形进行上述步骤的判断，存在遮挡的 像素点将其灰度值设为1，未遮挡像素点灰度值设为〇,最终生成图像遮挡区域。
[0021] 本发明能够得到更为准确、可靠的图像序列遮挡区域检测结果，算法实现的复杂 度较低，具有更高的遮挡检测精度与可靠性，并为下一步的运动目标检测、跟踪及三维重建 奠定基础。
【附图说明】
[0022] 图Ia和图Ib是RubberWhale图像序列连续两帧图像；
[0023](其中：图Ia是第一帧图像，图Ib是第二帧图像;）
[0024]图2是计算所得的RubberWhale图像序列光流；
[0025]图3是对RubberWhale图像序列第一帧图像进行Delaunay三角网格划分的示意图； [0026]图4a和图4b是第一帧图像的三角形区域在第二帧图像中的对应三角形区域变化 情况不意图；
[0027]图5是根据本发明检测到的RubberWhale图像序列遮挡区域，图中白色区域为遮挡 区域。
【具体实施方式】
[0028]以下结合附图和实施例对本发明作进一步说明。基于图像序列光流与三角网格的 遮挡区域检测方法，使用RubberWhale图像序列遮挡区域检测实验进行说明：
[0029] 1)图Ia和图Ib是RubberWhale图像序列连续两帧图像;其中：图Ia是第一帧图像， 图Ib是第二帧图像；
[0030]图2是计算所得的RubberWhale图像序列连续两帧间的光流；
[0031] 2)如图3所示，利用Delaunay三角网格对第一帧图像进行三角形划分；
[0032] 3)根据Delaunay三角网格划分结果和图像间光流分别计算各像素点在第二帧图 像的坐标，并根据第一帧图像三角网格划分结果在第二帧图像建立对应的三角形网格区 域；
[0033] 4)根据两帧间图像光流与第一帧图像像素点坐标计算各像素点在两帧图像间的 亮度变化：
[0034] Λ Ip= I(x+w)-I(x) ； (I)
[0035] 式（1)中，P表示第一帧图像中任意像素点，x表示点P的图像坐标，w表示点P在两帧 图像间的光流，Λ Ip表示点P在两帧图像间的亮度变化；
[0036] 5)根据图像Delaunay三角网格划分与各像素点在两帧图像间的亮度变化计算各 三角形区域在两帧图像间的亮度变化：
[0037] Λ Ιδ =α! · Λ Ipi+ci2 · Λ Ιρ2+α3 · 99p3; (2)
[0038] 式⑵中，Λ I△表示图像各三角形区域在两帧图像中的亮度变化，Λ IP1、Λ IP2、Λ Ip3表示组成三角形的三个像素点在两帧图像间的亮度变化;Ct 1^2W3表示组成三角形的三 个像素点在计算三角形区域亮度变化时的权重，取％ =a2 =? ，即各像素点所占权重相 同；
[0039] 6)根据两帧图像对应的三角网格划分结果以及图像De Iaunay三角网格划分的各 三角形区域亮度变化Λ I△和组成该三角形的三个像素点在两帧图像间的亮度变化Λ Ip⑴ (i = l，2,3)对图像序列中各三角形区域是否存在遮挡进行判断，判断规则如下：
[0040] a)如图4(a)所示，当第一帧图像的三角形区域在第二帧图像中的对应三角形区域 没有像素点嵌入，则该三角形区域没有遮挡现象；
[0041] b)如图4(b)所示，当第一帧图像的三角形区域在第二帧图像中的对应三角形区域 有像素点嵌入，则该三角形区域存在遮挡现象，则采用式(3)进行下一步判断：
[0042]
[0043]式(3)中，Λ Ip表示嵌入第二帧图像三角形区域的任意像素点p的两帧图像间亮度 变化；
[0044] 7)对图像Delaunay三角网格划分的所有三角形进行上述步骤的判断，存在遮挡的 像素点将其灰度值设为1，未遮挡像素点灰度值设为〇,最终生成图像遮挡区域如图5所示。
【主权项】
1.基于图像序列光流与三角网格的遮挡区域检测方法，其特征在于，其步骤如下： 1) 计算图像序列连续两帧间的光流； 2) 利用Delaunay三角网格对第一帧图像进行三角形划分； 3) 根据Delaunay三角网格划分结果和图像间光流，分别计算各像素点在第二帧图像的 坐标，并根据第一帧图像三角网格划分结果，在第二帧图像建立对应的三角形网格区域； 4) 根据两帧间图像光流与第一帧图像像素点坐标，计算各像素点在两帧图像间的亮度 变化： A Ip = I (x+w)-I (x) ； (1) 式中：P表示第一帧图像中任意像素点；x表示点P的图像坐标;w表示点P在两帧图像间 的光流；Λ Ip表示点P在两帧图像间的亮度变化； 5) 根据图像Delaunay三角网格划分与各像素点在两帧图像间的亮度变化，计算各三角 形区域在两帧图像间的亮度变化： Λ Ιδ = αι · Λ Ipi+ci2 · Λ Ιρ2+α3 · Λ Ip3; (2) 式中：Λ I△表示图像各三角形区域在两帧图像中的亮度变化；Λ ΙΡ1、Λ ΙΡ2、Λ ΙΡ3表示组 成三角形的三个像素点在两帧图像间的亮度变化;表示组成三角形的三个像素点 在计算三角形区域亮度变化时的权重，，即各像素点所占权重相同； 6) 根据两帧图像对应的三角网格划分结果，以及图像De 1 aunay三角网格划分的各三角 形区域亮度变化和组成该三角形的三个像素点在两帧图像间的亮度变化，对图像序列中各 三角形区域是否存在遮挡进行判断，判断规则如下： a) 当第一帧图像的三角形区域在第二帧图像中的对应三角形区域没有像素点嵌入，则 该三角形区域没有遮挡现象； b) 当第一帧图像的三角形区域在第二帧图像中的对应三角形区域有像素点嵌入，则该 三角形区域存在遮挡现象，则采用式(3)进行下一步判断：式中：Λ Ip表示嵌入第二帧图像三角形区域的任意像素点p的两帧图像间亮度变化； 7) 对图像Delaunay三角网格划分的所有三角形进行上述步骤的判断，存在遮挡的像素 点将其灰度值设为1，未遮挡像素点灰度值设为〇,最终生成图像遮挡区域。
【文档编号】G06T7/20GK106056630SQ201610392312
【公开日】2016年10月26日
【申请日】2016年6月6日
【发明人】张聪炫, 陈震, 和世熙, 汪明润, 江少锋
【申请人】南昌航空大学