基于目标块检测的缝合线实时调整方法
【专利摘要】本发明属于图像信息处理领域，解决视频拼接中由于相邻帧之间缝合线变化导致视觉效果下降的问题，提供一种基于目标块检测的缝合线实时调整方法。包括：将已有缝合线分割成等长的缝合线段，利用帧差法在每段缝合线所对应的临界区域进行变化检测；将临界区域均分成若干个方格块，计算每一个方格块灰度变化，标记目标块；对该段缝合线进行局部调整。本发明能够实时对缝合线进行局部调整，能够使缝合线绕开运动目标，避免缝合线的全局跳变，达到更理想的视觉效果。
【专利说明】基于目标块检测的缝合线实时调整方法
【技术领域】
[0001]本发明属于图像信息处理领域，涉及多路高清视频拼接过程中的缝合线调整方法。
【背景技术】
[0002]视频拼接技术突破摄像机采集传感器的物理限制，通过拼接多摄像机同一时刻下拍摄的视频序列，得到高分辨的全景视频，能够大大提高人们对事物和场景的动态感知、辨别与监控能力，技术要点涉及数据采集、图像配准、图像拼接与融合等方面。
[0003]在图像拼接与融合过程中，需要在相邻图像重叠区域内寻找一条最优缝合线，在缝合线的左侧写入源图像一的相应像素值，在缝合线另一侧写入源图像二的相应像素值。如果缝合线选取恰当，不但能够得到无错位的融合图像，而且可以从根本上消除“鬼影”现象。
[0004]求解缝合线的过程可以归结为一个多阶段决策问题，而动态规划算法是一种解决多阶段决策问题的高效优化方法。从缝合线初始点到终点的搜索过程中，由当前点寻找下一点的决策可以构成一个决策序列，即一个策略。在所有可能策略中，按照上述准则选取最优解。具体来说，首先按照上述准则构建重叠区域的差值图像，然后在差值图像上用动态规划算法求解缝合线，并选择经过像素值最小的缝合线作为最优缝合线。
[0005]由于求得的缝合线可能穿过重叠区域中的运动目标，容易造成运动目标产生较明显的形变和错位。如果在每一帧中都重新求解缝合线，则会造成整条缝合线的全局调整，容易出现比较明显的闪动的视觉效果。针对这些问题，对穿过运动目标的缝合线部分进行局部调整，既可以绕开运动目标，又可以避免相邻两帧之间缝合线的全局调整，能够取得更好的视觉效果。
【发明内容】
[0006]本发明为解决由于相邻帧之间缝合线发生全局变化和缝合线穿过运动目标而导致的视频拼接视觉效果下降的技术问题，提供一种基于目标块检测的缝合线实时调整方法。
[0007]本发明是采用以下技术方案实现的:
[0008]一种基于目标块检测的缝合线实时调整方法，包括如下步骤:
[0009]S1、将已有缝合线分割成等长的缝合线段，利用帧差法在每段缝合线所对应的临界区域进行变化检测，得到相邻两帧在所述临界区域内的灰度变化，所述已有缝合线为上
一中贞缝合线；
[0010]S2、根据预先设定的方格块区域总数将每段缝合线所对应的临界区域均分成若干个方格块，计算每一个所述方格块的灰度变化；当方格块的灰度变化大于预先设定的变化阈值时，将所述方格块标记为目标块；
[0011]S3、设定目标块数量阈值，当某段缝合线所对应的临界区域内的目标块数量大于所述目标块数量阈值时，对该段缝合线进行局部调整。
[0012]进一步地，在步骤S3中需要进行局部调整的若干段缝合线中如果存在相邻的缝合线段，则以相邻的缝合线段构成的整体缝合线段进行局部调整。
[0013]进一步地，所述步骤S3中对缝合线进行局部调整所采用的方法包括但不限于动态规划算法、图割算法或贪婪搜索算法。
[0014]进一步地，所述步骤S3中对缝合线进行局部调整所采用的方法包括以下步骤:
[0015]S31、计算图像重叠区域的差异图像；
[0016]S32、采用动态规划算法，在该段缝合线所在重叠区域内从缝合线段的上端到下端进行逐行搜索，寻找一条最优路径使得缝合线经过位置的差异图像像素值之和最小，所述最优路径即为局部调整后的缝合线。
[0017]进一步地，所述步骤S31中计算图像重叠区域的差异图像的具体方法为:对两幅源图像在每一个像素点处的颜色差和梯度差，根据预先设定的对应的加权系数进行加权平均得到每个像素点对应的差异值，进而得到重叠区域的差异图像。
[0018]进一步地，所述步骤S32中的动态规划算法为:首先从待局部调整的缝合线终点向起点方向分别按照从左向右和从右向左顺序，在差异图像内进行逐行计算，得到每行内各个像素点到该缝合线终点的最小的差异图像像素值之和；再按照相反方向从该缝合线起点到终点进行搜索，根据当前点和其相邻点到该缝合线终点的最小的差异图像像素值之和，依次从其相邻点中确定下一个缝合线点，最终确定调整后的缝合线。
[0019]综上所述，本发明所述方法首先将上一帧缝合线作为已有缝合线，并将缝合线分割成等长缝合线段，然后对于每段缝合线，在缝合线两侧的临界区域利用帧差法进行变化检测。当灰度变化大于变化阈值时，标记目标块。最后利用改进动态规划算法更新该段缝合线。本发明能够实时对缝合线进行局部调整，能够使缝合线绕开运动目标，避免缝合线的全局跳变，达到更理想的视觉效果。
【专利附图】
【附图说明】
[0020]图1是本发明所述方法的流程图；
[0021]图2是本发明实施例中两幅有重叠区域的源图像；
[0022]图3是重叠区域图像；
[0023]图4是已有缝合线示意图；
[0024]图5是缝合线分割成等长缝合线段示意图；
[0025]图6是帧差法求得灰度变化结果示意图；
[0026]图7是目标块标记示意图；
[0027]图8是差异值图像不意图；
[0028]图9是改进动态规划算法求解过程示意图；
[0029]图10是局部调整后缝合线示意图。
【具体实施方式】
[0030]下面结合附图和【具体实施方式】对本发明作进一步说明。
[0031]本发明提供了一种基于目标块检测的缝合线实时调整方法，如图1所示，包括如下步骤:
[0032]S1、将已有缝合线分割成等长的缝合线段，利用帧差法在每段缝合线所对应的临界区域进行变化检测，得到相邻两帧在所述临界区域内的灰度变化，所述已有缝合线为上
一中贞缝合线。
[0033]缝合线段长度根据图像尺寸具体确定，可以按照垂直距离将重叠区域等分为若干部分，每一部分中包含了一段垂直方向等长的缝合线。对于第一帧视频图像的重叠区域，该已有缝合线的初值为所述重叠区域垂直方向的中心线。一般来说，可以按照垂直距离将重叠区域等分为5至20个部分。
[0034]帧差法在运动目标检测中使用较多，其基本原理是将连续的两帧图像对应的像素值相减。在环境亮度变化不大的情况下，如果对应像素值相差很小，可以认为此处景物是静止的，如果图像区域某处的像素值变化很大，可认为这是由于图像中运动物体引起的，将这些区域标记下来，利用这些标记的像素区域，可以求出运动目标在图像中的位置。设&(/,./)，g,#，_/)分别为像素点(i, j)在相邻两帧的灰度值，则像素点(i, j)的灰度变化Δ g0(i, j)为:
[0035]
【权利要求】
1.一种基于目标块检测的缝合线实时调整方法，其特征在于包括如下步骤: 51、将已有缝合线分割成等长的缝合线段，利用帧差法在每段缝合线所对应的临界区域进行变化检测，得到相邻两帧在所述临界区域内的灰度变化，所述已有缝合线为上一帧缝合线； 52、根据预先设定的方格块区域总数将每段缝合线所对应的临界区域均分成若干个方格块，计算每一个所述方格块的灰度变化；当方格块的灰度变化大于预先设定的变化阈值时，将所述方格块标记为目标块； 53、设定目标块数量阈值，当某段缝合线所对应的临界区域内的目标块数量大于所述目标块数量阈值时，对该段缝合线进行局部调整。
2.根据权利要求1所述的基于目标块检测的缝合线实时调整方法，其特征在于:在步骤S3中需要进行局部调整的若干段缝合线中如果存在相邻的缝合线段，则以相邻的缝合线段构成的整体缝合线段进行局部调整。
3.根据权利要求1或2所述的基于目标块检测的缝合线实时调整方法，其特征在于:所述步骤S3中对缝合线进行局部调整所采用的方法包括但不限于动态规划算法、图割算法或贪婪搜索算法。
4.根据权利要求1或2所述的基于目标块检测的缝合线实时调整方法，其特征在于:所述步骤S3中对缝合线进行局部调整所采用的方法包括以下步骤: 531、计算图像重叠区域的差异图像； 532、采用动态规划算法，在该段缝合线所在重叠区域内从缝合线段的上端到下端进行逐行搜索，寻找一条最优路径使得缝合线经过位置的差异图像像素值之和最小，所述最优路径即为局部调整后的缝合线。
5.根据权利要求4所述的基于目标块检测的缝合线实时调整方法，其特征在于:所述步骤S31中计算图像重叠区域的差异图像的具体方法为:对两幅源图像在每一个像素点处的颜色差和梯度差，根据预先设定的对应的加权系数进行加权平均得到每个像素点对应的差异值，进而得到重叠区域的差异图像。
6.根据权利要求4所述的基于目标块检测的缝合线实时调整方法，其特征在于:所述步骤S32中的具体方法为:首先从待局部调整的缝合线终点向起点方向分别按照从左向右和从右向左顺序，在差异图像内进行逐行计算，得到每行内各个像素点到该缝合线终点的最小的差异图像像素值之和；再按照相反方向从该缝合线起点到终点进行搜索，根据当前点和其相邻点到该缝合线终点的最小的差异图像像素值之和，依次从其相邻点中确定下一个缝合线点，最终确定调整后的缝合线。
【文档编号】G06T3/40GK103489154SQ201310462090
【公开日】2014年1月1日 申请日期:2013年10月1日 优先权日:2013年10月1日
【发明者】张茂军, 熊志辉, 尹晓晴, 谭树人, 徐玮, 王炜, 刘煜, 张政, 李靖, 彭杨 申请人:中国人民解放军国防科学技术大学, 湖南源信光电科技有限公司