智能终端及其视频稳像系统模型参数的标定方法及装置的制造方法_3

文档序号:9691244阅读:来源:国知局
定。在完成了标定之后,即可根据模型参数来计算帧间运动信息的估计值。计算帧间运动信息估计值的运算复杂度比得到帧间运动信息实际参考值要小得多,运算速度也快得多。
[0102]S203,根据当前的模型参数以及运动传感器采集到的抖动数据,对所述第一图像帧的运动模型进行估计,得出运动信息估计值。
[0103]所述模型参数具体可以是镜头焦距、运动传感器与图像传感器之间的时间戳偏移、曝光时间和运动传感器的零点偏移中的一个或多个。
[0104]具体地,所述根据当前的模型参数以及运动传感器采集到的抖动数据,对所述第一图像帧的运动模型进行估计,得出运动信息估计值可以包括如下步骤:
[0105]运动传感器感知到录像设备的抖动路径,将抖动路径与采样时间对应存储;
[0106]根据当前的模型参数,进行图像帧与抖动路径在时间上的对应;
[0107]根据当前的模型参数以及第一图像帧对应的抖动路径,对所述第一图像帧相对于图像传感器坐标系或者世界坐标系的运动模型进行估计。
[0108]通过步骤S203计算出的帧间运动信息是估计值,而步骤S202中获得的帧间运动信息则是实际参考值。运动信息估计值与运动信息实际参考值之间会存在一定的误差,该误差的大小取决于所采用的模型参数是否接近其最优值。
[0109]模型参数的标定,即是对各个模型参数进行调整,使得它们逼近最优值,从而减小运动信息估计值与运动信息实际参考值之间的误差,进而改善视频稳像的效果。
[0110]可以理解的是,在具体实施中,也可以先通过步骤S203计算出帧间运动信息估计值,后通过步骤S202获取帧间运动信息实际参考值。
[0111]S204,判断所述第一图像帧的运动信息估计值与运动信息实际参考值是否匹配。
[0112]若是,则说明采用当前的模型参数得出的帧间运动信息估计值与其实际参考值的差异较小,视频稳像效果较好,此时,无需对各个模型参数进行调整。
[0113]若否,则说明采用当前的模型参数得出的帧间运动信息估计值与其实际参考值的差异较大,视频稳像效果较差,此时,需要通过后续的步骤S205来调整所述模型参数。
[0114]在具体实施中,考虑到帧间运动信息不仅仅涉及平移,还可以涉及一些相对复杂的变换,例如旋转、缩放等。因此,判断运动信息估计值与运动信息实际参考值是否匹配时,可以先将其转化为特征点在预测帧上的坐标,然后再判断坐标之间的距离是否小于预设的阈值。具体地,可以包括如下步骤:
[0115]获取第一坐标,所述第一坐标为参考帧内的一个或多个特征点在所述第一图像帧内的对应坐标位置;
[0116]获取第二坐标,所述第二坐标为根据所述第一图像帧相对于其参考帧的运动信息估计值,计算出的参考帧内所述特征点在第一图像帧中的坐标位置预测值;
[0117]判断所述第一坐标与所述第二坐标之间的距离是否小于第一阈值(记为th),若是,则所述第一图像帧的运动信息估计值与运动信息实际参考值匹配,若否,则所述第一图像帧的运动信息估计值与运动信息实际参考值不匹配,所述第一阈值是预设的。
[0118]可以理解的是,不同的图像帧内特征点的数量可以是不同的。因此,对于存在多个特征点的图像帧,可以根据其包含特征点的数量和各个特征点对应的第一坐标与第二坐标之间的距离,通过现有的统计算法(例如求标准差),计算出相应地统计值(对于第i帧图像,将该统计值记为SJ,从而可以实现对特征点数量不同的图像帧采用同一第一阈值进行判断。具体地,若S^th,则所述第一图像帧的运动信息估计值与运动信息实际参考值匹配,若spth,则所述第一图像帧的运动信息估计值与运动信息实际参考值不匹配。
[0119]S205,以一个或多个模型参数作为变量,采用多变量函数最优化算法调整所述模型参数。
[0120]在具体实施中,可以采用坐标下降法或梯度下降法或其他现有的多变量函数最优化算法来调整模型参数。
[0121]通过上述对技术方案的描述可以看出:本实施例仅使用最新的帧间运动估计结果,利用多变量函数最优化算法进行模型参数的迭代优化,该方法不需要将过去所有的帧间运动估计按照调整后的参数重新计算并统计匹配度,大大减小了运算复杂度,模型参数的标定过程能够由录像设备独立完成,从而实现了模型参数出厂后的终端设备在线标定。
[0122]以下以坐标下降法为例进行具体说明:
[0123]坐标下降法(coordinate descent)在每次迭代中,在当前点处沿一个坐标方向进行一维搜索,以求得一个函数的局部最小值。在整个过程中循环使用不同的坐标方向进行搜索,最终向多个变量的整体最优值处收敛。
[0124]对于坐标轴的选取,本实施例中,可以以待调整的一个或多个模型参数作为坐标轴。由于坐标下降法以坐标轴的方向作为搜索以及优化方向,因此,在确定了坐标轴后,也就确定了优化方向。
[0125]如前所述,坐标下降法在每次迭代中,沿一个坐标方向进行一维搜索。即改变一个变量的取值,而保持其他变量恒定。变量改变的幅度称为搜索步长,通常可以对搜索步长的初始值进行预设(称为初始搜索步长),不同的初始搜索步长会对优化效率带来影响,但经过了若干次的迭代后最终都会达到收敛(本发明调整模型参数的过程通常需要经过数百或数千帧的迭代)。
[0126]对于多个模型参数的优化,坐标下降法通常会循环使用不同的坐标方向进行搜索和优化,即循环对各个模型参数进行搜索和优化。
[0127]在对多个模型参数进行循环优化的过程中,不同的模型参数所对应的初始搜索步长通常也是不同的,需要分别进行预设。当然,在极端的情况下,也不排除对不同的模型参数采用相同的初始搜索步长。
[0128]在对同一模型参数的多次优化中,可以根据先前的优化结果来改变搜索步长。具体地:
[0129]假设在第i帧图像的处理中,在步骤S204中得出估计值与运动信息实际参考值不匹配的判断,需要进行模型参数的调整。以预设的初始步骤步长(记为step)对某一模型参数进行调整,本实施例以对运动传感器和图像传感器之间的时间戳偏移(timing delay,td)进行调整为例,则有td1+k = tdjst印,其中,td1+k表示对第i+k帧图像进行稳像时的时间戳偏移(本实施例以每隔k帧进行一次时间戳偏移的调整为例),也就是经第一次优化后的时间戳偏移,td,表示对第i帧图像进行稳像时的时间戳偏移,也就是调整前的时间戳偏移(当前模型参数)。
[0130]在第i+k帧图像的处理中,首先依旧是根据在步骤S204判断估计值与运动信息实际参考值是否匹配。若是,说明函数已经达到收敛,不需要再进行模型参数的调整;若否,则继续通过此步骤调整模型参数。
[0131]此时,将第i+Ι帧图像的稳像效果与第i帧图像的稳像效果进行比较。仍以特征点在预测帧上的坐标进行比较,若,则说明该参数在第i帧图像处理过程中的调整方向正确(指正负号正确);反之,若SpJSi,则说明调整方向错误。在调整方向正确的情况下,可以增大搜索步长,即td1+2k = td1+k+2Xstep ;在调整方向错误的情况下,则恢复到调整前的值,并在此基础上向反方向调整,调整的幅度减小,即td1+2k = tdfStep/2。
[0132]调整后的模型参数,用于后续图像帧处理过程中的视频稳像以及帧间运动估计。循环执行步骤S202至S205,直至在步骤S204中得出运动信息估计值与运动信息实际参考值匹配的判断为止。
[0133]通过上述对技术方案的描述可以看出:当采用坐标下降法来调整模型参数时,以待调整的一个或多个模型参数作为坐标轴,并循环使用不同的坐标方向进行搜索和优化,可以有效提闻优化效率。
[0134]在具体实施中,可以逐帧或每隔若干帧图像或每隔固定的时间间隔执行上述步骤S202 至 S205。
[0135]通过不断地迭代来逼近各个模型参数的最优值的过程,可以持续数百或者是数千帧图像,具体是由第一阈值所决定的。若设定的第一阈值较大,即能够容忍估计值与运动信息实际参考值之间较大的误差,则会较快地结束循环,但调整的效果也较差;反之,若设定的第一阈值较小,则需要通过更多次的迭代才能完成优化,但调整的效果也更好。
[0136]可以理解的是,调整模型参数的具体方式也可以采用梯度下降法或其他现有的多变量函数最优化算法来实现。在采用梯度下降法进行模型参数的调整时,可以在一次迭代中对多个模型参数进行调整,从而加速函数的收敛,提高优化效率,尤其是在涉及的模型参数较多时。本发明对于具体的最优化算法的选择不作限定。
[0137]如下所述,本发明实施例提供另一种视频稳像系统模型参数的标定方法。
[0138]参照图3所示的视频稳像系统模型参数的标定方法流程图,以下通过具体步骤进行详细说明:
[0139]S301,确定进入模型参数标定模式。
[0140]本实施例在模型参数的标定过程中,是无法同时进行视频稳像的。因此,可以通过软件的方式分为稳像模式和参数标定模式两种模式。在稳像模式下,视频稳像系统采用当前的模型参数进行视频稳像;在参数标定模式下,则关闭稳像功能,并通过以下步骤进行模型参数的标定。
[0141]S302,通过图像传感器采集图像帧。
[0142]S303,采用特征点匹配或者基于光流法的特征点跟踪或者块匹配的方法获取第一图像帧相对于其参考帧的运动信息实际参考值。
[0143]该运动信息实际参考值为一个或多个特征点在所述第一图像帧与其参考帧之间位置的对应关系。
[0144]S304,根据当前的模型参数以及运动传感器采集到的抖动数据,对所述第一图像帧的运动模型进行估计,得出运动信息估计值。
[0145]在具体实施中,考虑到相同型号的设备它们的模型参数最优值通常是相近的(但不完全
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1