智能终端及其视频稳像系统模型参数的标定方法及装置的制造方法_2

文档序号:9691244阅读:来源:国知局
元,用于获取第一坐标,所述第一坐标为参考帧内的一个或多个特征点在所述第一图像帧内的对应坐标位置;
[0052]第二坐标获取单元,用于获取第二坐标,所述第二坐标为根据所述第一图像帧相对于其参考帧的运动信息估计值,计算出的参考帧内所述特征点在第一图像帧中的坐标位置预测值;
[0053]第二判断单元,用于在所述第一坐标获取单元和所述第二坐标获取单元执行操作之后,判断所述第一坐标与所述第二坐标之间的距离是否小于第一阈值,若是,则所述第一图像帧的运动信息估计值与运动信息实际参考值匹配,若否,则所述第一图像帧的运动信息估计值与运动信息实际参考值不匹配,所述第一阈值是预设的。
[0054]可选的,所述多变量函数最优化算法为坐标下降法或梯度下降法。
[0055]可选的,所述以调整后的模型参数对后续的图像帧循环进行上述处理具体是:逐帧或每隔若干帧图像或每隔固定的时间间隔以调整后的模型参数对后续的图像帧循环进行上述处理。
[0056]可选的,所述视频稳像系统模型参数的标定装置还包括:模式确认单元,用于在所述实际参考值获取单元和所述运动信息估计单元执行操作之前,确定进入模型参数标定模式,所述视频稳像系统包括稳像模式和参数标定模式。
[0057]可选的,所述视频稳像系统模型参数的标定装置还包括:第一云共享单元,用于在所述运动信息估计单元执行操作之前,根据视频稳像系统的设备型号,从云端获取该设备型号的模型参数参考值,以所述模型参数参考值作为当前模型参数的初始值。
[0058]可选的,所述视频稳像系统模型参数的标定装置还包括:第二交互单元和第二云共享单元;其中:
[0059]第二交互单元,用于在所述第一判断单元得出运动信息估计值与运动信息实际参考值匹配的判断之后,向用户询问是否将调整后的模型参数进行云共享;
[0060]第二云共享单元,用于在所述第二交互单元执行操作之后,若得到用户进行云共享的指令,则将调整后的模型参数和视频稳像设备的设备型号进行云共享。
[0061]可选的,所述视频稳像系统模型参数的标定装置还包括:第一交互单元,用于在所述第一判断单元得出运动信息估计值与运动信息实际参考值匹配的判断之后,向用户询问是否需要继续优化;若是,则继续进行模型参数的优化,并每隔预设的时间间隔或预设数量的图像帧重新向用户询问是否需要继续优化,直至得到用户不需要继续优化的指令为止。
[0062]可选的,所述模型参数为镜头焦距、运动传感器与图像传感器之间的时间戳偏移、曝光时间和运动传感器的零点偏移中的一个或多个。
[0063]为了解决上述技术问题,本发明实施例还提供一种智能终端,所述智能终端具备录像功能,包括图像传感器、运动传感器和视频稳像系统,所述视频稳像系统中包括上述视频稳像系统模型参数的标定装置。
[0064]与现有技术相比,本发明的技术方案具有以下有益效果:
[0065]仅使用最新的帧间运动估计结果,利用多变量函数最优化算法进行模型参数的迭代优化,该方法不需要将过去所有的帧间运动估计按照调整后的参数重新计算并统计匹配度,大大减小了运算复杂度,模型参数的标定过程能够由录像设备独立完成,从而实现了模型参数出厂后的终端设备在线标定。
[0066]进一步地,根据视频稳像系统的设备型号,从云端获取该设备型号的模型参数参考值,由于相同型号的设备它们的模型参数最优值通常是相近的,因此,以所述模型参数参考值作为当前模型参数的初始值,可以提高标定的效率。
[0067]进一步地,采用坐标下降法来调整模型参数时,以待调整的一个或多个模型参数作为坐标轴,并循环使用不同的坐标方向进行搜索和优化,可以有效提高优化效率。
【附图说明】
[0068]图1是本发明实施例中录像设备录像方法流程图;
[0069]图2是本发明实施例中的一种视频稳像系统模型参数的标定方法流程图;
[0070]图3是本发明实施例中的另一种视频稳像系统模型参数的标定方法流程图;
[0071]图4是本发明实施例中的视频稳像系统模型参数的标定装置结构框图。
【具体实施方式】
[0072]根据【背景技术】部分的分析可知,不同录像设备的视频稳像模型参数存在差异化,产品在首次使用之前需要标定模型参数,录像设备在出厂后的使用过程中,视频稳像系统的模型参数可能会出现漂移,采用非最优的模型参数会影响视频稳像的效果。因此,为了降低产品的量产成本,并保证用户日常使用过程中的视频稳像质量,需要一种能够在出厂后对这些模型参数进行终端设备在线标定的方法。
[0073]现有技术中出厂前的模型参数标定方法可以是使用画面特征点提取并进行相邻帧间特征点匹配的方式进行帧间的全局运动估计,也可以使用基于光流法的特征点跟踪进行帧间的全局运动估计。这种基于全局运动估计的标定方法涉及较大的运算复杂度,需要借助于计算机才能完成,而无法由录像设备本身独立进行。因此,是无法直接套用于出厂后的模型参数在线标定的。
[0074]发明人对视频稳像系统模型参数的标定方法进行了改进,仅使用最新的帧间运动估计结果,利用多变量函数最优化算法进行模型参数的迭代优化,大大减小了运算复杂度,整个模型参数的标定过程能够由录像设备独立完成而无需借助于计算机,从而实现了模型参数出厂后的终端设备在线标定,生产厂家不必在出厂前对终端设备进行标定工作,降低其生产成本。
[0075]为使本领域技术人员更好地理解和实现本发明,以下参照附图,通过具体实施例进行详细说明。
[0076]首先对录像设备从图像帧采集到完成视频稳像的过程进行简要介绍,参照图1所示的录像设备录像方法流程图。
[0077]S101,图像传感器采集到图像帧,将图像帧与采样时间对应存储。
[0078]录像设备通常以帧为单位对视频进行处理。
[0079]录像设备通过图像传感器采集到一帧图像帧后,以数字形式存储该图像帧,同时也会记录该图像帧对应的时间戳。
[0080]S102,运动传感器感知到录像设备的抖动路径,将抖动路径与采样时间对应存储。
[0081]录像设备通过运动传感器感知录像设备的运动路径,并将该运动路径与采样时间对应存储。录像设备可以包括图像传感器、运动传感器、视频稳像系统和视频压缩系统等。假定录像设备中各部件的运动路径相同,即认为运动传感器的运动路径等于整个录像设备的运动路径,又等于图像传感器的运动路径。
[0082]S103,根据当前的模型参数,进行图像帧与抖动路径在时间上的对应。
[0083]由于运动传感器获得的录像设备运动路径(或称为抖动路径)是即时的,而图像传感器从图像帧被采样到帧间运动估计需要花费一定的运算时间(通常是几毫秒),因此,运动传感器和图像传感器之间会存在一定的时间戳偏移(timing delay, td)。
[0084]时间戳偏移是视频稳像过程中涉及的一个重要的模型参数,也是本申请所要标定的模型参数之一。
[0085]对于采样到的图像帧和抖动路径,进行时间戳对应步骤,即根据系统中存储的时间戳偏移(当前模型参数),进行图像帧与抖动路径在时间上的对应。
[0086]可以理解的是,若采用非最优的时间戳偏移,就会在此步骤中错误地将h时刻采集到的图像帧与t2时刻录像设备的抖动路径对应(tl Φ t2),从而对稳像效果带来不利影响。
[0087]S104,根据当前的模型参数和图像帧所对应的抖动路径,对该图像帧进行抖动估计和抖动补偿。
[0088]在完成了图像帧和抖动路径在时间上的对应之后,可以先进行抖动路径平滑,而后进行抖动估计和抖动补偿。
[0089]当然,在极端的情况下,理论上也可以跳过抖动路径平滑的步骤,直接进行抖动估计和抖动补偿。
[0090]在完成了抖动补偿之后,即是完成视频稳像。录像设备后续会对完成视频稳像之后的图像帧进行视频压缩并存储。
[0091]如下所述,本发明实施例提供一种视频稳像系统模型参数的标定方法。
[0092]参照图2所示的视频稳像系统模型参数的标定方法流程图,以下通过具体步骤进行详细说明:
[0093]S201,通过图像传感器采集图像帧。
[0094]采集到的图像帧通常以帧为单位进行存储,录像设备在存储图像帧的同时,也会记录该图像帧被采样到的时间,即该图像帧对应的时间戳。视频稳像过程以及模型参数的标定过程中需要根据时间戳来实现图像帧与运动传感器采集到的抖动路径对应。
[0095]S202,采用特征点匹配或者基于光流法的特征点跟踪或者块匹配的方法获取第一图像帧相对于其参考帧的运动信息实际参考值。
[0096]该运动信息实际参考值为一个或多个特征点在所述第一图像帧与其参考帧之间位置的对应关系。
[0097]如前所述,现有技术中调用过去大量图像帧的帧间运动估计结果来获得各个模型参数相对于这些图像帧的全局最优值。而本发明则是每次迭代优化仅使用一帧图像帧(称为第一图像帧)的帧间运动估计结果。
[0098]帧间运动信息是描述当前帧与参考帧之间变化的信息,即参考帧的图像内容经过何种变换之后可以得到当前帧的图像内容。其中,所述变换可以是平移、旋转、缩放等中的一种或多种。
[0099]此步骤中得到的第一图像帧相对于其参考帧的帧间运动信息是帧间运动信息的实际参考值。在后续步骤中,会通过另一种方法得到运动信息的估计值。
[0100]现有技术中存在多种得到帧间运动信息实际参考值的方法,具体可以是特征点匹配或者基于光流法的特征点跟踪或者块匹配等,本发明对此不作限定。
[0101]上述得到帧间运动信息实际参考值的方法通常会涉及较大的运算复杂度。因此,实际的视频稳像过程中并不采用上述方法来获取帧间运动信息,而是仅仅借助于上述方法来进行模型参数的标
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1