智能终端及其视频稳像系统模型参数的标定方法及装置的制造方法_4

文档序号:9691244阅读:来源:国知局
相同),因此,在此步骤前,可以先根据视频稳像系统的设备型号,从云端获取该设备型号的模型参数参考值,以所述模型参数参考值作为当前模型参数的初始值,从而提高标定的效率。
[0146]S305,判断所述第一图像帧的运动信息估计值与运动信息实际参考值是否匹配。
[0147]S306,以一个或多个模型参数作为变量,采用多变量函数最优化算法调整所述模型参数。
[0148]步骤S302至S306可以参照先前对步骤S201至S205的说明,此处不再赘述。
[0149]循环执行步骤S303至S306,直至在步骤S305中得出运动信息估计值与运动信息实际参考值匹配的判断为止。
[0150]通过上述对技术方案的描述可以看出:本实施例仅使用最新的帧间运动估计结果,利用多变量函数最优化算法进行模型参数的迭代优化,该方法不需要将过去所有的帧间运动估计按照调整后的参数重新计算并统计匹配度,大大减小了运算复杂度,模型参数的标定过程能够由录像设备独立完成,从而实现了模型参数出厂后的终端设备在线标定。
[0151]S307,根据用户的指令,确定是否结束模型参数的调整。
[0152]如前所述,运动信息估计值与运动信息实际参考值是否匹配的判断很大程度上取决于预设的第一阈值。在实际应用中,有些用户希望尽快完成模型参数的标定,有些用户则愿意在标定过程中花费更多的时间以获得更好的稳像效果。
[0153]针对用户的上述个性化需求,在步骤S305得出运动信息估计值与运动信息实际参考值匹配的判断之后,可以通过屏幕显示或语音提示的方式向用户询问是否需要继续优化。
[0154]若是,则继续进行模型参数的优化,并每隔预设的时间间隔或预设数量的图像帧重新向用户询问是否需要继续优化,直至得到用户不需要继续优化的指令为止;若否,则执行后续步骤。
[0155]S308,根据用户的指令,确定是否将调整后的模型参数进行云共享。
[0156]在得到用户不需要继续优化的指令后,结束模型参数的调整。
[0157]在结束模型参数的调整后,可以进一步向用户询问是否将调整后的模型参数进行云共享。若是,则执行后续步骤;若否,则流程结束。
[0158]S309,将调整后的模型参数和视频稳像设备的设备型号进行云共享。
[0159]在得到用户进行云共享的指令之后,进行云共享。由于相同型号的设备它们的模型参数最优值通常是相近的,因此,在云共享时,除了提交调整后的模型参数以外,还会同时提交视频稳像设备的设备型号,此外,还可以进一步提交一些会对模型参数产生影响的相关系统参数设置。
[0160]如下所述,本发明实施例提供一种视频稳像系统模型参数的标定装置。
[0161]参照图4所示的视频稳像系统模型参数的标定装置结构框图:
[0162]所述视频稳像系统模型参数的标定装置包括:实际参考值获取单元401、运动信息估计单元402、第一判断单元403和优化单元404 ;其中各单元的主要功能如下:
[0163]实际参考值获取单元401,用于采用特征点匹配或者基于光流法的特征点跟踪或者块匹配的方法获取第一图像帧相对于其参考帧的运动信息实际参考值,该运动信息实际参考值为一个或多个特征点在所述第一图像帧与其参考帧之间位置的对应关系,所述第一图像帧由图像传感器采集到;
[0164]运动信息估计单元402,用于根据当前的模型参数以及运动传感器采集到的抖动数据,对所述第一图像帧的运动模型进行估计,得出运动信息估计值;
[0165]第一判断单元403,用于在所述实际参考值获取单元401和所述运动信息估计单元402执行操作之后,判断所述第一图像帧的运动信息估计值与运动信息实际参考值是否匹配;
[0166]优化单元404,用于在所述第一判断单元403得出所述第一图像帧的运动信息估计值与运动信息实际参考值不匹配的判断之后,以一个或多个模型参数作为变量,采用多变量函数最优化算法调整所述模型参数;
[0167]所述实际参考值获取单元401、运动信息估计单元402、第一判断单元403和优化单元404以调整后的模型参数对后续的图像帧循环进行上述处理,直至所述第一判断单元得出图像帧的运动信息估计值与运动信息实际参考值匹配的判断为止。
[0168]其中,所述模型参数具体可以是镜头焦距、运动传感器与图像传感器之间的时间戳偏移、曝光时间和运动传感器的零点偏移中的一个或多个。
[0169]通过上述对技术方案的描述可以看出:本实施例仅使用最新的帧间运动估计结果,利用多变量函数最优化算法进行模型参数的迭代优化,该方法不需要将过去所有的帧间运动估计按照调整后的参数重新计算并统计匹配度,大大减小了运算复杂度,模型参数的标定过程能够由录像设备独立完成,从而实现了模型参数出厂后的终端设备在线标定。
[0170]在具体实施中,所述运动信息估计单元402可以包括:第一存储单元、时间戳对应单元、运动模型估计单元;其中:
[0171]第一存储单元,用于在运动传感器感知到录像设备的抖动路径之后,将抖动路径与采样时间对应存储;
[0172]时间戳对应单元,用于根据当前的模型参数,进行图像帧与抖动路径在时间上的对应;
[0173]运动模型估计单元,用于在所述时间戳对应单元执行操作之后,根据当前的模型参数以及第一图像帧对应的抖动路径,对所述第一图像帧相对于图像传感器坐标系或者世界坐标系的运动模型进行估计。
[0174]在具体实施中,所述第一判断单元403可以包括:第一坐标获取单元、第二坐标获取单元和第二判断单元;其中:
[0175]第一坐标获取单元,用于获取第一坐标,所述第一坐标为参考帧内的一个或多个特征点在所述第一图像帧内的对应坐标位置;
[0176]第二坐标获取单元,用于获取第二坐标,所述第二坐标为根据所述第一图像帧相对于其参考帧的运动信息估计值,计算出的参考帧内所述特征点在第一图像帧中的坐标位置预测值;
[0177]第二判断单元,用于在所述第一坐标获取单元和所述第二坐标获取单元执行操作之后,判断所述第一坐标与所述第二坐标之间的距离是否小于第一阈值,若是,则所述第一图像帧的运动信息估计值与运动信息实际参考值匹配,若否,则所述第一图像帧的运动信息估计值与运动信息实际参考值不匹配,所述第一阈值是预设的。
[0178]所述多变量函数最优化算法具体可以采用坐标下降法或梯度下降法或其他现有的多变量函数最优化算法。本发明对于具体的最优化算法的选择不作限定。
[0179]当采用坐标下降法来调整模型参数时,以待调整的一个或多个模型参数作为坐标轴,并循环使用不同的坐标方向进行搜索和优化,可以有效提高优化效率。
[0180]在具体实施中,所述以调整后的模型参数对后续的图像帧循环进行上述处理具体可以是:逐帧或每隔若干帧图像或每隔固定的时间间隔以调整后的模型参数对后续的图像帧循环进行上述处理。
[0181]在具体实施中,所述标定装置还可以包括:模式确认单元405,用于在所述实际参考值获取单元401和所述运动信息估计单元402执行操作之前,确定进入模型参数标定模式,所述视频稳像系统包括稳像模式和参数标定模式。
[0182]在具体实施中,所述标定装置还可以包括:第一云共享单元406,用于在所述运动信息估计单元402执行操作之前,根据视频稳像系统的设备型号,从云端获取该设备型号的模型参数参考值,以所述模型参数参考值作为当前模型参数的初始值。
[0183]通过上述对技术方案的描述可以看出:本实施例根据视频稳像系统的设备型号,从云端获取该设备型号的模型参数参考值,由于相同型号的设备它们的模型参数最优值通常是相近的,因此,以所述模型参数参考值作为当前模型参数的初始值,可以提高标定的效率。
[0184]在具体实施中,所述标定装置还可以包括:第二交互单元409和第二云共享单元407 ;其中:
[0185]第二交互单元409,用于在所述第一判断单元403得出运动信息估计值与运动信息实际参考值匹配的判断之后,向用户询问是否将调整后的模型参数进行云共享;
[0186]第二云共享单元407,用于在所述第二交互单元409执行操作之后,若得到用户进行云共享的指令,则将调整后的模型参数和视频稳像设备的设备型号进行云共享。
[0187]在具体实施中,所述标定装置还可以包括:第一交互单元408,用于在所述第一判断单元403得出运动信息估计值与运动信息实际参考值匹配的判断之后,向用户询问是否需要继续优化;若是,则继续进行模型参数的优化,并每隔预设的时间间隔或预设数量的图像帧重新向用户询问是否需要继续优化,直至得到用户不需要继续优化的指令为止。
[0188]如下所述,本发明实施例提供一种智能终端。
[0189]所述智能终端具备录像功能,包括图像传感器、运动传感器和视频稳像系统。
[0190]与现有技术的不同之处在于,该智能终端的视频稳像系统中包括如本发明实施例中所提供的视频稳像系统模型参数的标定装置。因而该智能终端能够仅使用最新的帧间运动估计结果,利用多变量函数最优化算法进行模型参数的迭代优化,该方法不需要将过去所有的帧间运动估计按照调整后的参数重新计算并统计匹配度,大大减小了运算复杂度,模型参数的标定过程能够由录像设备独立完成,从而实现了模型参数出厂后的终端设备在线标定,生产厂家不必在出厂前对终端设备进行标定工作,降低其生产成本。
[0191]本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
[0192]虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1