智能终端及其视频稳像系统模型参数的标定方法及装置的制造方法
【技术领域】
[0001]本发明涉及电子信息技术领域，特别是涉及一种智能终端及其视频稳像系统模型参数的标定方法及装置。
【背景技术】
[0002]录像设备在录像过程中，设备本身的抖动会导致其采集到的原始视频也存在相应的抖动。尤其是对于一些具备录像功能的便携式手持移动终端来说，其在摄像时抖动幅度较大，因而采集到的原始视频也常常会伴随有明显的画面抖动。
[0003]近年来，随着运动传感器的成熟，录像设备可以借助于运动传感器来感知设备的抖动，从而用于视频画面的稳像和防抖。
[0004]基于运动传感器的视频稳像方案可以分为光学防抖方案和数字防抖方案。光学防抖方案在相机模组中使用专用的运动传感器以及机械马达控制结构，根据当前成像过程中的相机运动信息，通过马达控制成像系统，补偿相机相对于场景的运动(主要是无规则抖动成分)，从而获得稳定的视频序列。数字防抖方案同样需要建立运动传感器数据和视频画面的抖动之间的联系，并通过对已成像画面进行平移、旋转甚至透视变换，从而重新建立稳定的视频序列。
[0005]视频稳像系统在运动传感器和视频画面的运动补偿之间，需要建立一系列的模型参数，例如:镜头焦距、运动传感器与图像传感器之间的时间戳偏移、曝光时间、运动传感器的零点偏移等等。
[0006]这些模型参数受到相机模组的差异化(镜头焦距、图像传感器分辨率、曝光时间的差异等)、运动传感器接入相机系统的方式、图像成像系统的处理过程等等影响，其个体化差异明显。因此，模型参数需要针对单一型号甚至是单一设备进行标定，才能获得最佳的视频稳像效果。
[0007]现有技术中，通常会在产品出厂前，针对每一种产品系列分别进行这些模型参数的标定。该方案主要包括如下几方面的缺陷:
[0008]1)产品在出厂后的使用过程中，这些模型参数可能会出现漂移。根据现有的模型参数离线标定及出厂前预置参数的方案，在产品出厂后，用户无法自行完成这些模型参数的在线标定。在模型参数出现漂移，影响稳像效果时，只有通过售后服务的方式解决；
[0009]2)现有技术针对每一种产品系列分别进行这些模型参数的标定，即假定了同一系列的每一台设备，它们的模型参数都是相同的。但事实上对于每一台设备来说，这些模型参数的最优值不尽相同，采用非最优的模型参数会影响视频稳像的效果；
[0010]3)这些参数标定需求增加了量产制造的成本，对相机的整体系统设计提出了额外的需求。
[0011]视频稳像系统的模型参数具备个体化差异明显以及使用过程中会发生参数漂移的特点，对于这样的模型参数，如何实现其出厂后的再标定是降低设备生产成本及持续保证视频稳像效果的一个难题。
[0012]值得注意的是，现有技术中出厂前的模型参数标定方法是无法直接套用于终端设备出厂后的在线标定的。
[0013]具体地，现有技术中基于画面内容的帧间运动估计，通常可以使用画面特征点提取并进行相邻帧间特征点匹配的方式进行帧间的全局运动估计，也可以使用基于光流法的特征点跟踪进行帧间的全局运动估计。
[0014]在全局运动估计的过程中，需要调用过去大量图像帧的帧间运动估计结果，例如一次性获取1000帧图像，采用如前所述的画面特征点提取并进行相邻帧间特征点匹配的方式或者是基于光流法的特征点跟踪来获得各个模型参数相对于这1000帧图像的全局最优值。
[0015]上述获得全局最优值过程涉及较大的运算复杂度，需要借助于计算机离线完成，而无法由录像设备本身独立进行。因此，这种基于全局运动估计的标定方法无法直接套用于出厂后的模型参数在线标定。
【发明内容】
[0016]本发明解决的技术问题是:对于视频稳像系统模型参数个体化差异明显或者使用过程中会发生参数漂移的特点，如何实现这些模型参数出厂后的在线标定，从而降低出厂前的生产成本以及产品售后维护成本。
[0017]为了解决上述技术问题，本发明实施例提供一种视频稳像系统模型参数的标定方法，包括:
[0018]采用特征点匹配或者基于光流法的特征点跟踪或者块匹配的方法获取第一图像帧相对于其参考帧的运动信息实际参考值，该运动信息实际参考值为一个或多个特征点在所述第一图像帧与其参考帧之间位置的对应关系，所述第一图像帧由图像传感器采集到；
[0019]根据当前的模型参数以及运动传感器采集到的抖动数据，对所述第一图像帧的运动模型进行估计，得出运动信息估计值；
[0020]判断所述第一图像帧的运动信息估计值与运动信息实际参考值是否匹配；
[0021]若否，则以一个或多个模型参数作为变量，采用多变量函数最优化算法调整所述模型参数；
[0022]以调整后的模型参数对后续的图像帧循环执行上述步骤，直至图像帧的运动信息估计值与运动信息实际参考值匹配为止。
[0023]可选的，所述根据当前的模型参数以及运动传感器采集到的抖动数据，对所述第一图像帧的运动模型进行估计，得出运动信息估计值包括:
[0024]运动传感器感知到录像设备的抖动路径，将抖动路径与采样时间对应存储；
[0025]根据当前的模型参数，进行图像帧与抖动路径在时间上的对应；
[0026]根据当前的模型参数以及第一图像帧对应的抖动路径，对所述第一图像帧相对于图像传感器坐标系或者世界坐标系的运动模型进行估计。
[0027]可选的，所述判断所述第一图像帧的运动信息估计值与运动信息实际参考值是否匹配包括:
[0028]获取第一坐标，所述第一坐标为参考帧内的一个或多个特征点在所述第一图像帧内的对应坐标位置；
[0029]获取第二坐标，所述第二坐标为根据所述第一图像帧相对于其参考帧的运动信息估计值，计算出的参考帧内所述特征点在第一图像帧中的坐标位置预测值；
[0030]判断所述第一坐标与所述第二坐标之间的距离是否小于第一阈值，若是，则所述第一图像帧的运动信息估计值与运动信息实际参考值匹配，若否，则所述第一图像帧的运动信息估计值与运动信息实际参考值不匹配，所述第一阈值是预设的。
[0031]可选的，所述多变量函数最优化算法为坐标下降法或梯度下降法。
[0032]可选的，所述以调整后的模型参数对后续的图像帧循环执行上述步骤具体是:逐帧或每隔若干帧图像或每隔固定的时间间隔以调整后的模型参数对后续的图像帧循环执行上述步骤。
[0033]可选的，在所述获取第一图像帧相对于其参考帧的运动信息实际参考值之前，还包括:
[0034]确定进入模型参数标定模式，所述视频稳像系统包括稳像模式和参数标定模式。
[0035]可选的，在所述对所述第一图像帧的运动模型进行估计，得出运动信息估计值之前，还包括:
[0036]根据视频稳像系统的设备型号，从云端获取该设备型号的模型参数参考值，以所述模型参数参考值作为当前模型参数的初始值。
[0037]可选的，在得出运动信息估计值与运动信息实际参考值匹配的判断之后，向用户询问是否将调整后的模型参数进行云共享；若是，则将调整后的模型参数和视频稳像设备的设备型号进行云共享。
[0038]可选的，在得出运动信息估计值与运动信息实际参考值匹配的判断之后，向用户询问是否需要继续优化；若是，则继续进行模型参数的优化，并每隔预设的时间间隔或预设数量的图像帧重新向用户询问是否需要继续优化，直至得到用户不需要继续优化的指令为止。
[0039]可选的，所述模型参数为镜头焦距、运动传感器与图像传感器之间的时间戳偏移、曝光时间和运动传感器的零点偏移中的一个或多个。
[0040]为了解决上述技术问题，本发明实施例还提供一种视频稳像系统模型参数的标定装置，包括:实际参考值获取单元、运动信息估计单元、第一判断单元和优化单元；其中:
[0041]实际参考值获取单元，用于采用特征点匹配或者基于光流法的特征点跟踪或者块匹配的方法获取第一图像帧相对于其参考帧的运动信息实际参考值，该运动信息实际参考值为一个或多个特征点在所述第一图像帧与其参考帧之间位置的对应关系，所述第一图像帧由图像传感器采集到；
[0042]运动信息估计单元，用于根据当前的模型参数以及运动传感器采集到的抖动数据，对所述第一图像帧的运动模型进行估计，得出运动信息估计值；
[0043]第一判断单元，用于在所述实际参考值获取单元和所述运动信息估计单元执行操作之后，判断所述第一图像帧的运动信息估计值与运动信息实际参考值是否匹配；
[0044]优化单元，用于在所述第一判断单元得出所述第一图像帧的运动信息估计值与运动信息实际参考值不匹配的判断之后，以一个或多个模型参数作为变量，采用多变量函数最优化算法调整所述模型参数；
[0045]所述实际参考值获取单元、运动信息估计单元、第一判断单元和优化单元以调整后的模型参数对后续的图像帧循环进行上述处理，直至所述第一判断单元得出图像帧的运动信息估计值与运动信息实际参考值匹配的判断为止。
[0046]可选的，所述运动信息估计单元包括:第一存储单元、时间戳对应单元、运动模型估计单元；其中:
[0047]第一存储单元，用于在运动传感器感知到录像设备的抖动路径之后，将抖动路径与采样时间对应存储；
[0048]时间戳对应单元，用于根据当前的模型参数，进行图像帧与抖动路径在时间上的对应；
[0049]运动模型估计单元，用于在所述时间戳对应单元执行操作之后，根据当前的模型参数以及第一图像帧对应的抖动路径，对所述第一图像帧相对于图像传感器坐标系或者世界坐标系的运动模型进行估计。
[0050]可选的，所述第一判断单元包括:第一坐标获取单元、第二坐标获取单元和第二判断单元；其中:
[0051]第一坐标获取单