用于视频防抖性能测评的抖动轨迹生成方法、装置及系统与流程
本发明涉及防抖性能测评技术领域，特别涉及一种用于视频防抖性能测评的抖动轨迹生成方法、装置及系统。
背景技术：
人手持终端拍摄视频时的抖动，是导致视频像质下降的重要原因。为缓解拍摄过程中抖动对像质造成的影响，摄像头防抖技术应运而生。如何对摄像头的防抖性能进行客观全面的评价，就显得尤为重要。现有视频防抖性能测评方式，多将被测设备置于特定抖动场景中，以模拟实际使用状态，进而对摄像头获取视频进行分析，得到测试结果和结论。因此，科学的生成和选取用于模拟抖动场景的运动轨迹，在防抖性能的测评中起着至关重要的作用。
现已提出基于不同抖动轨迹进行防抖性能测试。如：将具有固定频率、固定振幅的周期性往复运动轨迹用于防抖性能测评，该方式导致抖动轨迹仅包含单一频率和振幅，或仅包含有限几个频率和振幅的组合。因人手真实抖动轨迹复杂多变，为各种频率、振幅的随机组合，有限的频率和振幅无法涵盖用户真实使用场景，因此，采用该方式的防抖性能测评，只能在几个固定维度体现移动终端的防抖性能，无法全面体现被测设备实际使用时的真实防抖性能。又如：人工手持设备再现抖动场景，进而实施防抖性能测评，该方式偶然性和不确定性大，即使是同一个人，在相同的环境下，也不可能保证每次测试都按照同一轨迹进行抖动，难以保证运动轨迹的复现性，进而无法保证多次测评的一致性。该方式受到时间资源和人力资源的限制，难以在每次测评时都能调集足够的测试人员现场再现抖动场景，采集足够的视频样本进行测评，以抵消不同人员手持设备时抖动轨迹特性的差异。而要达到足够大的样本量，耗时耗力，一旦样本量不足以抵消个人差异，就难以保证抖动轨迹的普遍适用性。
技术实现要素：
本发明实施例提供了一种用于视频防抖性能测评的抖动轨迹生成方法，包括：
获取多个被采样者手持终端多次运动间拍摄视频时对应的多个第一多轴向运动数据；
对所述多个第一多轴向运动数据进行数据转换，获得多个第一多轴向位移数据，其中，每个第一多轴向位移数据组成一条抖动轨迹；
获取每条抖动轨迹对应的抖动场景下的拍摄视频；
对所述拍摄视频进行处理，获得每条轨迹对应的测评数据；
以测评数据为聚类维度，采用聚类算法对多条抖动轨迹进行分类，获得多个类别的抖动轨迹；
根据相应的测评数据，对每一类别的抖动轨迹进行聚类有效性评估；
当每一类别的抖动轨迹的聚类有效时，在每一类别的抖动轨迹中选取到质心距离最小的抖动轨迹作为每一类别的代表性抖动轨迹。
本发明实施例提供了一种用于视频防抖性能测评的抖动轨迹生成装置，包括：
多轴向运动数据获取模块，用于获取多个被采样者手持终端多次运动间拍摄视频时对应的多个第一多轴向运动数据；
数据转换模块，用于对所述多个第一多轴向运动数据进行数据转换，获得多个第一多轴向位移数据，其中，每个第一多轴向位移数据组成一条抖动轨迹；
视频获取模块，用于获取每条抖动轨迹对应的抖动场景下的拍摄视频；
视频处理模块，用于对所述拍摄视频进行处理，获得每条轨迹对应的测评数据；
聚类模块，用于以测评数据为聚类维度，采用聚类算法对多条抖动轨迹进行分类，获得多个类别的抖动轨迹；
聚类有效性评估模块，用于根据相应的测评数据，对每一类别的抖动轨迹进行聚类有效性评估；
代表性抖动轨迹选取模块，用于当每一类别的抖动轨迹的聚类有效时，在每一类别的抖动轨迹中选取到质心距离最小的抖动轨迹作为每一类别的代表性抖动轨迹。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述用于视频防抖性能测评的抖动轨迹生成方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述用于视频防抖性能测评的抖动轨迹生成方法的计算机程序。
本发明实施例还提供了一种用于视频防抖性能测评的抖动轨迹生成系统，包括：
具备防抖功能的终端、多轴向运动数据采集装置、上述所述的用于视频防抖性能测评的抖动轨迹生成装置、振动平台和无防抖功能的终端；其中，多轴向运动数据采集装置附于具备防抖功能的移动终端上，无防抖功能的终端置于振动平台上；
所述具备防抖功能的终端用于：多个被采样者手持所述具备防抖功能的终端进行多次视频拍摄动作；
所述多轴向运动数据采集装置用于：在被采样者进行多次运动间拍摄视频动作时，获取多个第一多轴向运动数据，将所述多个第一多轴向运动数据传至用于视频防抖性能测评的抖动轨迹生成装置；
所述用于视频防抖性能测评的抖动轨迹生成装置还用于：接收所述多轴向运动数据采集装置发送的所述多个第一多轴向运动数据；将抖动轨迹传输给所述振动平台；接收所述无防抖功能的终端发送的所述视频及对应的抖动轨迹；
所述振动平台用于：按照每条抖动轨迹进行相应的抖动；
所述无防抖功能的终端用于：在每条抖动轨迹对应的抖动场景下拍摄视频，将所述视频及对应的抖动轨迹发送至所述用于视频防抖性能测评的抖动轨迹生成装置。
在本发明实施例中，通过获取多个被采样者手持终端多次视频时对应的多个第一多轴向运动数据并对其进行分析处理，最终生成能够模拟人手持设备时的抖动轨迹集合，利用抖动轨迹真实还原抖动场景，对抖动场景下拍摄的视频处理获得测评数据，以测评数据为聚类维度，采用聚类算法对多条抖动轨迹进行分类，根据相应的测评数据，对每一类别的抖动轨迹进行聚类有效性评估，当每一类别的抖动轨迹的聚类有效时，在每一类别的抖动轨迹中选取到质心距离最小的抖动轨迹作为每一类别的代表性抖动轨迹，这样的抖动轨迹具有可复现性，可用于对防抖智能终端进行更为科学全面的测评，有利于保障测试结果的准确性和一致性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种用于视频防抖性能测评的抖动轨迹生成方法流程图(一)；
图2是本发明实施例提供的一种用于视频防抖性能测评的抖动轨迹生成方法流程图(二)；
图3是本发明实施例提供的一种描述空间抖动轨迹所采用的坐标系；
图4是本发明实施例提供的一种用于视频防抖性能测评的抖动轨迹生成方法流程图(三)；
图5是本发明实施例提供的一种最终选取的其中一条代表性轨迹示例图；
图6是本发明实施例提供的一种用于视频防抖性能测评的抖动轨迹生成装置结构框图(一)；
图7是本发明实施例提供的一种用于视频防抖性能测评的抖动轨迹生成装置结构框图(二)；
图8是本发明实施例提供的一种用于视频防抖性能测评的抖动轨迹生成装置结构框图(三)。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在介绍本发明实施例之前，首先对相应的技术术语进行介绍。
聚类：将物理或抽象对象的集合分成由类似的对象组成的多个类的过程。
锐度：反映视频清晰度和视频边缘锐利程度的一个指标，是用于综合度量空间频率响应的客观指标，与主观清晰度相关。
变异系数：原始数据标准差与原始数据平均值的比。
因现有防抖测评中应用的抖动场景再现方案在真实性、可复现性、普遍适用性等方面存在缺陷，因此，在本发明实施例中，提供了一种用于视频防抖性能测评的抖动轨迹生成方法，如图1所示，该方法包括：
步骤101：获取多个被采样者手持终端多次运动间拍摄视频时对应的多个第一多轴向运动数据；
步骤102：对所述多个第一多轴向运动数据进行数据转换，获得多个第一多轴向位移数据，其中，每个第一多轴向位移数据组成一条抖动轨迹；
步骤103：获取每条抖动轨迹对应的抖动场景下的拍摄视频；
步骤104：对所述拍摄视频进行处理，获得每条轨迹对应的测评数据；
步骤105：以测评数据为聚类维度，采用聚类算法对多条抖动轨迹进行分类，获得多个类别的抖动轨迹；
步骤106：根据相应的测评数据，对每一类别的抖动轨迹进行聚类有效性评估；
步骤107：当每一类别的抖动轨迹的聚类有效时，在每一类别的抖动轨迹中选取到质心距离最小的抖动轨迹作为每一类别的代表性抖动轨迹。
在本发明实施例中，步骤101中所述的采样者是选定的具有代表性的样本人群，采样人群的年龄段为20～49岁、性别比例约为1:1，样本空间涵盖移动终端主要使用人群。
步骤101中所述的第一多轴向运动数据是通过附于移动终端上的线性加速度传感器和/或陀螺仪传感器在被采样者手持移动终端进行步行手持拍摄视频动作时获取的。具体的，利用java程序控制传感器分别以最高采样速率实时采集被采样者的3轴线性加速度数据和/或3轴角速度数据，然后将第一多轴向运动数据以文本文件格式输出并记录于存储设备。其中，每个被采样者需进行3次(或多次)采集过程，以避免单次采样的偶然性。
在本发明实施例中，步骤102中按照如下方式进行数据转换：
当所述第一多轴向运动数据包括3轴线性加速度数据时，对3轴线性加速度数据采用时域二重积分进行数据转换，获得3轴线位移数据。
具体采用的公式如下：
根据各时间点的线性加速度数据，由式(1)可得各时刻线速度
其中，n为采样点个数，
以开始采集数据时刻为线位移零点，即
其中，
当所述第一多轴向运动数据包括3轴角速度数据时，对3轴角速度数据采用时域一重积分进行数据转换，获得3轴角位移数据。
具体采用的公式如下：
以开始采集数据时刻为角位移零点，即
其中，n为采样点个数，
当所述第一多轴向运动数据包括3轴线性加速度数据和3轴角速度数据时，采用上述公式(1)至(3)对3轴线性加速度数据和3轴角速度数据进行处理。
在本发明实施例中，在采用上述时域积分计算之后，数据会因时域积分计算而产生累积误差，并且包含不属于抖动动作的低频位移分量，因此，在执行完步骤102之后，如图2所示，该用于视频防抖性能测评的抖动轨迹生成方法还包括：
步骤102-3：利用二阶巴特沃斯高通滤波器对所述第一多轴向位移数据进行高通滤波，滤除时域积分带来的累积误差以及不属于抖动动作的低频位移分量。
经过上述处理之后，各样本每次采集过程中3轴线位移和/或3轴角位移信息组成一条抖动轨迹，所有抖动轨迹保存于运动轨迹数据库。比如，图3描述了空间抖动轨迹所采用的坐标系，该坐标系采用的是6轴坐标系：3轴线性加速度和3轴角速度数据。
在本发明实施例中，步骤103中的拍摄视频是由一台无防抖功能的终端对包含自动检测标记和灰阶的标准枯叶图卡(也可以是别的物体)拍摄获得的。其中，该无防抖功能的终端置于振动平台上，该振动平台可以为6轴振动平台，将抖动轨迹数据库中的每条抖动轨迹数据传输给6轴振动平台，振动平台根据抖动轨迹数据描述的轨迹再现抖动场景，无防抖功能的终端在每条轨迹对应的抖动场景下拍摄视频。
在本发明实施例中，步骤104中对拍摄视频处理获得的测评数据可以包括锐度时域标准差(观测条件：电脑1:1大小显示，观看距离600mm)、锐度时域平均值(观测条件：电脑1:1大小显示，观看距离600mm)、垂直方向位移的时域标准差、水平方向位移的时域标准差、沿摄像头光轴转角的时域标准差，待用于轨迹的分类和筛选。
在本发明实施例中，由于多个测评数据的计量单位及变异程度不同，所以要对多个测评数据进行标准化。具体的，如图4所示，该用于视频防抖性能测评的抖动轨迹生成方法还包括：
步骤104-5：采用0均值标准化(z-scorestandardization)方法对多个测评数据进行预处理，获得具有相同度量标准的多个测评数据。这样可以使得不同维度之间的测评数据在数值上具有相同的度量标准。
在本发明实施例中，步骤105：采用k-means聚类算法对抖动轨迹进行分类，聚类采用的维度覆盖像质损失评测中锐度时域标准差(观测条件：电脑1:1大小显示，观看距离600mm)、锐度时域平均值(观测条件：电脑1:1大小显示，观看距离600mm)、垂直方向位移的时域标准差、水平方向位移的时域标准差、沿摄像头光轴转角的时域标准差5项像质测评数据。
在本发明实施例中，步骤106具体利用各测评数据每一类内所有个体的变异系数，对聚类结果进行有效性评估。具体的，其包括：
步骤1061：确定每一聚类维度对应的每一类别的抖动轨迹中的抖动轨迹个数；
步骤1062：根据相应的测评数据、所述抖动轨迹个数，确定每一类别的抖动轨迹对应的变异系数；
具体的，变异系数具体按照如下方式确定：
根据相应的测评数据和所述抖动轨迹个数，确定每一类别的抖动轨迹对应的平均值和标准差；
根据所述平均值和标准差确定变异系数。
步骤1063：将所述变异系数与预设阈值(可以是0.15)进行比较，若所述变异系数不大于预设阈值，则认为相应类别的抖动轨迹的聚类有效；若所述变异系数大于预设阈值，则认为相应类别的抖动轨迹的聚类无效，需对聚类算法进行调整，重新进行聚类及聚类的有效性评估，直至所有变异系数不大于0.15为止。
在本发明实施例中，步骤107具体包括：
在聚类结果的各类别中选取到质心距离最小的抖动轨迹为每类的代表性轨迹，可应用于防抖测评的抖动场景模拟。其中，图5为最终选取的其中一条代表性轨迹示例图。
基于同一发明构思，本发明实施例中还提供了一种用于视频防抖性能测评的抖动轨迹生成装置，如下面的实施例所述。由于用于视频防抖性能测评的抖动轨迹生成装置解决问题的原理与用于视频防抖性能测评的抖动轨迹生成方法相似，因此用于视频防抖性能测评的抖动轨迹生成装置的实施可以参见用于视频防抖性能测评的抖动轨迹生成方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是本发明实施例的用于视频防抖性能测评的抖动轨迹生成装置结构框图(一)，如图6所示，包括：
多轴向运动数据获取模块601，用于获取多个被采样者手持终端多次运动间拍摄视频时对应的多个第一多轴向运动数据；
数据转换模块602，用于对所述多个第一多轴向运动数据进行数据转换，获得多个第一多轴向位移数据，其中，每个第一多轴向位移数据组成一条抖动轨迹；
视频获取模块603，用于获取每条抖动轨迹对应的抖动场景下的拍摄视频；
视频处理模块604，用于对所述拍摄视频进行处理，获得每条轨迹对应的测评数据；
聚类模块605，用于以测评数据为聚类维度，采用聚类算法对多条抖动轨迹进行分类，获得多个类别的抖动轨迹；
聚类有效性评估模块606，用于根据相应的测评数据，对每一类别的抖动轨迹进行聚类有效性评估；
代表性抖动轨迹选取模块607，用于当每一类别的抖动轨迹的聚类有效时，在每一类别的抖动轨迹中选取到质心距离最小的抖动轨迹作为每一类别的代表性抖动轨迹。
下面对该结构进行说明。
在本发明实施例中，所述第一多轴向运动数据包括3轴线性加速度数据和/或3轴角速度数据。
在本发明实施例中，所述数据转换模块602具体用于：
按照如下方式对所述多个第一多轴向运动数据进行数据转换，获得多个第一多轴向位移数据：
当所述第一多轴向运动数据包括3轴线性加速度数据时，对3轴线性加速度数据采用时域二重积分进行数据转换，获得3轴线位移数据。
采用公式为：
其中，n为采样点个数，
在本发明实施例中，所述数据转换模块602具体用于：
按照如下方式对所述多个第一多轴向运动数据进行数据转换，获得多个第一多轴向位移数据：
当所述第一多轴向运动数据包括3轴角速度数据时，对3轴角速度数据采用时域一重积分进行数据转换，获得3轴角位移数据。
采用公式为：
其中，n为采样点个数，
在本发明实施例中，如图7所示，该用于视频防抖性能测评的抖动轨迹生成装置还可以包括：
高通滤波模块602-3，用于对所述第一多轴向位移数据进行高通滤波，滤除时域积分带来的累积误差以及不属于抖动动作的低频位移分量。
在本发明实施例中，所述每条轨迹对应的测评数据包括锐度时域标准差、锐度时域平均值、垂直方向位移的时域标准差、水平方向位移的时域标准差、沿摄像头光轴转角的时域标准差。
在本发明实施例中，如图8所示，该用于视频防抖性能测评的抖动轨迹生成装置还可以包括：
度量标准化模块604-5，用于采用0均值标准化方法对多个测评数据进行预处理，获得具有相同度量标准的多个测评数据。
在本发明实施例中，聚类有效性评估模块606具体用于：
按照如下方式根据相应的测评数据，对每一类别的抖动轨迹进行聚类有效性评估：
确定每一聚类维度对应的每一类别的抖动轨迹中的抖动轨迹个数；
根据相应的测评数据、所述抖动轨迹个数，确定每一类别的抖动轨迹对应的变异系数；
将所述变异系数与预设阈值进行比较，若所述变异系数不大于预设阈值，则认为相应类别的抖动轨迹的聚类有效；若所述变异系数大于预设阈值，则认为相应类别的抖动轨迹的聚类无效。
聚类有效性评估模块606具体用于：
按照如下方式根据相应的测评数据和所述抖动轨迹个数，确定每一类别的抖动轨迹对应的变异系数：
根据相应的测评数据和所述抖动轨迹个数，确定每一类别的抖动轨迹对应的平均值和标准差；
根据所述平均值和标准差确定变异系数。
在本发明实施例中，所述预设阈值为0.15。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述用于视频防抖性能测评的抖动轨迹生成方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述用于视频防抖性能测评的抖动轨迹生成方法的计算机程序。
本发明实施例还提供了一种用于视频防抖性能测评的抖动轨迹生成系统，包括：具备防抖功能的终端、多轴向运动数据采集装置、上述所述的用于视频防抖性能测评的抖动轨迹生成装置、振动平台和无防抖功能的终端；其中，多轴向运动数据采集装置附于具备防抖功能的移动终端上，无防抖功能的终端置于振动平台上；
所述具备防抖功能的终端用于：多个被采样者手持所述具备防抖功能的终端进行多次视频拍摄动作；
所述多轴向运动数据采集装置用于：在被采样者进行多次视频动作时，获取多个第一多轴向运动数据，将所述多个第一多轴向运动数据传至用于视频防抖性能测评的抖动轨迹生成装置；
所述用于视频防抖性能测评的抖动轨迹生成装置还用于：接收所述多轴向运动数据采集装置发送的所述多个第一多轴向运动数据；将抖动轨迹传输给所述振动平台；接收所述无防抖功能的终端发送的所述视频及对应的抖动轨迹；
所述振动平台用于：按照每条抖动轨迹进行相应的抖动；
所述无防抖功能的终端用于：在每条抖动轨迹对应的抖动场景下拍摄视频，将所述视频及对应的抖动轨迹发送至所述用于视频防抖性能测评的抖动轨迹生成装置。
在本发明实施例中，所述多轴向运动数据采集装置包括线性加速度传感器和/或陀螺仪传感器。
综上所述，采用本发明提出的用于视频防抖性能测评的抖动轨迹生成方法、装置及系统进行终端的防抖性能测评时具有如下有益效果：
通过真实抖动轨迹的采集、抖动数据的分析处理、抖动轨迹的分类选取，最终生成能够模拟特定人群手持拍摄视频时的代表性抖动轨迹集合，真实还原各种抖动场景，在空间六个维度实现对拍摄视频时人手抖动情况的高度仿真，同时具有可复现性和普遍适用性，应用于防抖性能测评有利于对防抖智能终端进行更为全面的测评，保障测评结果的准确性和一致性。使终端厂商/模组厂商等产业链能够根据该抖动轨迹集合，来设计开发移动终端的防抖方案(从电子防抖、光学防抖或ai防抖等不同技术层面来实现真正意义上的防抖效果，同时缩短开发周期)，提升行业技术现状，为用户带来更好的防抖效果，从而提升用户体验。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！