影像分析方法与流程

本发明涉及影像分析方法，更详细而言，涉及用于对显示器等显示装置内的影像数据的特定部位进行跟踪，并将该特定部位在显示装置内开始移动或停止移动的时间作为特定时间数据来提取出的影像分析方法。

背景技术：

在各个领域均存在分析影像的必要性。例如，在专利文献1(日本专利特开2017-33390号公报)中公开的技术内容中，在体育直播等时即使在影像内显示有多个相同形状的球，仍能以高精度跟踪特定的球。另外，专利文献2(日本专利特开2016－207140号公报)中公开了能获得影像内人物的位置信息的技术内容。此外，专利文献3(日本专利特开2015-170874号公报)中公开了一种涉及大规模管理系统的技术内容，该大规模管理系统中实时地对从多个网络摄像头发送来的影像进行分析，检测人或车等移动体，并自动对管理人发出警报。

现有技术文献

专利文献

专利文献1：日本专利特开2017－33390号公报

专利文献2：日本专利特开2016－207140号公报

专利文献3：日本专利特开2015－170874号公报

技术实现要素：

发明所要解决的技术问题

然而，在对影像内的特定部位进行跟踪以及对特定部位在影像内开始移动或停止移动的时间(时刻)进行检测时，一般采用将影像分割成帧并对特定部位的动作进行分析的方法。此时，为了高精度地跟踪特定部位，需要提高帧频，但若提高帧频，则用于检测特定部位移动开始时间或移动停止时间的数据处理量变得庞大，从而产生处理复杂的问题。与此相反，若降低帧频，则用于检测特定部位移动开始时间或移动停止时间的数据处理量变少，复杂度降低，但是存在无法以高精度来对特定部位进行跟踪或检测特定部位的移动开始时间或移动停止时间。

解决技术问题所采用的技术方案

因此，本发明的目的在于提供一种影像分析方法，既能高精度地对影像内的特定部位进行跟踪，又能降低将影像内特定部位开始移动的时间或停止移动的时间作为特定时间数据进行提取时的数据处理的复杂度。

也就是说，本发明涉及一种影像分析方法，该影像分析方法利用具有对影像的每一帧进行识别的识别单元、对所述影像的特定部位进行标记的标记单元以及运算单元的影像分析装置，在规定时间范围内对由所述标记单元所标记的所述影像的所述特定部位在帧区域内的位置数据进行跟踪，将所述特定部位在所述帧区域内开始移动或移动停止时的所述帧的时间数据作为特定时间数据进行提取，该影像分析方法的特征在于，所述运算单元对于各所述帧分别计算出所述时间数据以及所述特定部位在所述帧区域内的所述位置数据，以各所述帧为对象，根据所述特定部位在所述帧区域内的所述位置数据提取出被推定为所述特定部位在所述帧区域内开始移动或移动停止的所述帧以作为特定位置到达帧，将该特定位置到达帧的所述时间数据中的最大时间数据或最小时间数据作为所述特定时间数据进行提取。

由此，既能高精度地对影像内的特定部位进行跟踪，又能将对影像内特定部位开始移动的时间或停止移动的时间进行检测时的数据处理的复杂度降低。

另外，本发明还涉及一种影像分析方法，该影像分析方法利用具有对影像的每一帧进行识别的识别单元、对所述影像的特定部位进行标记的标记单元以及运算单元的影像分析装置，在规定时间范围内对由所述标记单元所标记的所述影像的所述特定部位在帧区域内的位置数据进行跟踪，将所述特定部位在所述帧区域内开始移动或移动停止时的所述帧的时间数据作为特定时间数据进行提取，该影像分析方法的特征在于，所述运算单元对各所述帧分别计算出所述时间数据以及所述特定部位在所述帧区域内的所述位置数据，以各所述帧为对象，根据所述特定部位在所述帧区域内的所述位置数据提取出被推定为所述特定部位在所述帧区域内开始移动或移动停止的所述帧以作为特定位置到达帧，将该特定位置到达帧的所述时间数据中的最大时间数据或最小时间数据以及所述帧区域内的所述位置数据作为特定位置坐标进行提取，计算出所述特定位置到达帧的所述时间数据之后或所述特定位置到达帧的所述时间数据之前的时间范围内的所述帧的所述时间数据及所述帧区域内的所述位置数据的近似曲线，将所述近似曲线与所述特定位置到达帧的所述帧区域内的所述位置数据的交点处的所述时间数据作为所述特定时间数据进行提取。

由此，既能高精度地对影像内的特定部位进行跟踪，又能将对影像内特定部位开始移动的时间或停止移动的时间进行检测时的数据处理的复杂度降低。

另外，优选为，所述运算单元将所述规定时间范围内的最小时间或最大时间下的所述帧区域内的所述位置数据作为所述特定位置到达帧的所述帧区域内的所述位置数据。此时，以所述规定时间范围内的最小时间或最大时间下的所述帧区域内的所述位置数据是变为停止的状态的数据为前提。

由此，由于容易决定特定位置到达帧，因此能降低对影像内的特定部位在显示装置内开始移动的时间或停止移动的时间进行提取时的影像分析的复杂度。

另外，优选为，所述规定时间范围内的所述最大时间或所述最小时间下的所述帧区域内的所述位置数据为从所述最大时间或所述最小时间起规定时间范围中所述帧的所述帧区域内的所述位置数据的平均值。

由此，所述规定时间范围内的所述最大时间或所述最小时间下的所述帧区域内的所述位置数据的可靠性能得到提高。

另外，优选为，所述运算单元将所述规定时间范围内的所述最大时间或所述最小时间下的所述帧区域内的所述位置数据乘以预先设定的比率而得的值作为所述特定位置到达帧的所述帧区域内的所述位置数据。

由此，由于容易决定特定位置到达帧，因此能降低对影像内的特定部位开始移动的特定时间数据或停止移动的特定时间数据进行提取时的影像分析的复杂度。

发明效果

根据本发明中影像分析方法的构成，既能高精度地对影像内的特定部位进行跟踪，又能降低将影像内特定部位开始移动的时间或停止移动的时间作为特定时间数据进行提取时的数据处理的复杂度。

附图说明

图1是表示实施方式1中的影像分析装置的概要结构图。

图2是表示实施方式1中的影像分析方法的概要处理流程图。

图3是表示实施方式1中的特定部位的时间数据与坐标数据的关系的曲线图。

图4是表示实施方式2中的影像分析方法的概要处理流程图。

图5是表示实施方式2中的特定部位的时间数据与坐标数据的关系的曲线图。

图6是表示变形实施方式中的特定部位的时间数据与坐标数据的关系的曲线图。

具体实施方式

基于实施方式对本发明中的影像分析方法进行说明。

(实施方式1)

如图1所示，本实施方式中所使用的影像分析装置100具备：作为识别单元的高速摄像头10，该高速摄像头10对影像的每一帧进行识别；以及个人计算机20，该个人计算机20具有：标记单元22，该标记单元22对高速摄像头10所拍摄到的影像的特定部位进行标记；以及以cpu为代表的运算单元24，该运算单元24对标记单元22所标记的影像的特定部位的影像数据进行运算。

个人计算机20的存储部26存储有高速摄像头10所拍摄到的影像数据vd。另外，预先在存储部26中安装有影像分析程序vapgm，影像分析人能够通过根据影像分析程序vapgm对以鼠标或键盘等为代表的数据输入单元28进行操作，从而执行本实施方式中的影像分析方法。此处，对利用影像分析装置100将本发明的影像分析方法适用于显示虚拟现实影像的头戴式显示器30的性能判断检查的实施方式进行说明。

显示虚拟现实影像的头戴式显示器30(以下简称为显示器30)在穿戴于用户头部的状态下被使用，以使得用户视野仅为显示器30中显示的图像。显示器30通过根据用户的动作来改变显示画面30a中显示的影像内容，从而使得用户对虚拟空间产生实感。在对上述虚拟现实产生实感时，若显示于显示器30的影像针对用户动作发生变化所需时间的滞后较大，则用户可能会体验不佳。因此，在确认从用户的实际动作到显示于显示器30的影像发生变化为止的时间滞后是否在所允许的范围内时使用本发明中的影像分析方法。

具体而言，本发明的影像分析方法使用对显示于显示器30的显示画面30a中的影像进行拍摄的高速摄像头10、以及对高速摄像头10所拍摄到的影像数据进行分析的个人计算机20。显示器30中安装有未图示的加速度传感器，加速度传感器所测量出的加速度数据ad设定为能发送至个人计算机20。另外，显示器30被保持于保持件(未图示)，该保持件能分别绕三维的三轴方向的轴线、即x轴、y轴、z轴的轴线方向旋转。个人计算机20的运算单元24将加速度传感器所发送来的加速度数据ad以与加速度测量时间数据actd相关联的状态存储于存储部26中。以上为图2所示的分析用数据收集步骤。

接着，参照图2对本实施方式的影像分析方法进行说明。影像分析人通过个人计算机20的数据输入单元28使标记单元22将影像的特征部分标记为特定部位(步骤1)。运算单元24对于影像的每一帧中的该作出标记的部分(以下称为特定部位)在规定的时间范围内进行跟踪。运算单元24对于每一帧将显示于显示器30的特定部位的设定于显示器30的显示画面30a的特定部位位置数据pld(表示特定部位在帧区域内的位置的位置数据)及此时的特定部位时间数据ptd(时间数据)提取出，并以特定部位位置数据pld与特定部位时间数据ptd成对的状态存储于存储部26(步骤2)。

运算单元24对于每一帧，基于加速度数据ad以及测量加速度数据ad的时间数据即加速度测量时间数据actd，来提取出加速度测量时间数据actd、绕x轴方向的旋转加速度、绕y轴方向的旋转加速度以及绕z轴方向的旋转加速度(步骤3)。此处，预先实施处理以使得与特定部位位置数据pld一并提取出的特定部位时间数据ptd与加速度测量时间数据actd共用基准时间(时间轴的基准点)。此外，步骤2与步骤3的顺序也可替换。图3中的曲线为将由此由运算单元24在规定时间范围内提取出的特定部位位置数据pld与特定部位时间数据ptd进行曲线化而得。图3的曲线的纵轴表示特定部位位置数据pld(位置数据)，同横轴表示特定部位时间数据ptd(时间数据)。

接着，运算单元24分别以各帧为对象，将特定部位在帧区域内的位移在规定范围内(预先存储在存储部26中的阈值)的位置作为停止推定位置进行提取。该阈值能适当设定。本实施方式中，如图3的曲线图所示，到最终时间为止的所需时间范围内特定部位在帧区域内的位移变为0(曲线为水平，表示特定部位在帧区域内停止的状态)。因此，本实施方式中无论阈值如何，将曲线变为水平时的特定部位位置数据pld作为停止推定位置、即推定为特定部位在帧区域内的移动停止，并作为停止推定位置下的特定部位位置数据plds提取出(步骤4)，并存储至存储部26。

另外，运算单元24将与停止推定位置的特定部位位置数据plds相同位置数据且最先检测到特定部位时间数据ptd的帧(与特定部位位置数据plds相同位置数据且时间数据为最小时间的帧)作为特定位置到达帧prf提取出并存储至存储部26(步骤5)。运算单元24将特定位置到达帧prf中的特定部位时间数据ptds及特定部位位置数据plds作为特定部位的停止位置坐标spcd进行提取，并存储至存储部26(步骤6)。

此外，运算单元24将特定部位的停止位置坐标spcd、步骤3中计算出的时间数据与绕x轴方向的旋转加速度、y轴方向的旋转加速度、z轴方向的旋转加速度进行比较，计算出穿戴显示器30的用户的动作变化与对应该动作变化的显示器30中影像的显示变化间的延迟时间dt，并存储至存储部26(步骤7)。本实施方式中，也可以求出所有绕轴向的旋转加速度变为0时的时间数据与停止位置坐标spcd的停止推定位置下的特定部位时间数据ptds之间的差。运算单元24判断延迟时间dt是否在预先存储(设定)在存储部26中的容许值pv以下(步骤8)，若在容许值pv以下，则对该显示器30发出合格判断(步骤9)，若延迟时间dt超过容许值pv，则对该显示器30发出不合格判断(步骤10)，结束本实施方式的处理流程(结束)。

由此，在规定时间范围内提取出的特定部位的位置数据与特定部位的时间数据的曲线图中，能够通过确认所限定的范围内的特定部位的位置数据及时间数据，来提取出停止位置坐标spcd。由此，与现有技术相比，能以极短的时间提取出停止位置坐标spcd(即特定时间数据)。也就是说，其具有如下优点：能以高精度且短时间对虚拟现实中使用的显示器30的产品性能评价是否合格进行判断。

(实施方式2)

本实施方式中，与实施方式1相同的结构标注实施方式1中使用的标号，并此处省略详细说明。本实施方式中的影像分析方法如图4所示，从分析用数据收集步骤到步骤3为止相同，而步骤4之后的处理则不同。

具体而言，如图5所示，运算单元24将曲线图中与规定时间范围的最终时间下的特定部位位置数据ppld(位置数据)相同值且特定部位时间数据为最小时间数据的帧作为特定位置到达帧pprf提取出并存储至存储部26(步骤4)。运算单元24将特定位置到达帧pprf中的特定位置到达时间数据pptd及特定位置到达位置数据ppld作为特定位置到达时的特定位置坐标ppcd进行提取，并存储至存储部26(步骤5)。接着，运算单元24对特定位置到达帧pprf中的时间数据之前的时间范围内的帧的时间数据及帧区域内的位置数据的近似曲线ncv进行计算(步骤6)。该帧的时间数据及位置数据的近似曲线ncv的计算方法也可以适当采用公知方法，因此省略详细说明。此外，如图5所示，近似曲线ncv也可能为曲率半径无限大的直线。

运算单元24对所计算出的近似曲线ncv与特定位置坐标ppcd的特定部位位置数据ppld的交点进行计算(步骤7)，将所计算出的交点下的特定部位时间数据pptd2及特定部位位置数据ppld作为停止位置坐标spcd进行提取，并存储至存储部26(步骤8)。接着，运算单元24将特定部位的停止位置坐标spcd、步骤3中计算出的时间数据与绕x轴方向的旋转加速度、绕y轴方向的旋转加速度、绕z轴方向的旋转加速度进行比较，计算出穿戴显示器30的用户的动作变化与对应该动作变化显示器30中影像的显示变化间的延迟时间dt，并存储至存储部26(步骤9)。此外，延迟时间dt的计算方法可采用与实施方式1相同的方法，因此此处省略详细说明。

运算单元24判断延迟时间dt是否在预先存储(设定)在存储部26中的容许值pv以下(步骤10)，若延迟时间dt在容许值pv以下，则运算单元24对该显示器30发出合格判断(步骤11)。对此，若延迟时间dt超过容许值pv，则运算单元24对该显示器30发出不合格判断(步骤12)，结束本实施方式的处理流程(结束)。

本实施方式中，与实施方式1相比，虽然计算特定部位的停止位置坐标spcd(即、特定时间数据)时的数据处理变得复杂，但对于现有技术来说能充分地削减数据处理量。另外，根据本实施方式，与实施方式1相比能以更高的精度对特定部位的停止位置坐标spcd(特定时间数据)进行计算。

上述实施方式中的特定部位位置数据是在跟踪特定部位的规定时间范围内的最终时间下的位置数据，但并不局限于该方式。例如，也可以将跟踪特定部位的规定时间范围内的最大时间(最终时间)下的位置数据乘以预先设定的比率(预先存储在存储部26)而得的值用作为停止推定位置在帧区域内的位置数据。

另外，运算单元24也可以不执行各实施方式中的步骤4，取而代之地执行停止推定位置判断步骤，即、分别以各帧为对象，判断特定部位在帧区域内的位移是否在预先设定的阈值范围内。可以基于该停止推定位置判断步骤的判断结果来推定特定部位已停止(判断结果为是)，以决定停止推定位置。在判断结果为否的情况下，重复执行停止推定位置判断步骤直到判断结果变为是为止即可。

另外，上述实施方式中说明了将从特定部位在帧区域内移动的状态停止移动时的帧的时间数据作为特定时间数据进行提取的方式，但并不局限于该方式。例如，图6所示的运算单元24将从特定部位在帧区域内停止的状态开始移动时的帧用作为移动开始位置帧，将移动开始位置帧中的坐标mpcd的位置数据用作为ppld。

然后，运算单元24将此时的时间数据作为pptd2，计算出此时的时间数据pptd2之后的特定部位时间数据与特定部位位置数据的近似曲线ncv。此外，运算单元24可以采用如下方式：将移动开始位置帧的位置数据ppld代入计算出的近似曲线ncv并提取出特定时间数据pptd。在该方式下，将实施方式2中的“最小时间”与“最大时间”相替换，将“时间数据之前”替换成“时间数据之后”即可。

此外，在上述实施方式与变形实施方式中具有如下前提：特定部位在规定时间范围中的最小时间或最大时间下的帧区域内的位置数据是特定部位变为停止状态的数据，但并不局限于该方式。这是由于，如上述说明的实施方式那样将高速摄像头10用作为识别单元的情况中包含如下情况：即使特定部位未完全停止而人视觉上能识别为已停止的情况。

例如，运算单元24也可以采用如下方式：在规定时间范围内包含最大时间的特定时间范围的微小变化范围中，将特定部位收敛于预先设定的每单位时间的位置变化率以内时的帧视作特定位置到达帧prf，运算单元24将此时的坐标作为停止位置坐标spcd。另外，也可以在规定时间范围内包含最小时间的特定时间范围的微小变化范围中，运算单元24将特定部位的变化量在预先设定的每单位时间的位置变化量以上时的帧视作移动开始位置帧mpcd。计算出移动开始位置帧mpcd之后，运算单元24能根据实施方式2及图6所示的变形实施方式相同的步骤来提取出特定时间数据pptd。

此外，也可以采用对于上述实施方式中的结构适当组合说明书中记载的变形例、或其他公知结构而得的实施方式。