物体运动信息处理方法、装置、增强现实设备及存储介质与流程

本发明涉及信息技术领域，尤其涉及一种物体运动信息处理方法、装置、增强现实设备及存储介质。

背景技术

运动目标跟踪已广泛应用体育赛事、军事领域等领域中，通常采用带有图像采集功能的设备对运动的目标物体进行追踪，例如可以用手机、摄像机等对目标物体进行录像、拍照等。

由于带有图像采集功能的设备对目标物体进行录像、拍照时，仅能够捕捉到目标物体的运动画面，无法对目标物体的运动轨迹进行预测，而对目标物体运动趋势进行预测具有很重要的意义，例如在军事领域需要预测弹道，在体育赛事中需要预测球的运动轨迹等等，因此现有技术中需要结合更多的测量设备对目标物体运动过程进行测量才能实现目标物体运动趋势的预测，过程较为繁琐，不利于运动趋势的快速预测。

技术实现要素：

本发明提供一种物体运动信息处理方法、装置、增强现实设备及存储介质，以根据采集的目标物体运动过程的多帧图像预测目标物体的运动趋势，可以实现快速、实时的运动趋势的预测。

本发明的一个方面是提供一种物体运动信息处理方法，所述方法包括如下步骤：

获取图像采集单元采集的目标物体运动过程的多帧图像，其中任意相邻两帧图像的背景具有重叠关系；

根据每一所述图像确定所述目标物体在三维空间中的坐标，并获取所述目标物体的运动信息；

根据所述运动信息，预测所述目标物体的运动趋势。

进一步的，所述根据每一所述图像确定所述目标物体在三维空间中的坐标，具体包括：

结合所述图像采集单元的拍摄参数及运动参数对所述多帧图像进行匹配，从而确定每一所述图像中所述目标物体在三维空间中的坐标。

进一步的，所述获取所述目标物体的运动信息，具体包括：

获取任意相邻两帧图像的采集时间间隔；

根据每一所述图像中所述目标物体在三维空间中的坐标以及所述任意相邻两帧图像的采集时间间隔，获取所述目标物体的运动信息。

进一步的，所述预测所述目标物体的运动趋势后，还包括：

根据所述运动趋势，通过增强现实ar技术在真实场景的对应位置叠加虚拟信息，以在显示单元展示真实场景的同时展示所述目标物体的预测轨迹信息。

进一步的，所述获取所述目标物体的运动信息后，还包括：

根据所述运动信息，通过ar技术在真实场景的对应位置叠加虚拟信息，以在显示单元展示真实场景的同时展示所述目标物体的历史轨迹信息。

本发明的另一个方面是提供一种物体运动信息处理装置，所述装置具体包括：

获取模块，用于获取图像采集单元采集的目标物体运动过程的多帧图像，其中任意相邻两帧图像的背景具有重叠关系；

处理模块，用于根据每一所述图像确定所述目标物体在三维空间中的坐标，并获取所述目标物体的运动信息；

预测模块，用于根据所述运动信息，预测所述目标物体的运动趋势。

进一步的，所述处理模块具体用于：

结合所述图像采集单元的拍摄参数及运动参数对所述多帧图像进行匹配，从而确定每一所述图像中所述目标物体在三维空间中的坐标。

进一步的，所述处理模块具体用于：

获取任意相邻两帧图像的采集时间间隔；

根据每一所述图像中所述目标物体在三维空间中的坐标以及所述任意相邻两帧图像的采集时间间隔，获取所述目标物体的运动信息。

进一步的，所述处理模块还用于：根据所述运动趋势，通过ar技术在真实场景的对应位置叠加虚拟信息，以在显示单元展示真实场景的同时展示所述目标物体的预测轨迹信息。

进一步的，所述处理模块还用于：根据所述运动信息，通过ar技术在真实场景的对应位置叠加虚拟信息，以在显示单元展示真实场景的同时展示所述目标物体的历史轨迹信息。

本发明的另一个方面是提供一种增强现实设备，包括：图像采集单元、显示单元、存储器、处理器、以及计算机程序。

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如上所述的方法。

本发明的另一个方面是提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述的方法。

本发明提供的物体运动信息处理方法、装置、增强现实设备及存储介质，通过获取图像采集单元采集的目标物体运动过程的多帧图像，然后根据每一图像确定目标物体在三维空间中的坐标，并获取目标物体的运动信息，最后根据运动信息预测目标物体的运动趋势，可应用于具有图像采集单元的设备中，辅助判断目标物体的运动趋势，对于体育赛事、军事领域的预测具有很重要的指导意义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的物体运动信息处理方法流程图；

图2为本发明另一实施例提供的物体运动信息处理方法流程图；

图3为本发明实施例提供的物体运动信息处理装置的结构图；

图4为本发明实施例提供的增强现实设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的物体运动信息处理方法流程图。本发明实施例提供了一种物体运动信息处理方法，该方法具体步骤如下：

s101、获取图像采集单元采集的目标物体运动过程的多帧图像，其中任意相邻两帧图像的背景具有重叠关系。

在本实施例中，通过图像采集单元连续采集目标物体运动过程的多帧图像，其中图像采集单元可以为鱼眼单目摄像头、广角单目摄像头、双目摄像头、多目摄像头或深度摄像头等。图像采集单元所采集的多帧图像中每张图像均具有目标物体，且任意相邻两帧图像的背景具有重叠关系，此处所指的背景具有重叠关系指背景中具有相同的背景静态物体即可，并不需要在图像中所呈现的该背景静态物体必须大小、拍摄角度等等完全重叠，后续可通过特征点识别、仿射变换等图像处理方法对该多帧图像进行处理，从而使得多帧图像具有空间连续性，可以更为准确的获取目标物体的运动信息。

s102、根据每一所述图像确定所述目标物体在三维空间中的坐标，并获取所述目标物体的运动信息。

在本实施例中，可以通过对每一帧图像进行处理获取每一帧图像中目标物体在三维空间中的坐标。具体的，可通过对多帧图像的二维平面进行分析、以及对多帧图像进行深度信息分析，其中深度是指图像场景中目标物体到图像采集单元所在的xy平面的距离，通过深度信息分析提取三维几何特征，建立三维空间，从而确定目标物体在三维空间中的坐标。具体的，基于图像的深度分析方法可以采用现有的方法，例如多视图立体法(multi-viewstereo)、光度立体视觉法(photometricstereo)、色度成形法(shapefromshading)、散焦推断法(depthfromdefocus)以及基于机器学习的方法等等，相应的可以根据所选择的方法采集所需要的多帧图像。在本实施例中在获取了各图像中目标物体在三维空间中的坐标后，可结合多帧图像的采集时间获取所述目标物体的运动信息，具体的，可根据每一图像中目标物体在三维空间中的坐标及任意相邻两帧图像的采集时间间隔，获取目标物体的运动信息，其中运动信息可以包括运动方向、速度、加速度等等，其中对于目标物体的运动信息获取可以采用现有的算法，此处不再赘述。

s103、根据所述运动信息，预测所述目标物体的运动趋势。

在本实施例中，根据所获取的运动信息可以预测目标物体的运动趋势，例如在本实施例中可预测球类比赛的运动轨迹，通过图像采集单元采集的篮球比赛投篮过程中的多帧图像，根据采集到投出的篮球的多帧图像获取篮球的运动信息，并根据篮球的运动信息预测篮球后续运动过程的抛物线，从而可判断篮球是否能投进篮筐；再如足球比赛过程也可以通过本实施例的方法预测足球的落点；此外预测运动趋势还可包括对时间、速度等信息的预测，例如目标物体到达预定地点的时间、速度等，还可包括对预定时间后目标物体位置的预测等等。本实施例中可将目标物体的运动趋势以现有的任意显示方式进行显示，以便于辅助用户判断目标物体的运动趋势，指导体育赛事或军事领域的预测，例如在体育赛事中根据目标物体的运动趋势自行控制拍摄角度等。

本发明实施例提供的物体运动信息处理方法，通过获取图像采集单元采集的目标物体运动过程的多帧图像，然后根据每一图像确定目标物体在三维空间中的坐标，并获取目标物体的运动信息，最后根据运动信息预测目标物体的运动趋势，可应用于具有图像采集单元的设备中，辅助判断目标物体的运动趋势，对于体育赛事、军事领域的预测具有很重要的指导意义。

图2为本发明实施例提供的物体运动信息处理方法流程图。本实施例在上述实施例的基础上提供了一种物体运动信息处理方法，该方法具体步骤如下：

s201、获取图像采集单元采集的目标物体运动过程的多帧图像，其中任意相邻两帧图像的背景具有重叠关系。

上述实施例中s102所述的根据每一所述图像确定所述目标物体在三维空间中的坐标，具体可包括：

s202、结合所述图像采集单元的拍摄参数及运动参数对所述多帧图像进行匹配，从而确定每一所述图像中所述目标物体在三维空间中的坐标。

在本实施例中，由于图像采集单元采集图像过程中通常是追踪目标物体运动，例如发生一定的旋转或者位移，可能对目标物体在三维空间中的坐标产生一定的影响，因此本实施例通过在图像采集单元采集图像时实时记录图像采集单元的拍摄参数及运动参数，例如图像采集单元焦距、旋转矩阵和位移等，当然还可记录图像采集单元的具体三维位置等等；然后根据图像采集单元的拍摄参数及运动参数对多帧图像进行立体匹配(matchingstereo)，获取定每一图像中目标物体在三维空间中的坐标。首先需要从多帧图像中识别出目标物体以及具有重叠关系的背景中的静态物体，可采用现有的特征图形匹配算法，对特征点进行检测和匹配，具体过程此处不再赘述。在本实施例中，多帧图像中可能存在没有目标物体的图像，在识别到某一帧图像中不存在该目标物体时，对该帧图像进行删除处理。

获取目标物体在三维空间中的坐标可基于识别出的相同静态物体作为参照物，获取三维信息。本实施例中可通过将具有相同静态物体的图像经过仿射变换后进行重叠部分的拼接，从拼接的图像中直接获取目标物体的二维坐标，然后再对图像进行深度分析，获取图像在深度方向的坐标，从而得到目标物体在三维空间中的坐标。本实施例中所提到的三维空间坐标可以为相对坐标，也可以为绝对坐标。本实施例中的深度分析可以采用现有的方法，例如多视图立体法(multi-viewstereo)、光度立体视觉法(photometricstereo)、色度成形法(shapefromshading)、散焦推断法(depthfromdefocus)以及基于机器学习的方法等等，其详细处理过程此处不再赘述。

进一步的，s102所述的获取所述目标物体的运动信息，具体可包括：

s203、获取任意相邻两帧图像的采集时间间隔；

s204、根据每一所述图像中所述目标物体在三维空间中的坐标以及所述任意相邻两帧图像的采集时间间隔，获取所述目标物体的运动信息。

在本实施例中，在图像采集单元采集多帧图像时实时记录每一图像对应的时间或者图像采集单元直接以预定的时间间隔进行多帧图像的采集，在获取了各图像中目标物体在三维空间中的坐标后，可结合多帧图像的采集时间获取任意相邻两帧图像的采集时间间隔，或者直接以预定的时间间隔作为实施相邻两帧图像的采集时间间隔，当然对于某一帧图像中不存在该目标物体时，对该帧图像进行删除处理后，该删除帧图像的前一帧图像和后一帧图像为相邻帧，此时其采集时间间隔为2倍的预定的时间间隔。本实施例中根据每一图像中目标物体在三维空间中的坐标以及任意相邻两帧图像的采集时间间隔，获取目标物体的运动信息，其中运动信息可以包括运动方向、速度、加速度等等，其中对于目标物体的运动信息获取可以采用现有的算法，此处不再赘述。

s205、根据所述运动信息，预测所述目标物体的运动趋势。

进一步的，所述的预测所述目标物体的运动趋势后，还可包括：

s206、根据所述运动趋势，通过增强现实ar技术在真实场景的对应位置叠加虚拟信息，以在显示单元展示真实场景的同时展示所述目标物体的预测轨迹信息。

在本实施例中，可以通过ar技术对预测所得的目标物体的运动趋势进行展示，通过ar技术在真实场景的对应位置叠加虚拟信息，以在显示单元展示真实场景的同时展示所述目标物体的预测轨迹信息。例如，用户通过ar设备如ar眼睛或ar头盔等观看篮球比赛，通过ar设备的图像采集单元采集被投出篮球的多帧图像，获取篮球的运动信息，并根据篮球的运动信息预测篮球后续运动过程的预测轨迹，在ar设备的显示单元展示叠加在真实场景的虚拟信息，例如直接通过虚拟篮球模型快速演示篮球在真是场景中的预测轨迹，通过显示单元直接展示给用户，便于用户快速得知是否投进篮筐，从而对篮球赛事的观看或篮球队员训练提供指导。

作为上述实施例的进一步的改进，s102所述的获取所述目标物体的运动信息后，还可以包括：

根据所述运动信息，通过ar技术在真实场景的对应位置叠加虚拟信息，以在显示单元展示真实场景的同时展示所述目标物体的历史轨迹信息。

在本实施例中，还可通过ar技术在真实场景中叠加目标物体的历史轨迹信息，例如上述示例中，用户通过ar设备如ar眼睛或ar头盔等观看篮球比赛，可将被投出篮球在空中的历史轨迹实时叠加在真实场景中，可对篮球赛事的观看或篮球队员训练提供指导。

本发明实施例提供的物体运动信息处理方法，通过获取图像采集单元采集的目标物体运动过程的多帧图像，然后根据每一图像确定目标物体在三维空间中的坐标，并获取目标物体的运动信息，最后根据运动信息预测目标物体的运动趋势，可应用于增强现实领域，可在用户观察目标物体的过程中，实时辅助判断目标物体的运动趋势，将虚拟信息与真实场景叠加，便于用户快速预测目标物体的运动趋势，提供更好的信息查看体验，对于体育赛事、军事领域的预测具有很重要的指导意义。

图3为本发明实施例提供的物体运动信息处理装置的结构图。本发明实施例提供一种物体运动信息处理装置，可以执行物体运动信息处理方法实施例提供的处理流程。如图3所示，本发明实施例提供的物体运动信息处理装置包括获取模块301、处理模块302以及预测模块303。

获取模块301，用于获取图像采集单元采集的目标物体运动过程的多帧图像，其中任意相邻两帧图像的背景具有重叠关系；

处理模块302，用于根据每一所述图像确定所述目标物体在三维空间中的坐标，并获取所述目标物体的运动信息；

预测模块303，用于根据所述运动信息，预测所述目标物体的运动趋势。

进一步的，所述处理模块302具体用于：

结合所述图像采集单元的拍摄参数及运动参数对所述多帧图像进行匹配，从而确定每一所述图像中所述目标物体在三维空间中的坐标。

进一步的，所述处理模块302具体用于：

获取任意相邻两帧图像的采集时间间隔；

根据每一所述图像中所述目标物体在三维空间中的坐标以及所述任意相邻两帧图像的采集时间间隔，获取所述目标物体的运动信息。

进一步的，所述处理模块302还用于：根据所述运动趋势，通过ar技术在真实场景的对应位置叠加虚拟信息，以在显示单元展示真实场景的同时展示所述目标物体的预测轨迹信息。

进一步的，所述处理模块302还用于：根据所述运动信息，通过ar技术在真实场景的对应位置叠加虚拟信息，以在显示单元展示真实场景的同时展示所述目标物体的历史轨迹信息。

本发明实施例提供的物体运动信息处理装置可以具体用于执行上述图1和图2所提供的方法实施例，具体功能此处不再赘述。

本发明实施例提供的物体运动信息处理装置，通过获取图像采集单元采集的目标物体运动过程的多帧图像，然后根据每一图像确定目标物体在三维空间中的坐标，并获取目标物体的运动信息，最后根据运动信息预测目标物体的运动趋势，可应用于具有图像采集单元的设备中，辅助判断目标物体的运动趋势，对于体育赛事、军事领域的预测具有很重要的指导意义。

图4为本发明实施例提供的增强现实设备的结构图。如图4所示，本发明实施例提供一种增强现实设备，包括：图像采集单元401、显示单元402、存储器404、处理器403、以及计算机程序。

其中，所述计算机程序存储在所述存储器404中，并被配置为由所述处理器403执行以实现如上述实施例所述的物体运动信息处理方法。

本发明实施例提供的增强现实设备，通过获取图像采集单元采集的目标物体运动过程的多帧图像，然后根据每一图像确定目标物体在三维空间中的坐标，并获取目标物体的运动信息，最后根据运动信息预测目标物体的运动趋势，可应用于具有图像采集单元的设备中，辅助判断目标物体的运动趋势，对于体育赛事、军事领域的预测具有很重要的指导意义。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述实施例所述的物体运动信息处理方法的全部或部分流程，通过获取图像采集单元采集的目标物体运动过程的多帧图像，然后根据每一图像确定目标物体在三维空间中的坐标，并获取目标物体的运动信息，最后根据运动信息预测目标物体的运动趋势，可应用于具有图像采集单元的设备中，辅助判断目标物体的运动趋势，对于体育赛事、军事领域的预测具有很重要的指导意义。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。