一种全视点视频图像的处理方法及系统与流程

本发明涉及计算机的图像处理技术，特别涉及一种全视点视频图像的处理方法及系统。

背景技术：

随着计算机技术的发展，具有与用户交互功能的应用也越来越多。在这些不同类型的应用中，常常需要为用户提供不同视点的图像，以便用户选择或/和参考运行应用。目前，为了能够为用户提供不同视点的图像，需要将不同视点的图像存储在终端中，这里的终端可以是各种类型的，比如移动终端或计算机终端等等，等到用户向终端发送获取请求时，展示给用户。

为了提升用户体验度，终端趋于向用户提供三维的不同视点的图像。三维的不同视点的图像形成可以有多种方式，比如可以将一视点的二维图像与其深度信息进行整合，得到该视点的三维图像，采用这种方式形成多个视点的三维图像后存储在终端中。对于一个场景或物体，根据视点的不同，其深度信息也不同，所以最终得到的该视点的三维图像也不同，从而使得用户可以从多个不同视点观察一个物体或场景，获取不同的三维图像。这样，根据用户的不同视点的三维图像请求，终端可以为用户提供相应的对应视点的三维图像，从而实现不同视点的图像自由切换。

但是，终端采用这种存储不同视点的图像提供给用户也存在缺陷：其无法为用户提供全视点图像，且在进行不同视点的图像切换过程中不是无缝切换。更进一步地，终端需要一一存储不同视点的图像才能为用户提供，而无法根据存储的图像合成虚拟视点的图像。终端只能在每个视点上提供固定观察角度的图像，当用户需要观察其他角度时则必须切换视点，从而从终端获取到的不同视点的图像繁琐，体验度不高。

技术实现要素：

有鉴于此，本发明实施例提供一种全视点视频图像的处理方法，该方法能够提供全视点视频图像，实现不同视点的视频图像无缝切换。

本发明实施例还提供一种全视点视频图像的处理系统，该系统能够提供全视点视频图像，实现不同视点的视频图像无缝切换。

根据上述目的，本发明是这样实现的：

一种全视点视频图像的处理方法，包括：

对一场景或物体的视频数据进行采集；

将采集的视频数据拼接为所述场景或物体的全景视频图像；

将所述场景或物体的全景视频图像作为所述场景或物体的全视点图像存储；

接收到获取某一视点的所述场景或物体的视频图像请求后，获取存储的所述场景或物体的全视点视频图像，选择其中对应视点的视频图像或切换到对应视点的视频图像输出。

所述拼接算法采用时域拼接算法和/或相位相关法。

所述采集时采用的系统时钟同步于所述拼接过程中的时钟。

所述将采集的视频数据拼接为所述场景或物体的全景视频图像后，还包括：

根据用户所请求的视点信息，确定所述场景或物体的全景视频图像在不同视点的热力图，根据所述场景或物体的全景视频图像在不同视点的热力图，确定对应的视点策略后，根据对应的视点策略合成所述场景或物体的某一个或多个视点的视频图像，进行存储；

所述方法还包括：接收到获取某一视点的所述场景或物体的视频图像请求后，直接将合成的所述场景或物体的对应视点的视频图像输出。

所述视点信息包括：采集视点的视频图像的设备编号、时刻或/和视角的经纬度，所述生成的热力图为对应视点视角及访问次数的区域热力图；

所述热力图及视点策略定时更新，所述根据对应的视点策略合成所述场景或物体的某一个或多个视点的视频图像中的某一个或多个视点是不同的。

一种全视点视频图像的系统，包括：采集设备、拼接和同步服务器、同步监测和处理服务器、视频流服务器以及用户终端，其中，

采集设备，用于对一场景或物体的视频数据进行采集；

拼接和同步服务器，用于将采集的视频数据拼接为所述场景或物体的全景视频图像；

同步监测和处理服务器，用于从拼接和同步服务器接收到所述场景或物体的全景视频图像，发送给视频流服务器；

视频流服务器，用于存储所述场景或物体的全景视频图像，接收用户终端发送的获取某一视点的所述场景或物体的视频图像请求后，获取存储的所述场景或物体的全视点视频图像，选择其中对应视点的视频图像或切换到对应视点的视频图像输出；

用户终端，用于发送获取某一视点的所述场景或物体的视频图像请求，接收其中对应视点的视频图像或切换到对应视点的视频图像。

所述采集设备包括专业摄像机和/或监控摄像机，所述采集设备，还用于采集时采用的系统时钟同步于所述拼接和同步服务器的时钟。

还包括：

热力图监测和策略设置服务器，用于根据用户所请求的视点信息，确定所述场景或物体的全景视频图像在不同视点的热力图；根据所述场景或物体的全景视频图像在不同视点的热力图，确定对应的视点策略后，根据对应的视点策略合成所述场景或物体的某一个或多个视点的视频图像；

视频流服务器，用于将对应的视点策略合成的所述场景或物体的某一个或多个视点的视频图像进行存储。

所述热力图及视点策略定时更新，所述根据对应的视点策略合成所述场景或物体的某一个或多个视点的视频图像中的某一个或多个视点是不同的。

用户终端，还用于发送获取某一视点的所述场景或物体的视频图像请求后，接收合成的所述场景或物体的对应视点的视频图像；

视频流服务器，用于接收获取某一视点的所述场景或物体的视频图像请求后，获取存储的合成的所述场景或物体的对应视点的视频图像输出。

由上述方案可以看出，本发明实施例对一场景或物体的视频数据采集后，将采集的视频数据拼接为所述场景或物体的全景视频图像，作为所述场景或物体的全视点图像存储。当用户请求所述场景或物体的某一视点的视频图像时，获取存储的所述场景或物体的全视点视频图像，选择一视点观看视频图像，或切换到一视点进行视频图像的观看。因此，本发明提供的方案就提供了全视点视频图像，实现了不同视点的视频图像无缝切换。

附图说明

图1为本发明实施例提供的全视点视频图像的处理方法流程图；

图2为本发明实施例提供的全视点视频图像的处理系统结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明作进一步详细说明。

本发明实施例为了提供全视点视频图像，实现不同视点的视频图像无缝切换，对一场景或物体的视频数据采集后，将采集的视频数据拼接为所述场景或物体的全景视频图像，作为所述场景或物体的全视点图像存储。当用户请求所述场景或物体的某一视点的视频图像时，获取存储的所述场景或物体的全视点视频图像，选择一视点观看视频图像，或切换到一视点进行视频图像的观看。

所述拼接为所述场景或物体的全景视频图像，可以采用各种视频图像的拼接算法，比如采用时域拼接算法或相位相关法。

更进一步地，本发明实施例还根据用户所请求的视点信息，确定所述场景或物体的全景视频图像在不同视点的热力图，根据所述场景或物体的全景视频图像在不同视点的热力图，确定对应的视点策略后，根据对应的视点策略合成所述场景或物体的某一个或多个视点的视频图像，提供给用户。

图1为本发明实施例提供的全视点视频图像的处理方法流程图，其具体步骤为：

步骤101、对一场景或物体的视频数据进行采集；

在本步骤中，对一场景或物体采集视频数据时，可以通过专业摄像机和/或监控摄像机采集；

步骤102、将采集的视频数据拼接为所述场景或物体的全景视频图像；

在本步骤中，拼接算法采用时域拼接算法，是由拼接和同步服务器处理的；

步骤103、将所述场景或物体的全景视频图像作为所述场景或物体的全视点图像存储；

在本步骤中，可以由拼接和同步服务器将所述场景或物体的全景视频图像通过同步监测和处理服务器发送给视频流服务器存储。

步骤104、接收到获取某一视点的所述场景或物体的视频图像请求后，获取存储的所述场景或物体的全视点视频图像，选择其中对应视点的视频图像或切换到对应视点的视频图像输出。

在本该方法中，步骤101所述采集时采用的系统时钟同步于所述拼接过程中的时钟，这时，就需要采集设备获取同步时钟，无法获取的，则通过第三方设备，比如终端来获取同步时钟。

在该方法中，步骤102中将采集的视频数据拼接为所述场景或物体的全景视频图像后，还包括：

根据用户所请求的视点信息，确定所述场景或物体的全景视频图像在不同视点的热力图，根据所述场景或物体的全景视频图像在不同视点的热力图，确定对应的视点策略后，根据对应的视点策略合成所述场景或物体的某一个或多个视点的视频图像，进行存储。

在该步骤中，所述视点信息包括但不限于采集视点的视频图像的设备编号、时刻及视角的经纬度，所述生成的热力图为对应视点视角及访问次数的区域热力图。

在该方法中，还包括：接收到获取某一视点的所述场景或物体的视频图像请求后，直接将合成的所述场景或物体的对应视点的视频图像输出。

图2为本发明实施例提供的全视点视频图像的处理系统结构示意图，包括：采集设备、拼接和同步服务器、同步监测和处理服务器、视频流服务器以及用户终端，其中，

采集设备，用于对一场景或物体的视频数据进行采集；

拼接和同步服务器，用于将采集的视频数据拼接为所述场景或物体的全景视频图像；

同步监测和处理服务器，用于从拼接和同步服务器接收到所述场景或物体的全景视频图像，发送给视频流服务器；

视频流服务器，用于存储所述场景或物体的全景视频图像，接收用户终端发送的获取某一视点的所述场景或物体的视频图像请求后，获取存储的所述场景或物体的全视点视频图像，选择其中对应视点的视频图像或切换到对应视点的视频图像输出；

用户终端，用于发送获取某一视点的所述场景或物体的视频图像请求，接收其中对应视点的视频图像或切换到对应视点的视频图像。

在该系统中，所述采集设备包括专业摄像机和/或监控摄像机。

在该系统中，还包括：

热力图监测和策略设置服务器，用于根据用户所请求的视点信息，确定所述场景或物体的全景视频图像在不同视点的热力图；根据所述场景或物体的全景视频图像在不同视点的热力图，确定对应的视点策略后，根据对应的视点策略合成所述场景或物体的某一个或多个视点的视频图像；

视频流服务器，用于将对应的视点策略合成的所述场景或物体的某一个或多个视点的视频图像进行存储。

在该系统中，所述热力图及视点策略定时更新，所述根据对应的视点策略合成所述场景或物体的某一个或多个视点的视频图像中的某一个或多个视点是不同的。这样，可以通过热力图，动态增加删减合成视点，并得到合成视点的视频图像，这样，用户就可以选择新的视点的视频图像进行观看。

在该系统中，用户终端，还用于发送获取某一视点的所述场景或物体的视频图像请求后，接收合成的所述场景或物体的对应视点的视频图像；

视频流服务器，用于接收获取某一视点的所述场景或物体的视频图像请求后，获取存储的合成的所述场景或物体的对应视点的视频图像输出。

在本发明实施例提供的方法及系统中，在视点进行切换时，视频流服务器将合成的视点间的视频图像，发送给用户终端，使得用户在切换过程中能观察到连续的过场视点的视频图像。

采用本发明实施例提供的方法及系统就可以为用户提供某个场景或物体的全视点的视频图像及在该全景视频图像中的各个视点的视频图像，在这里，全视点就是自由360度视点。

举一个具体例子进行详细说明

用户通过用户终端点播全视点的视频图像；用户点击视频图像后，通过视点选择视频图像，选择视点观看，这时，用户终端就和视频流服务器进行交互；用户通过用户终端观看视频图像，可以通过高清晰度多媒体(hdm)软件观看或直接观看；用户在播放过程中可以通过用户终端的视点选择界面切换视点，这时，视频流服务器在播放过程中，将合成的对应视点的视频图像推送到用户终端上供用户观看。更进一步地，在播放过程中，视频流服务器根据用户观看的视频图像，还可以将相似或对应的其他视点的视频图像推送到用户终端上提供给用户，这些视点可以是用户感兴趣内容的视点或热点视点。

本发明实施例可以在自由视点下，每个视点提供了360度*180度的观察范围，视点间可无缝切换，这种实时合成的虚拟视点的视频图像的机制，通过采集视点信息，生成视点热力图，可给用户推荐感兴趣的内容或高热度视点的视频图像。

以上举较佳实施例，对本发明的目的、技术方案和优点进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。