一种用于虚拟现实显示设备的视频拍摄装置及其控制方法与流程

本发明涉及虚拟现实的拍摄显示技术领域，更具体地，涉及一种用于虚拟现实显示设备的视频拍摄装置及其控制方法。

背景技术：

现有的虚拟现实视频拍摄显示系统，通常包括分离的视频拍摄装置和虚拟现实显示设备。视频拍摄装置拍摄的视频图像存储在其内部的存储卡中。如果用户想要观看该视频拍摄装置拍摄的视频图像，需要再将存储卡放置在虚拟现实显示设备上，控制虚拟现实显示设备读取存储卡中存储视频图像并显示。

因此，通过现有的视频拍摄装置，用户无法在虚拟现实显示设备上实时观看拍摄的视频图像。而且需要在视频拍摄装置和虚拟现实显示设备上均设置处理器，这就使得整个虚拟现实视频拍摄显示系统的成本较高。

技术实现要素：

本发明的一个目的是提供一种能够实时将拍摄的视频图像传送至虚拟现实显示设备进行显示的视频拍摄装置。

根据本发明的第一方面，提供了一种用于虚拟现实显示设备的视频拍摄装置，包括处理器、至少两个彩色摄像头模组、及用于连接虚拟现实显示设备的视频输出接口，所述至少两个彩色摄像头模组和所述视频输出接口均与所述处理器连接；所述处理器被设置为将所述至少两个彩色摄像头模组拍摄的视频图像进行合成处理，并将合成后的视频图像通过所述视频输出接口传输至所述虚拟现实显示设备。

可选的，所述处理器还被设置为获取所述虚拟现实显示设备的刷新率，根据所述刷新率调整所述合成后的视频图像的帧率，并将调整后的视频图像通过所述视频输出接口传输至所述虚拟现实显示设备。

可选的，所述视频拍摄装置还包括主电路板、以及与每一个彩色摄像头模组对应的转接板，每一个转接板上设置有用于与对应的摄像头模组连接的第一连接器；所述视频输出接口和所述处理器设置在所述主电路板上，所述主电路板上还设置有用于与每一个第一连接器对应连接的第二连接器，所述第二连接器与所述处理器对应连接。

可选的，所述视频输出接口为hdmi接口、dp接口或者type-c接口。

可选的，所述视频拍摄装置还包括用于与服务器进行通信的通信单元，所述通信单元与所述处理器连接；所述通信单元被设置为接收所述服务器发送的图像处理算法，所述处理器还被设置为根据所述图像处理算法对所述合成后的视频图像进行处理。

可选的，所述视频拍摄装置还包括存储单元，所述存储单元与所述处理器连接，所述处理器还被设置为将所述合成后的视频图像传送至所述存储单元进行储存。

可选的，所述视频拍摄装置还包括用于与所述虚拟现实显示设备连接的数据接口，所述数据接口与所述处理器连接；所述数据接口用于接收所述虚拟现实显示设备发送的姿态数据，所述处理器还被设置为根据所述姿态数据控制所述视频拍摄装置执行相应的功能操作。

根据本发明的第二方面，提供了一种视频拍摄装置的控制方法，包括：

确定当前拍摄场景下所述视频拍摄装置调用的摄像头模组；

根据所述调用的摄像头模组的类型确定对应的图像处理算法；

根据所述图像处理算法对所述调用的摄像头拍摄的视频图像进行处理；

将处理后的视频图像传送至与所述视频拍摄装置连接的虚拟现实显示设备。

可选的，所述控制方法还包括：

接收所述虚拟现实显示设备发送的刷新率；

根据所述刷新率调整所述处理后的视频图像的帧率，以使调整后的视频图像的帧率与所述虚拟现实显示设备的刷新率匹配；

将调整后的视频图像传送至所述虚拟现实显示设备。

可选的，所述控制方法还包括：

将所述视频图像发送至服务器；

接收所述服务器发送的迭代处理算法，其中，所述迭代处理算法为所述服务器对根据所述视频图像对所述图像处理算法进行训练得到；

根据所述迭代处理算法更新所述图像处理算法，以根据更新后的图像处理算法对所述视频图像进行处理。

根据本发明的第三方面，提供了一种用于虚拟现实显示设备的视频拍摄装置，包括处理器、深度摄像头模组、高帧率全局快门彩色摄像头模组、以及用于连接虚拟现实显示设备的视频输出接口；所述深度摄像头模组和所述高帧率全局快门彩色摄像头模组与所述处理器连接；所述处理器被设置为将所述深度摄像头模组采集的深度视频图像、和所述高帧率全局快门彩色摄像头模组采集的彩色视频图像进行合成处理，并将处理后的视频图像经过所述视频输出接口传输至所述虚拟现实显示设备。

本发明的一个有益效果在于，通过本发明的视频拍摄装置，可以实时将拍摄的视频图像发送至连接的虚拟现实显示设备进行显示，便于用户使用，提升用户体验。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

构成说明书的一部分的附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。

图1是本发明提供的用于虚拟现实显示设备的视频拍摄装置的一种实施结构的方框原理图；

图2是本发明提供的用于虚拟现实显示设备的视频拍摄装置的另一种实施结构的结构示意图；

图3是本发明提供的用于虚拟现实显示设备的视频拍摄装置的再一种实施结构的结构示意图；

图4为本发明提供的用于视频拍摄装置的控制方法的其中一种实施方式的流程图；

图5为本发明提供的用于视频拍摄装置的控制方法的其中一种实施方式的流程图；

图6为本发明提供的用于视频拍摄装置的控制方法的其中一种实施方式的流程图。

附图标记说明：

u1：处理器；u2-1、u2-2：彩色摄像头模组；

u2-3：tof摄像头模组；u2-4：高帧率全局快门彩色摄像头模组；

j1：视频输出接口；j2：充电接口；

u3：电池；u4：电源管理芯片；

u5：通信单元；u6：存储单元；

u7：内存；u8：惯性测量单元；

100：视频拍摄装置；200：虚拟现实显示设备；

110：主电路板；120：转接板；

111、121：连接器。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为了解决现有技术中存在的用户无法通过虚拟现实显示设备实时观看视频拍摄装置拍摄的视频图像的问题，提供了一种视频拍摄装置。

图1为本发明提供的用于虚拟现实显示设备的视频拍摄装置的一种实施结构的方框原理图。

如图1所示，该用于虚拟现实显示设备的视频拍摄装置100可以包括处理器u1、至少两个彩色摄像头模组u2-1和u2-2、及用于连接虚拟现实显示设备200的视频输出接口j1。至少两个彩色摄像头模组u2-1和u2-2和视频输出接口j1均与处理器u1连接。处理器u1被设置为将至少两个彩色摄像头模组u2-1和u2-2拍摄的视频图像进行合成处理，并将合成后的视频图像通过视频输出接口传输至虚拟现实显示设备200。

本发明中的虚拟现实显示设备200具体为与视频拍摄装置100建立连接、能够显示视频图像的虚拟现实设备。例如可以是虚拟现实头盔、虚拟现实眼镜等。

在本发明的一个例子中，视频输出接口j1至少可以为hdmi接口(highdefinitionmultimediainterface，高清晰度多媒体接口)、dp接口(displayport，高清数字显示接口)或者type-c接口。

具体的，根据场景需求设置该视频拍摄装置100的包含的摄像头模组的种类和数量。例如，至少两个彩色摄像头模组u2-1和u2-2可以为高帧率全局快门彩色摄像头模组采用全局快门(globalshutter)的图像传感器)和/或高清晰彩色摄像头模组。具体的，至少两个彩色摄像头模组u2可以是至少两个高帧率全局快门彩色摄像头模组，也可以是至少两个高清晰彩色摄像头模组，还可以是至少一个高帧率全局快门彩色摄像头模组、和至少一个高清晰彩色摄像头模组。

摄像头模组u2-1和u2-2与处理器的csi接口(cameraserialinterface，相机串行接口)连接。

在该视频拍摄装置100包括两个彩色摄像头模组u2-1和u2-2的情况下，摄像头模组u2-1和u2-2可以是分别与处理器u1上csi1接口和csi2接口连接，如图1所示。

通过本发明的视频拍摄装置100，彩色摄像头模组u2-1拍摄第一视频图像，并通过csi1接口发送给处理器u1；彩色摄像头模组u2-2拍摄第二视频图像，通过csi2接口发送给处理器u1。

该处理器u1可以通过内部的三维图像合成算法将第一视频图像和第二视频图像进行合成处理，得到三维视频图像，该三维视频图像可以存储在与视频拍摄装置100连接的存储设备中，也可以实时将三维视频图像发送至连接的虚拟现实显示设备200进行显示。

该处理器u1还可以通过内部的全景图像合成算法拼接处理该第一图像和第二图像，生成全景视频图像，其中，彩色摄像头模组u2-1和u2-2可以为大视场角的摄像头模组，最后合成的该全景图像为360度全景图像，该全景图像可以存储在与视频拍摄装置100连接的存储设备中，也可以实时将全景视频图像发送至连接的虚拟现实显示设备200进行显示。

这样，通过本发明的视频拍摄装置，可以实时将合成后的视频图像发送至连接的虚拟现实显示设备进行显示，便于用户使用，提升用户体验。

图2为本发明提供的用于虚拟现实显示设备的视频拍摄装置的另一种实施结构的方框原理图。

如图2所示，该用于虚拟现实显示设备的视频拍摄装置100可以包括处理器u1、视频输出接口j1、深度摄像头模组u2-3、及高帧率全局快门彩色摄像头模组u2-4。该深度摄像头模组u2-3和高帧率全局快门彩色摄像头模组u2-4均与处理器u1连接。处理器u1被设置为将深度摄像头模组u2-3采集的彩色视频图像、和高帧率全局快门彩色摄像头模组u2-4采集的深度视频图像进行合成处理，并将合成后的视频图像经过视频输出接口j1传输至虚拟现实显示设备200。其中，该深度摄像头包括tof(timeofflight,飞行时间)摄像头模组和结构光摄像头模组等。

在该视频拍摄装置100包括深度摄像头模组u2-3和高帧率全局快门彩色摄像头模组u2-4的情况下，该处理器u1还可以根据深度摄像头模组u2-3产生的图像深度信息，给固定背景的场景更好不同的背景，同时进行人脸检测，完成人脸的美化。

在此基础上，tof摄像头模组u2-3和高帧率全局快门彩色摄像头模组u2-4可以是分别与处理器u1上csi1接口和csi2接口连接，如图2所示。

在人体部位(骨骼或者面部等)的识别领域，tof摄像头模组u2-3可以获取该人体部位的深度视频图像，高帧率全局快门彩色摄像头模组u2-4可以获取该人体部位的彩色视频图像，tof摄像头模组u2-3可以将该深度视频图像通过csi1接口发送给处理器u1，高帧率全局快门彩色摄像头模组u2-4可以将该彩色视频图像通过csi2接口发送给处理器u1，在处理器u1中，对比深度视频图像和彩色视频图像的人体部位的关键点信息，可以确定人体部位的空间坐标信息，实现人体部位的识别和追踪等应用。

这样，通过本发明的视频拍摄装置，可以实时将合成后的视频图像发送至连接的虚拟现实显示设备进行显示，便于用户使用，提升用户体验。

在本发明的一个例子中，为了避免视频图像在虚拟现实显示设备上进行显示的过程中出现卡顿现象，避免用户在观看虚拟现实显示设备显示的视频图像的过程中出现晕眩的不良体验，该视频拍摄装置100中的处理器u1还可以被设置为获取虚拟现实显示设备的刷新率，根据刷新率调整合成后的视频图像的帧率，并将调整后的视频图像通过视频输出接口j1传输至虚拟现实显示设备200。

而且，通过视频拍摄装置100的处理器u1根据虚拟现实显示设备200的刷新率对合成后的视频图像的帧率进行调整，使得虚拟现实显示设备200可以无需对接收到的视频图像进行处理，因此，虚拟现实显示设备200内可以不设置处理器。这样，还可以降低虚拟现实显示设备200的成本。

由于在不同的应用场景中，视频拍摄装置100中可能会设置有不同型号或者不同类型的摄像头模组，而不同的摄像头模组中相同定义的引脚的位置可能会不同。如果将摄像头模组和处理器均设置在同一电路板上，那么，则需要根据应用场景重新更改视频拍摄装置的电路板，这就增加了视频拍摄装置的硬件开发成本。

如图3所示，该视频拍摄装置100可以包括主电路板110、以及与每一摄像头模组对应的转接板120(包括120-1、120-2)，每一转接板120上设置有用于与对应的摄像头模组u2连接的第一连接器121(包括121-1、121-2)；视频输出接口j1和处理器u1可以是设置在主电路板110上，主电路板110上还设置有用于与每一第一连接器121对应连接的第二连接器111(包括111-1、111-2、111-3)，第二连接器111与处理器u1对应连接。具体的，第二连接器111是与处理器u1上的csi接口对应连接。

在本发明的一个例子中，如果处理器u1最多可同时连接n个摄像头模组u2，即处理器u1具有n组csi接口，那么，在主电路板110上可以设置有n个第二连接器111，其中，n为正整数。

在不同的应用场景中，根据需要的摄像头模组来更改转接板，而无需对主电路板进行更改，就可以降低视频拍摄装置的硬件开发成本。

进一步地，主电路板110和转接板120可以是设置在同一壳体内。由于不同的摄像头模组的尺寸可能不同，因此，不同应用场景下壳体的尺寸也可能不同。如果根据应用场景更改视频拍摄装置的壳体，这也会增加视频拍摄装置的成本。

因此，在本发明的一个例子中，该视频拍摄装置还包括对应每一转接板120的支架(图中未示出)，每一转接板120通过支架固定在拍摄装置的壳体上。

这样，在不同的应用场景中，根据转接板更改对应的支架，无需更改视频拍摄装置的壳体，也可以降低视频拍摄装置的成本。

根据图3所示，该视频拍摄装置100还可以包括用于与其他设备进行通信的通信单元u5，通信单元u5与处理器u1连接。通信单元u5可以是设置在主电路板110上。

其中，通信单元u5可以是通过uart(universalasynchronousreceiver/transmitter，通用异步收发传输器)总线、iq(info/query)通道、或者slim总线(seriallow-powerinter-chipmediabus，低功耗芯片间串行媒体总线)连接。

该通信单元u5可以是通过wifi、4g网络、3g网络、gprs或者蓝牙等无线通信方式与其他设备进行通信。

在本发明的一个例子中，处理器u1可以通过通信单元u5将合成后的视频图像发送至虚拟现实显示设备200进行显示。那么，通信单元u5和视频输出接口j1可以是由相同元件提供。例如可以但不限于是由wifi天线和wifi芯片提供通信单元u5和视频输出接口j1。

在本发明的另一个例子中，处理器u1可以通过通信单元u5将拍摄的视频图像(包括三维视频图像，全景视频图像，和/或，彩色视频图像和深度视频图像)发送至服务器，服务器可以根据接收的视频图像对处理算法进行训练，并将训练后的处理算法发送至视频拍摄装置100。视频拍摄装置100通过通信单元u5接收服务器发送的训练后的图像处理算法，并将其传输至处理器u1。处理器u1根据训练后的图像处理算法对摄像头模组拍摄的视频图片进行处理，以优化该视频拍摄装置的拍摄效果，提升该视频拍摄装置的拍摄质量，也可以提升用户体验。

如图3所示，该视频拍摄装置100还可以包括充电接口j2、电池u3和电源管理芯片u4，充电接口j2与电源管理芯片u4连接，电池u3和电源管理芯片u4连接，电源管理芯片u4被设置为控制电池u3向视频拍摄装置供电，并控制电池u3通过充电接口j2进行充电。充电接口j2、电池u3和电源管理芯片u4可以是设置在主电路板110上。

具体的，电池u3是通过电源管理芯片u4向视频拍摄装置100的处理器u1、摄像头模组u2等功能芯片供电。同时，在充电接口j2与外接电源连接的情况下，电源管理芯片u4可以控制电池u3通过充电接口j2进行充电。

具体的，电源管理芯片u4可以是与充电接口j2的电源引脚和接地引脚连接。电源管理芯片u4是在视频拍摄装置中担负起对电能的变换、分配、检测及其他电能管理的职责的芯片。电源管理芯片u4主要负责识别视频拍摄装置中处理器的供电幅值，产生相应的短矩波，推动后级电路进行功率输出。

该充电接口j2例如可以是mini-usb接口、micro-usb接口、usba型接口、type-c接口、或者lighting接口等usb接口或者圆形充电接口。但是在视频输出接口j1为type-c接口的情况下，该type-c接口也可以作为充电接口j2。

在本发明的一个例子中，该充电接口j2为usb接口。usb接口的数据引脚可以与处理器u1连接，用于接收虚拟现实显示设备200发送的数据。

例如，虚拟现实显示设备200上可以设置有姿态传感器，虚拟现实显示设备200可以将姿态传感器采集的姿态数据通过usb接口发送至处理器u1，处理器u1可以在接收的姿态数据符合预设条件的情况下，执行开始拍摄或者停止拍摄等相应的功能操作。

如图3所示，该视频拍摄装置100还可以包括存储单元u6，存储单元u6可以与处理器u1连接，处理器u1还被设置为将视频图像(包括三维视频图像，全景视频图像，和/或，彩色视频图像和深度视频图像)传送至存储单元u6进行储存。存储单元u6可以是设置在主电路板110上。

具体的，该存储单元u6例如可以包括存储器或者是可插拔的内存卡。

进一步地，该视频拍摄装置100还可以包括用于存储指令的内存u7，该内存u7内存储的指令用于控制处理器执行相应的操作。该内存例如包括rom(只读存储器)、ram(随机存取存储器)、诸如硬盘的非易失性存储器等。内存u7可以是设置在主电路板110上。

如图3所示，该视频拍摄装置100还可以包括惯性测量单元u8。惯性测量单元u8与处理器u1连接。惯性测量单元u8可以是通过spi(serialperipheralinterface，串行外设接口)总线与处理器u1连接。惯性测量单元u8可以是设置在主电路板110上。

具体的，惯性测量单元u8可以包括三轴加速度传感器、三轴陀螺仪和三轴磁传感器。

在本发明的一个例子中，惯性测量单元u8可以采集该视频拍摄装置100的惯性数据，处理器u1可以根据该惯性测量单元u8采集的惯性数据控制该视频拍摄装置100执行相应的功能操作。

例如，处理器u1可以在惯性数据符合第一条件时，控制该视频拍摄装置100开始拍摄；处理器u1可以在惯性数据符合第二条件时，控制该视频拍摄装置100停止拍摄；处理器u1可以在惯性数据符合第三条件时，控制该视频拍摄装置100关机。

本发明还提供了一种用于视频拍摄装置的控制方法。图4为本发明的实施例提供的一种用于视频拍摄装置的控制方法。

根据图4所示，该控制方法包括以下步骤s410～s440：

步骤s410，确定当前拍摄场景下视频拍摄装置调用的摄像头模组。

在一个实施例中，当前拍摄场景下视频拍摄装置调用的摄像头模组可以是两个彩色摄像头模组，也可以是深度摄像头模组和高帧率全局快门彩色摄像头模组。

步骤s420，根据调用的摄像头模组的类型确定对应的图像处理算法。

在当前拍摄场景下视频拍摄装置调用的摄像头模组是两个彩色摄像头模组的情况下，可以调用两个彩色摄像头模组所对应的第一图像处理算法。在当前拍摄场景下视频拍摄装置调用的摄像头模组是深度摄像头模组和高帧率全局快门彩色摄像头模组的情况下，可以调用深度摄像头模组和高帧率全局快门彩色摄像头模组所对应的第二图像处理算法。

步骤s430，根据图像处理算法对调用的摄像头拍摄的视频图像进行处理。

具体的，根据第一图像处理算法可以是对两个彩色摄像头模组采集的视频图像进行三维合成或者是全景合成处理处理。根据第二图像处理算法可以是对深度摄像头模组采集的深度视频图像、及高帧率全局快门彩色摄像头模组采集的彩色视频图像进行合成处理，以根据深度视频图像中的深度信息，更换彩色视频图像中背景、美化人脸；还可以对比深度视频图像和彩色视频图像的人体部位的关键点信息，确定人体部位的空间坐标信息，实现人体部位的识别和追踪等应用。

步骤s440，将处理后的视频图像传输至与视频拍摄装置连接的虚拟现实显示设备。

具体的，可以是将处理后的视频图像传输至虚拟现实显示设备进行实时显示。

在一个例子中，该控制方法还可以包括如图5所示的步骤s510～s530：

步骤s510，将视频图像发送至服务器。

步骤s520，接收服务器发送的迭代处理算法。

其中，该迭代处理算法为服务器根据视频图像对图像处理算法进行训练得到的。

步骤s530，根据迭代处理算法更新图像处理算法，以根据更新后的图像处理算法对视频图像进行处理。

这样，根据更新后的图像处理算法对摄像头模组拍摄的视频图片进行处理，可以优化该视频拍摄装置的拍摄效果，提升该视频拍摄装置的拍摄质量，也可以提升用户体验。

在一个例子中，该控制方法还包括如图6所示的步骤s610～s630：

步骤s610，接收连接的虚拟现实显示设备发送的刷新率。

步骤s620，根据该刷新率调整视频图像的帧率。

步骤s630，将调整后的视频图像经视频输出接口传输至虚拟现实显示设备。

上述各实施例主要重点描述与其他实施例的不同之处，但本领域技术人员应当清楚的是，上述各实施例可以根据需要单独使用或者相互结合使用。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。