摄像装置及其图像处理方法、虚拟现实设备与流程

本发明涉及图像采集技术领域，更具体地，本发明涉及一种摄像装置、该种摄像装置的图像处理方法、及具有该种摄像装置的虚拟现实设备。

背景技术：

虚拟现实技术简称VR技术，其是利用电脑模拟产生一个三维空间的虚拟世界，提供用户关于视觉、听觉、触觉等感官的模拟，让用户如同身临其境一般，可以及时、没有限制地观察三度空间内的事务。

虚拟现实中的空间定位系统主要是通过跟踪例如是头盔、手柄等外设的空间位置，识别参与者的位置、姿态等。

现有的空间定位系统中，主要通过摄像装置采集安装在这些外设上的红外发射器发出的红外信号进行外设的定位与跟踪。

现有的摄像装置均是将摄像头采集的图像直接发送至虚拟现实设备的主机进行处理，这将较大程度地增加主机的运算量，进而影响主机资源的合理分配，同时还会导致主机发热严重，降低了用户体验。

技术实现要素：

本发明实施例的一个目的是提供一种摄像装置的新的技术方案，以减轻与摄像装置连接的主机的负担。

根据本发明的第一方面，提供了一种摄像装置，其包括处理器单元、通信模块、及至少一组双目摄像头，所述处理器单元包括至少一个处理器，所述至少一组双目摄像头将采集到的图像数据传输至所述处理器单元进行处理，所述处理器单元将相应的处理结果传输至所述通信模块进行发送。

可选的是，所述摄像装置包括至少两组双目摄像头，且其中一组双目摄像头采用鱼眼镜头。

可选的是，所述处理器单元包括一个应用处理器和一个协处理器，所述至少一组双目摄像头与所述协处理器连接，所述协处理器与所述应用处理器通信连接，所述通信模块与所述应用处理器通信连接。

可选的是，所述协处理器与所述应用处理器通过USB总线通信连接。

可选的是，所述摄像装置还包括惯性测量单元，所述惯性测量单元将采集到的运动数据传输至所述处理器单元进行处理，所述处理器单元将相应的处理结果传输至所述通信模块进行发送。

可选的是，所述摄像装置还包括音频编解码芯片、麦克风模组及扬声器模组，所述麦克风模组通过所述音频编解码芯片的音频编码通道与所述处理器单元连接，所述处理器单元通过所述音频编解码芯片的音频解码通道与所述扬声器模组连接。

可选的是，所述通信模块为无线通信模块。

可选的是，所述摄像装置还包括电池、电源管理芯片和USB插座，所述电池经由所述电池管理芯片为所述摄像装置的用电器件供电，所述USB插座分别与所述电源管理芯片和所述处理器单元连接，所述电源管理芯片与所述处理器单元通信连接。

根据本发明的第二方面，还提供了一种虚拟现实设备，其包括主机和根据本发明的第一方面所述的摄像装置，所述主机与所述摄像装置的通信模块建立通信连接，所述摄像装置的处理器单元将处理各类数据得到的处理结果通过所述通信连接发送至所述主机。

根据本发明的第三方面，还提供了一种根据本发明第一方面所述的摄像装置的图像处理方法，所述处理器单元：

接收至少一组双目摄像头采集到的图像数据；

对所述图像数据进行预处理；

基于预处理后的图像数据，生成深度图像；

基于所述深度图像，得到被定位物体的位置信息；以及，

将所述位置信息作为对应所述图像数据的处理结果传输至所述摄像装置的通信模块进行发送。

本发明的一个有益效果在于，本发明的摄像装置自身设置有处理器单元对各摄像头采集的图像数据进行处理，再通过通信模块将处理得到的处理结果发送至与摄像装置建立连接的主机，这样便可大大降低主机的计算量，进而能够有效减轻主机的负担，并缓解主机发热的问题。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1为根据本发明摄像装置的一种实施例的方框原理图；

图2为根据本发明虚拟现实设备的一种实施例的方框原理图；

图3为根据本发明摄像装置的图像处理方法的一种实施例的流程示意图。

附图标记说明：

U101-应用处理器； U102-协处理器；

U3-存储单元； U4-惯性测量单元；

U5-通信模块； U6-电源管理芯片；

U7-音频编解码芯片； B1-电池；

J1-USB插座； S1-扬声器模组；

M1-麦克风模组； C1-第一组双目摄像头；

C2-第二组双目摄像头； U1-处理器单元。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1是根据本发明摄像装置的一种实施例的方框原理图。

根据图1所示，该摄像装置包括处理器单元U1、通信模块U5、及两组双目摄像头C1、C2。

各组双目摄像头C1、C2采集到的图像数据传输至处理器单元U1进行处理。

处理器单元U1例如可以通过I2C总线对各组双目摄像头C1、C2进行配置。

处理器单元U1将进行各种处理的处理结果，包括处理图像数据得到的处理结果，传输至通信模块U5进行发送。这样，在摄像装置通过通信模块U5与主机建立通信连接后，便可将处理器单元U1获得的处理结果发送至主机供主机使用，进而减轻主机的处理负担。

为了提高使用便捷性，在该实施例中，该通信模块U5为无线通信模块，这样，便可以通过与主机建立无线通信连接的方式进行处理过的各类数据的发送。

在另外的实施例中，该通信模块U5也可以为有线通信模块，例如是USB通信模块等。

每组双目摄像头包括两个相同类型的摄像头，以相当于左右眼进行三维空间的信息捕捉。

在图1所示的实施例中，第一组双目摄像头C1为标准摄像头，例如传感器型号为OV9281的摄像头，用于进行手势捕捉；第二组双目摄像头C2采用鱼眼镜头，例如传感器型号为OV7251，用于获取景深。

以应用场景为用户手持带有红外灯的无线手柄体验VR游戏为例，两组双目摄像头C1、C2将以设定频率捕捉手柄红外灯发出的红外光，第一组双目摄像头C1进行手势捕捉，第二组双目摄像头C2获取景深，进而共同完成对手柄动作的定位。处理器单元U1对两组双目摄像头C1、C2捕捉到的图像数据进行处理，进而获知手柄在空间中的位置信息，并通过通信模块U5将处理得到的位置信息发送至虚拟现实设备的主机，主机得到手柄的位置信息后，便可以将其映射到VR场景中，以实现相应的VR操作。

在该实施例中，该摄像装置还可以包括惯性测量单元(Inertial measurement unit，IMU)U4，该惯性测量单元U4同样将采集到的运动数据传输至处理器单元U1进行处理，处理器单元U1可以将相应的处理结果同样传输至通信模块U5进行发送。

该惯性测量单元(IMU)U4是测量物体三轴姿态角(或角速率)以及加速度的装置，陀螺仪、加速度计、地磁传感器是IMU的主要元件。一个IMU例如可以包括三个单轴的加速度计和三个单轴的陀螺仪，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺仪检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。

上述处理器单元U1包括至少一个处理器对各组双目摄像头C1、C2及惯性测量单元U4等采集到的数据进行处理。

在该实施例中，该处理器单元U1包括一个应用处理器U101和一个协处理器U102，以通过协处理器U102执行一些特定任务，例如监控各组双目摄像头C1、C2，及惯性测量单元U4等，进而减轻应用处理器U101的负担。

该协处理器U102例如通过USB3.0总线与应用处理器U101通信连接，而通信模块U5例如通过I2C总线与应用处理器U101通信连接。这样，协处理器U102便可将经其预处理的数据传输至应用处理器U101做进一步的处理，应用处理器U101再将处理得到的处理结果传输至通信模块U5进行发送。

因此，在该实施例中，至少一组双目摄像头C1、C2例如可以通过MIPI接口与协处理器U102连接，以通过协处理器U102对双目摄像头C1、C2采集到的图像数据进行预处理。

在任何一端不具有MIPI接口的实施例中，可以通过MIPI桥接芯片实现两端的连接。

同样，在该实施例中，惯性测量单元U4例如可以通过SPI接口与协处理器U102连接，以通过协处理器U102对惯性测量单元U4采集到的运动数据进行预处理。

该摄像装置还可以包括音频编解码芯片U7、麦克风模组M1及扬声器模组S1，该麦克风模组M1通过音频编解码芯片U7的音频编码通道与处理器单元U1连接，处理器单元U1通过音频编解码芯片U7的音频解码通道与扬声器模组S1连接。这样，便可通过本发明的摄像装置进行语音通信。

在处理器单元U1具有应用处理器U101和协处理器U102的实施例中，该音频编解码芯片U7例如可以通过I2S总线与处理器单元U1的应用处理器U101连接。

该摄像装置还可以自带电池供电，以提高摄像装置的可靠性和便捷性。因此，在该实施例中，该摄像装置还可以包括电池B1、电源管理芯片(PMIC/PMU)U6和USB插座J1，电池B1经由电池管理芯片U6为摄像装置的各用电器件供电，USB插座J1与电源管理芯片U6和处理器单元U1连接，以实现数据传输，电源管理芯片U6与处理器单元U1通信连接，以传输控制命令和/或状态信息。

电源管理芯片U6与处理器单元U1之间的工作方式例如为：

电源管理芯片U6在检测到USB插座J1的VBUS引脚上电后，与插入USB插座J1的外部设备进行充电协议的交互，交互之后，如果判断插入外部设备是充电器，则打开充电通道，使充电器为电池充电；如果判断插入的外部设备为PC机(USB host)，则通过与处理器单元U1之间的通信通道通知处理器单元U1，以使处理器单元U1与外部设备建立USB连接。

在处理器单元U1包括应用处理器U101和协处理器U102的实施例中，该电源管理芯片U6例如可以通过I2C总线与应用处理器U101通信连接。该USB插座J1可以仅与应用处理器U101连接。该USB插座J1也可以同时与应用处理器U101和协处理器U102连接，在此可以通过应用处理器U101与协处理器U102之间的通信进行连接的选择。

该摄像装置还可以进一步包括隔离电路，以使电源管理芯片U6通过隔离电路与USB插座J1连接，进而将电源管理芯片U6与USB插座J1之间的电路与处理器单元U1与USB插座J1之间的高速通信电路隔离开。

在该实施例中，摄像装置还可以包括存储单元U3，存储单元U3包括至少一个存储器用于扩展处理器单元U1的存储空间.

该存储单元U3例如包括双倍速率同步动态随机存储器(DDR)、FLASH中的至少一种存储器。

在处理器单元U1包括应用处理器U101和协处理器U102的实施例中，该存储单元U3可以直接与协处理器U102的读写引脚连接。

图2是根据本发明虚拟现实设备的一种实施例的方框原理图。

根据图2所示，该虚拟现实设备包括主机210和根据本发明的摄像装置，该摄像装置在该实施例中被标记为220。

摄像装置220通过其通信模块U5与主机210建立通信连接，进而将摄像装置220的处理器单元U1处理各类数据得到的处理结果发送至主机210，供主机210使用。

对于本发明的虚拟现实设备，由于摄像装置220自身承担了主要的计算任务，能够较大程度地减轻主机210的负担，进而有效解决主机发热的问题，因此，本发明的虚拟现实设备能够采用将主机210设置在虚拟现实设备的头戴部分上的设计结构，而不会因发热严重导致用户不适。

在另外的实施例中，该主机210也可以设置在移动手柄中与摄像装置220和头戴部分通信连接。

在另外的实施例中，该主机210也可以是固定的PC机与摄像装置220和头戴部分通信连接。

图3示出了根据本发明摄像装置的处理器单元U1进行图像处理的一种实施方法的流程示意图。

根据图3所示，该图像处理方法可以包括如下步骤：

步骤S301，接收至少一组双目摄像头C1、C2采集到的图像数据。

处理器单元U1例如通过MIPI总线接收至少一组双目摄像头C1、C2采集到的图像数据。步骤S302，对接收到的图像数据进行预处理，以改善图像质量。

该预处理可以包括灰度化处理、增强处理、滤波处理、二值化处理、白平衡处理、去马赛克处理、伽马校正处理等中的至少一种。

该预处理例如可由处理器单元集成的图像采集引擎(Image Acquisition Engine，IAE)执行。

步骤S303，基于预处理后的图像数据，生成深度图像。

深度图像中的每一个像素值用于表示场景中某一点相对于摄像装置的距离。

这例如可以基于预处理后的图像数据，通过智能视差映射和细化算法等生产深度图像。

步骤S304，基于该深度图像，得到被定位物体的位置信息。

该步骤S304例如可以由处理器单元集成的计算机视觉引擎(Computer Vision Engine，CVE)执行，该计算机视觉引擎通过DSP和计算机视觉算法处理深度图像，得到被定位物体的位置信息。被定位物体例如是被红外光标记的头盔、手柄等。

步骤S305，将该位置信息作为对应图像数据的处理结果传输至所述摄像装置的通信模块U5进行发送。

通过该步骤，摄像装置便可将处理器单元U1处理接收到的图像数据得到的处理结果发送至主机供主机使用，这样，主机便无需再占用资源对至少一组双目摄像头采集到的图像数据进行处理，进而减轻了主机的负担。

在图1所示的实施例中，处理器单元U1包括应用处理器U101和协处理器U102，以上步骤S301至步骤S304可以均由协处理器U102完成，而应用处理器U101仅负责处理结果的整合及通过通信模块U5进行处理结果的发送；也可以是协处理器U102执行上述步骤S301和步骤S302，或者执行上述步骤S301至步骤S303，而其余步骤由应用处理器U101执行。

另外，处理器单元U1对惯性测量单元(IMU)采集到的运动数据的处理例如可以是：通过快速中断响应(FIQ)传输至集成上处理器单元中的，进一步为集成在处理器单元的协处理器中的，通用处理模块(General Purpose Processor，GPP)进行处理，生成四元数，并将在四元数作为对应运动数据的处理结果传输至通信模块U5进行发送。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分相互参见即可，每个实施例重点说明的都是与其他实施例的不同之处，而且各个实施例可以根据需要单独使用或者相互结合使用。

虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。