基于摄像头的虚拟现实交互方法和装置与流程

本发明涉及虚拟现实技术领域，特别涉及一种基于摄像头的虚拟现实交互方法和装置。

背景技术：

现有的虚拟显示交互技术方案大多都是通过手柄、手套等外部交互设备来实现与虚拟场景进行交互，硬件成本较高。

技术实现要素：

为此，需要提供一种新的、便捷的、成本低廉的虚拟现实交互技术方案。

为实现上述目的，发明人提供了一种基于摄像头的虚拟现实交互方法，包括如下步骤：

通过摄像头获取带手部信息的手部图像，所述手部信息包括手掌或手背的预置图案的信息；

对预置图案信息进行解码，获取带有校验帧的二进制序列；

将解码获取的带有校验帧的二进制序列与虚拟场景中的各手部预置体的二进制序列进行比对，并在虚拟场景中还原出二进制序列相一致的手部预置体；

通过带手部信息的手部图像获取手部第一姿态信息、手部平面位置信息、手部深度信息、手部第二姿态信息和手部动作信息，根据上述五种信息在虚拟场景中以手部预置体重建手部动作。

进一步地，所述的基于摄像头的虚拟现实交互方法中，获取手部第一姿态信息的方式具体包括：通过预置图案信息是位于手掌或手背判断手部的第一姿态是手背向上或手掌向上；

获取手部第二姿态信息的方式具体包括：通过识别是否有预置图案位于手指关节上判断当前的手部第二姿态。

进一步地，所述的基于摄像头的虚拟现实交互方法中，获取手部平面位置信息的方式具体包括：判断摄像头广角的角度与虚拟现实设备的视口大小是否相同，如是则预置图案在带手部信息的手部图像中的位置即为所要获取的手部平面位置；否则对手部信息进行裁剪使其图片长款比例与虚拟现实设备的视口长宽比一致，此时预置图案在经裁剪后的图片中的位置即为所要获取的手部平面位置。

进一步地，所述的基于摄像头的虚拟现实交互方法中，获取手部深度信息的方式具体包括：通过虚拟现实设备上的测距装置获取摄像头到预置图案的距离，并以该距离按预设的比例放大或缩小后将手部预置体设于虚拟场景中。

进一步地，所述的基于摄像头的虚拟现实交互方法中，获取手部动作信息的方式具体包括：通过高于一预设数量预置的手部姿态进行动作变换的连续帧图片组成的手部姿态数据集建立手部姿态模型和误差方程，对图片数据集进行训练以判断和获取手部动作信息。

发明人同时还提供了一种基于摄像头的虚拟现实交互装置，包括图像获取单元、解码单元、比对单元、还原单元、信息解析单元和重建单元；

所述图像获取单元用于通过摄像头获取带手部信息的手部图像，所述手部信息包括手掌或手背的预置图案的信息；

所述解码单元用于对预置图案信息进行解码，获取带有校验帧的二进制序列；

所述比对单元用于将解码获取的带有校验帧的二进制序列与虚拟场景中的各手部预置体的二进制序列进行比对，所述还原单元用于在虚拟场景中还原出二进制序列相一致的手部预置体；

所述信息解析单元用于通过带手部信息的手部图像获取手部第一姿态信息、手部平面位置信息、手部深度信息、手部第二姿态信息和手部动作信息，所述重建单元用于根据信息解析单元所获取的上述五种信息在虚拟场景中以手部预置体重建手部动作。

进一步地，所述的基于摄像头的虚拟现实交互装置中，信息解析单元获取手部第一姿态信息的方式具体包括：通过预置图案信息是位于手掌或手背判断手部的第一姿态是手背向上或手掌向上；

获取手部第二姿态信息的方式具体包括：通过识别是否有预置图案位于手指关节上判断当前的手部第二姿态。

进一步地，所述的基于摄像头的虚拟现实交互装置中，信息解析单元获取手部平面位置信息的方式具体包括：判断摄像头广角的角度与虚拟现实设备的视口大小是否相同，如是则预置图案在带手部信息的手部图像中的位置即为所要获取的手部平面位置；否则对手部信息进行裁剪使其图片长款比例与虚拟现实设备的视口长宽比一致，此时预置图案在经裁剪后的图片中的位置即为所要获取的手部平面位置。

进一步地，所述的基于摄像头的虚拟现实交互装置中，信息解析单元获取手部深度信息的方式具体包括：通过虚拟现实设备上的测距装置获取摄像头到预置图案的距离，并以该距离按预设的比例放大或缩小后将手部预置体设于虚拟场景中。

进一步地，所述的基于摄像头的虚拟现实交互装置中，信息解析单元获取手部动作信息的方式具体包括：通过高于一预设数量预置的手部姿态进行动作变换的连续帧图片组成的手部姿态数据集建立手部姿态模型和误差方程，对图片数据集进行训练以判断和获取手部动作信息。

区别于现有技术，上述技术方案能够实现一种新型的便捷且成本低廉的虚拟现实交互功能。

附图说明

图1为本发明一实施方式所述的基于摄像头的虚拟现实交互方法的流程图；

图2为本发明一实施方式所述的基于摄像头的虚拟现实交互装置的结构示意图。

附图标记说明：

1-图像获取单元

2-解码单元

3-比对单元

4-还原单元

5-信息解析单元

6-重建单元

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1，为本发明一实施方式所述的方法的流程图；所述方法包括如下步骤：

S1、通过摄像头获取带手部信息的手部图像，所述手部信息包括手掌或手背的预置图案的信息；

S2、对预置图案信息进行解码，获取带有校验帧的二进制序列；

S3、将解码获取的带有校验帧的二进制序列与虚拟场景中的各手部预置体的二进制序列进行比对，并在虚拟场景中还原出二进制序列相一致的手部预置体；

S4、通过带手部信息的手部图像获取手部第一姿态信息、手部平面位置信息、手部深度信息、手部第二姿态信息和手部动作信息，根据上述五种信息在虚拟场景中以手部预置体重建手部动作。

所述的虚拟场景是指通过游戏引擎等方法制作出来的一个虚拟的三维场景，其主要功能如下：1，通过摄像头识别到的手部动作等在虚拟场景进行重建，虚拟场景为虚拟现实交互提供了平台；,2，虚拟场景的制作过程中包含了手部预置体的信息，通过该预置体信息和摄像机获取的标记信息的比对来判断是否在虚拟场景中重建该预置体。

所述的摄像头是集成于虚拟现实设备之上的。所述虚拟现实设备，是指用于虚拟现实内容的显示、交互等的头戴式显示设备，可以是头戴式设备与移动处理设备(如Gear VR)组合的虚拟现实设备，也可以是头戴式设备与处理器一体的一体化虚拟现实设备，还可以是只负责显示的头戴式设备(如Oculus Rift)，虚拟场景的内容通过内容发布或者实时视频流等方式传输到虚拟现实设备上，用户通过虚拟现实设备能够浏览虚拟场景中的内容，并进行一定的交互操作。虚拟现实设备上设有以下组件：

显示屏：用户通过显示屏可以进行虚拟场景的漫游和浏览；

陀螺仪：虚拟现实设备通过陀螺仪来检测设备的旋转、偏移等信息，将该数据发送到虚拟场景中，虚拟场景中的相机组件根据该旋转、偏移等的数据在虚拟场景中进行相对应的旋转、偏移；

摄像头：用于实时拍摄现实场景中的画面，当摄像头读取到包含标记信息的图案时，会将该带有标记信息的图案进行解码，将解码后的信息传输到虚拟场景中进行数据的比对。摄像头还包含以下三个模块：1，补光灯：当现实场景的亮度低于某阈值时，启动补光灯进行现实场景的补光，避免因为光线不足导致摄像机无法识别到带有标记信息的图案；2，广角镜头：为了避免由于摄像头的广角不够导致标记信息图案超过摄像头拍摄范围而使其识别不到的问题，其镜头需要有不小于虚拟场景中虚拟摄像机视口大小的角度；3，红外设备：通过红外线能够精确计算出摄像头与带有标记信息的图案的距离。

方法中所述的预置图案是提供预置的标记信息的一种表现形式，该图案是由预设的一种特定的编码方式生成，摄像头将拍摄到的实时的序列图片发送到处理设备，处理设备识别到带有标记信息的图案时，按照特定的解码方式对图案进行解码，还原出其原有的信息，将该信息传输到场景中与预置信息进行比对。

进一步地，步骤S4中，获取手部第一姿态信息的方式具体包括：通过预置图案信息是位于手掌或手背判断手部的第一姿态是手背向上或手掌向上。这需要保证用户将带有预置图案通过一定的方式贴合到手背、手掌和手指上，当手部处于摄像头视口范围内时，手掌、手背其中至少有一张图案能够被摄像机识别到，才能够确定和获取手部的第一姿态信息。

同理，获取手部第二姿态信息的方式是通过识别是否有预置图案位于手指关节上判断当前的手部第二姿态。例如手背朝上握拳时，摄像头只能识别到手背上的图案，而手指等其余部位的图案则识别不到；又如手掌向上握拳时，只能识别到手掌及除大拇指外其余四指的第二关节上的图案。可见通过判断预置图案位于哪些手指关节上可以获取进一步的手部姿态信息。

进一步地，步骤S4中，获取手部平面位置信息的方式具体包括：判断摄像头广角的角度与虚拟现实设备的视口大小是否相同，如是则预置图案在带手部信息的手部图像中的位置即为所要获取的手部平面位置；否则对手部信息进行裁剪使其图片长款比例与虚拟现实设备的视口长宽比一致，此时预置图案在经裁剪后的图片中的位置即为所要获取的手部平面位置。

进一步地，步骤S4中，获取手部深度信息的方式具体包括：通过虚拟现实设备上的测距装置获取摄像头到预置图案的距离，并以该距离按预设的比例放大或缩小后将手部预置体设于虚拟场景中。

进一步地，步骤S4中，获取手部动作信息的方式具体包括：通过高于一预设数量预置的手部姿态进行动作变换的连续帧图片组成的手部姿态数据集建立手部姿态模型和误差方程，对图片数据集进行训练以判断和获取手部动作信息。

请参阅图2，为本发明一实施方式所述的基于摄像头的虚拟现实交互装置的结构示意图；所述装置包括图像获取单元1、解码单元2、比对单元3、还原单元4、信息解析单元5和重建单元6；

所述图像获取单元1用于通过摄像头获取带手部信息的手部图像，所述手部信息包括手掌或手背的预置图案的信息；

所述解码单元2用于对预置图案信息进行解码，获取带有校验帧的二进制序列；

所述比对单元3用于将解码获取的带有校验帧的二进制序列与虚拟场景中的各手部预置体的二进制序列进行比对，所述还原单元4用于在虚拟场景中还原出二进制序列相一致的手部预置体；

所述信息解析单元5用于通过带手部信息的手部图像获取手部第一姿态信息、手部平面位置信息、手部深度信息、手部第二姿态信息和手部动作信息，所述重建单元6用于根据信息解析单元5所获取的上述五种信息在虚拟场景中以手部预置体重建手部动作。

所述的虚拟场景是指通过游戏引擎等方法制作出来的一个虚拟的三维场景，其主要功能如下：1，通过摄像头识别到的手部动作等在虚拟场景进行重建，虚拟场景为虚拟现实交互提供了平台；,2，虚拟场景的制作过程中包含了手部预置体的信息，通过该预置体信息和摄像机获取的标记信息的比对来判断是否在虚拟场景中重建该预置体。

所述的摄像头是集成于虚拟现实设备之上的。所述虚拟现实设备，是指用于虚拟现实内容的显示、交互等的头戴式显示设备，可以是头戴式设备与移动处理设备(如Gear VR)组合的虚拟现实设备，也可以是头戴式设备与处理器一体的一体化虚拟现实设备，还可以是只负责显示的头戴式设备(如Oculus Rift)，虚拟场景的内容通过内容发布或者实时视频流等方式传输到虚拟现实设备上，用户通过虚拟现实设备能够浏览虚拟场景中的内容，并进行一定的交互操作。虚拟现实设备上设有以下组件：

显示屏：用户通过显示屏可以进行虚拟场景的漫游和浏览；

陀螺仪：虚拟现实设备通过陀螺仪来检测设备的旋转、偏移等信息，将该数据发送到虚拟场景中，虚拟场景中的相机组件根据该旋转、偏移等的数据在虚拟场景中进行相对应的旋转、偏移；

摄像头：用于实时拍摄现实场景中的画面，当摄像头读取到包含标记信息的图案时，会将该带有标记信息的图案进行解码，将解码后的信息传输到虚拟场景中进行数据的比对。摄像头还包含以下三个模块：1，补光灯：当现实场景的亮度低于某阈值时，启动补光灯进行现实场景的补光，避免因为光线不足导致摄像机无法识别到带有标记信息的图案；2，广角镜头：为了避免由于摄像头的广角不够导致标记信息图案超过摄像头拍摄范围而使其识别不到的问题，其镜头需要有不小于虚拟场景中虚拟摄像机视口大小的角度；3，红外设备：通过红外线能够精确计算出摄像头与带有标记信息的图案的距离。

所述的预置图案是提供预置的标记信息的一种表现形式，该图案是由预设的一种特定的编码方式生成，摄像头将拍摄到的实时的序列图片发送到处理设备，处理设备识别到带有标记信息的图案时，按照特定的解码方式对图案进行解码，还原出其原有的信息，将该信息传输到场景中与预置信息进行比对。

进一步地，信息解析单元5获取手部第一姿态信息的方式具体包括：通过预置图案信息是位于手掌或手背判断手部的第一姿态是手背向上或手掌向上；这需要保证用户将带有预置图案通过一定的方式贴合到手背、手掌和手指上，当手部处于摄像头视口范围内时，手掌、手背其中至少有一张图案能够被摄像机识别到，才能够确定和获取手部的第一姿态信息。

同理，信息解析单元5获取手部第二姿态信息的方式是通过识别是否有预置图案位于手指关节上判断当前的手部第二姿态。例如手背朝上握拳时，摄像头只能识别到手背上的图案，而手指等其余部位的图案则识别不到；又如手掌向上握拳时，只能识别到手掌及除大拇指外其余四指的第二关节上的图案。可见通过判断预置图案位于哪些手指关节上可以获取进一步的手部姿态信息。

进一步地，所述的基于摄像头的虚拟现实交互装置中，信息解析单元5获取手部平面位置信息的方式具体包括：判断摄像头广角的角度与虚拟现实设备的视口大小是否相同，如是则预置图案在带手部信息的手部图像中的位置即为所要获取的手部平面位置；否则对手部信息进行裁剪使其图片长款比例与虚拟现实设备的视口长宽比一致，此时预置图案在经裁剪后的图片中的位置即为所要获取的手部平面位置。

进一步地，所述的基于摄像头的虚拟现实交互装置中，信息解析单元5获取手部深度信息的方式具体包括：通过虚拟现实设备上的测距装置获取摄像头到预置图案的距离，并以该距离按预设的比例放大或缩小后将手部预置体设于虚拟场景中。

进一步地，所述的基于摄像头的虚拟现实交互装置中，信息解析单元5获取手部动作信息的方式具体包括：通过高于一预设数量预置的手部姿态进行动作变换的连续帧图片组成的手部姿态数据集建立手部姿态模型和误差方程，对图片数据集进行训练以判断和获取手部动作信息。

区别于现有技术，上述技术方案能够实现一种新型的便捷且成本低廉的虚拟现实交互功能。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。

本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。