一种用于3D交互的专用处理器的制作方法

本发明涉及3D交互技术领域，特别是涉及一种用于3D交互的专用处理器。

背景技术：

人机交互、人机互动(简称HCI或HMI Human–Computer Interaction或Human–Machine Interaction)，是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器，也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流，并进行操作。

在人机交互中，3D交互已经越来越被广泛的应用，3D交互主要是通过获取交互对象的深度图像，再将深度图像传输计算机或其他智能终端，以实现人机交互。

目前完成上述工作必须要多个处理器或者多个设备，例如，第一处理器仅能够输出原始的深度数据，对深度数据的进一步处理(比如深度数据的预处理、人体检测、骨架识别等)则是在其他智能终端的处理器上实现的。因而对于含不同处理器的智能设备，都需要经过不同的适配处理，无疑增加了开发的难度；另外，数据之间的传输往往都要经过压缩以及解压处理，导致一些基于深度相机的应用有延时产生。

技术实现要素：

本发明主要解决的技术问题是提供一种用于3D交互的专用处理器，能够提高数据处理速度，减小成本，无需其他的处理器进行数据二次处理。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种用于3D交互的专用处理器，该专用处理器包括：图像处理电路，用于获取采集设备采集的包含交互对象的不可见光图像，并提取不可见光图像中交互对象的骨架数据；输出电路，用于将骨架数据输出至3D交互设备。

其中，还包括：存储电路，用于存储参考图像以及采集设备的参数；图像处理电路具体包括：深度数据计算电路，连接存储电路以及采集设备，用于计算不可见光图像的深度数据；数据提取电路，连接深度数据计算电路，用于根据不可见光图像的深度数据，提取不可见光图像中交互对象的骨架深度数据。

其中，图像处理电路具体包括：深度数据计算电路，连接外部存储器以及采集设备，用于计算不可见光图像的深度数据；数据提取电路，连接深度数据计算电路，用于根据不可见光图像的深度数据，提取不可见光图像中交互对象的骨架深度数据。

其中，采集设备为结构光深度相机；结构光深度相机包括投影模组以及采集模组，投影模组用于向交互对象投影结构光图案，采集模组用于采集包含交互对象的不可见光图像；专用处理器设置于采集设备中。

其中，深度数据计算电路包括偏移值计算电路以及深度值计算电路；偏移值计算电路用于对不可见光图像以及参考图像进行相关计算，得到不可见光图像与参考图像的偏移值；深度值计算电路用于根据偏移值以及采集设备的参数计算得到不可见光图像中每个像素的深度值。

其中，深度值计算电路具体用于根据以下公式计算得到不可见光图像中每个像素的深度值：其中，Z_D不可见光图像中每个像素点的深度值，Z₀为参考图像中每个像素点的深度值，B为投影模组与采集模组之间的距离，f为采集模组的焦距，Δu为偏移值。

其中，偏移值计算电路具体用于根据不可见光图像和参考图像中的散斑图案的相似程度，确定不可见光图像中每个像素相对于参考图像中对应像素的偏移值。

其中，结构光深度相机为红外结构光深度相机，包括红外投影模组以及红外接收模组；结构光图案为不规则的散斑图案；专用处理器设置于结构光深度相机内。

其中，数据提取电路包括预处理电路、人体检测电路以及骨架提取电路；预处理电路用于对不可见光图像的深度数据进行预处理；其中，预处理包括滤波、平滑处理以及插值处理中的一种；交互对象检测电路用于在不可见光图像中检测交互对象，并分割出交互对象部分图像；骨架提取电路用于在交互对象部分图像中提取出交互对象的骨架深度数据。

其中，还包括压缩电路，连接图像处理电路，用于将不可见光图像中交互对象的骨架数据进行压缩，并发送给输出电路。

本发明的有益效果是：区别于现有技术的情况，本发明的专用处理器包括：图像处理电路，用于获取采集设备采集的包含交互对象的不可见光图像，并提取不可见光图像中交互对象的骨架数据；输出电路，用于将骨架数据输出至3D交互设备。本发明的专用处理器直接可以根据获取的包含交互对象的不可见光图像，进行数据处理得到交互对象的骨架数据，以便交互设备能够直接利用该骨架数据实现3D交互，而无需其他的处理器再次对图像数据进行处理。通过上述方式，能够减小成本，提高数据的处理速度。

附图说明

图1是本发明用于3D交互的专用处理器第一实施方式的结构示意图；

图2是本发明用于3D交互的专用处理器第一实施方式中采集设备的结构示意图；

图3是本发明用于3D交互的专用处理器第二实施方式的结构示意图；

图4是本发明用于3D交互的专用处理器第三实施方式的结构示意图；

图5是本发明用于3D交互的专用处理器第四实施方式的结构示意图；

图6是本发明用于3D交互的专用处理器第五实施方式的结构示意图。

具体实施方式

参阅图1，图1是本发明用于3D交互的专用处理器第一实施方式的结构示意图，该专用处理器包括：

图像处理电路11，用于获取采集设备采集的包含交互对象的不可见光图像，并提取不可见光图像中交互对象的骨架数据。

输出电路12，用于将第一视角的彩色图像和第二视角的彩色图像输出至3D交互设备。

其中，采集设备可以为外部的采集设备，通过有线或无线的方式与本实施方式的专用处理器连接。

可选的，该交互对象可以是人体，特别的，可以是人体的手。由于在3D交互中，手是最直接最方便的交互工具，用户可以通过手的路径、动作或手势来发出不同的指令，以使交互系统能够识别并执行这些指令。当然本实施方式也不限于手，其他的例如人脸、嘴唇、眼睛等交互对象都应当包含在本发明的保护范围之内。

其中，骨架数据的提取主要是指将不可见光中的背景部分和交互对象部分进行分离，以得到仅包含交互对象的图像，便于获取交互对象所传达的指令，进而实现3D交互。

如图2所示，在一具体的实施例中，采集设备为结构光深度相机20。

结构光深度相机20包括投影模组21以及采集模组22，投影模组21用于向交互对象投影结构光图案，采集模组22用于采集包含交互对象的不可见光图像。

可选的，该专用处理器设置于采集设备中，采集设备在采集到包含交互对象的不可见光图像后，处理器直接对不可见光图像进行处理，进而输出骨架数据至3D交互设备。

区别于现有技术，本实施方式的专用处理器包括：图像处理电路，用于获取采集设备采集的包含交互对象的不可见光图像，并提取不可见光图像中交互对象的骨架数据；输出电路，用于将骨架数据输出至3D交互设备。本实施方式的专用处理器直接可以根据获取的包含交互对象的不可见光图像，进行数据处理得到交互对象的骨架数据，以便交互设备能够直接利用该骨架数据实现3D交互，而无需其他的处理器再次对图像数据进行处理。通过上述方式，能够减小成本，提高数据的处理速度。

参阅图3，图3是本发明用于3D交互的专用处理器第二实施方式的结构示意图，该专用处理器包括存储电路31、深度数据计算电路32、数据提取电路33以及输出电路34。其中：

存储电路31，用于存储参考图像以及采集设备的参数。

其中，该采集设备与上述第一实施方式中的采集设备相同，这里不再赘述。

具体地，该结构光深度相机可以是红外结构光深度相机，其包括红外投影模组以及红外采集模组，红外投影模组向交互对象投影不规则的散斑图案，红外采集模组采集反射的红外散斑图案。例如，其中的红外光可以是波长为830nm或850nm的红外光。

其中，参考图像是已知深度值的一幅不可见光图像。具体地，可以在垂直于结构光深度相机的光轴的平面上放置一平板，该平板与结构光深度相机的距离已知。再向该平板投影结构光图案并通过结构光深度相机进行拍照或摄影得到参考图像。其中，参考图像的图案和采集待测对象的不可见光图像的图案是在同一个投影模组的投影下分别采集得到的，即为了保证其结构光图案(散斑图案)的一致性。

可选的，参考图像的已知深度可以是任意设置的，一般情况下，可以选择结构光深度相机的深度测量范围的中间值，例如，结构光深度相机的深度测量范围为(a,b)，则参考图像的深度可以为

其中，采集设备的参数包括投影模组和采集模组之间的距离关系，以及采集模组的镜头的焦距等等。

深度数据计算电路32，连接存储电路31以及采集设备，用于计算不可见光图像的深度数据。

在一具体的实施方式中，深度数据计算电路32包括偏移值计算电路以及深度值计算电路。

其中，偏移值计算电路用于对不可见光图像以及参考图像进行相关计算，得到不可见光图像与参考图像的偏移值，具体地，可以根据不可见光图像和参考图像中的散斑图案的相似程度，确定不可见光图像中每个像素相对于参考图像的像素坐标偏移值。

由于结构光深度相机的散斑图像为不规则的散斑，因此可以根据两幅图中的散斑的相似程度，确定同一图案区域在两幅图中的位置，从而确定像素坐标偏移值。

具体地，下面对计算偏移值做简单的介绍：

提取采集的不可见光图像中至少包含目标像素点的一个多像素区域，由于散斑图案是相同的，即可以在参考图像中找到一个与该像素区域极为相似(相似度达到预设条件)的一个区域(即找到不可见光图像中目标像素点在参考图像中的对应像素点)，获得其中与目标像素点对应的像素的坐标，这样通过比较两个像素点的偏移情况，就可以得到空间中同一点在不可见光图像和参考图像中的像素坐标的偏移值。

具体地，首先确定每个像素的位移映射函数，一般而言该函数需要考虑采集的不可见光图像和参考图像两幅图中待测对象上各点的平移以及变形。在本实施例中，由于两幅图中的图案仅仅是由于待测对象深度变化导致位置变化，并没有发生较大的变形，因此可以将该函数简化成仅考虑平移的情形，即：X＝x+Δu。这里X及x分别为待测对象的一个点在采集的不可见光图像以及参考图像中的像素坐标，Δu为待求的像素坐标偏移值。

其次，确定相应的搜索算法。一般采用的是牛顿迭代法，但是该算法涉及大量的根号及除法运算，算法的编写以及执行效率都不高。本实施例可以采用基于迭代最小二乘法的搜索算法。由于仅考虑沿X方向平移的情形，因此仅需要进行一维的搜索算法就可以了，这样可以较大幅度提升算法的效率和精度。

最后结合位移映射函数以及迭代最小二乘法就可以对偏移值Δu进行求解。

其中，深度值计算电路用于根据偏移值以及采集设备的参数计算得到不可见光图像中每个像素的深度值。

具体地，在一实施例中，深度值计算电路具体用于根据以下公式计算得到不可见光图像中每个像素的深度值：

其中，Z_D不可见光图像中每个像素点的深度值，Z₀为参考图像中每个像素点的深度值，B为投影模组与采集模组之间的距离，f为采集模组的焦距，Δu为偏移值。

数据提取电路33用于根据不可见光图像的深度数据，提取不可见光图像中交互对象的骨架深度数据。

在一具体的实施方式中，数据提取电路33包括预处理电路、人体检测电路以及骨架提取电路。

预处理电路用于对不可见光图像的深度数据进行预处理；其中，预处理包括滤波、平滑处理以及插值处理中的一种。

交互对象检测电路用于在不可见光图像中检测交互对象，并分割出交互对象部分图像。

骨架提取电路用于在交互对象部分图像中提取出交互对象的骨架深度数据。

可选的，在一实施例中，在得到骨架深度数据后，可以对骨架深度数据进行平滑、去噪处理。由于数据常常出现一些坏点，导致最终得到的骨架深度数据中出现一些空洞等问题，在后面步骤中进一步处理时会将这些数据进行放大，进而严重影响三维显示效果，为避免骨架深度数据的坏点或区域数据对3D交互的影响，本步骤对得到的骨架深度数据进行去噪、平滑处理。

输出电路34用于将骨架数据输出至3D交互设备。

区别于现有技术，本实施方式的专用处理器包括：存储电路，用于存储参考图像以及采集设备的参数；深度数据计算电路，连接存储电路以及采集设备，用于计算不可见光图像的深度数据；数据提取电路，连接深度数据计算电路，用于根据不可见光图像的深度数据，提取不可见光图像中交互对象的骨架深度数据；输出电路，用于将骨架数据输出至3D交互设备。本实施方式的专用处理器直接可以根据获取的包含交互对象的不可见光图像，进行数据处理得到交互对象的骨架数据，以便交互设备能够直接利用该骨架数据实现3D交互，而无需其他的处理器再次对图像数据进行处理。通过上述方式，能够减小成本，提高数据的处理速度。

参阅图4，图4是本发明用于3D交互的专用处理器第三实施方式的结构示意图，该专用处理器包括深度数据计算电路41、数据提取电路42以及输出电路43。

深度数据计算电路41，连接外部存储器以及采集设备，用于计算不可见光图像的深度数据。

数据提取电路42，连接深度数据计算电路，用于根据不可见光图像的深度数据，提取不可见光图像中交互对象的骨架深度数据。

输出电路43，用于将骨架数据输出至3D交互设备。

可选的，在一具体的实施例中，深度数据计算电路41包括偏移值计算电路以及深度值计算电路。

偏移值计算电路用于对不可见光图像以及参考图像进行相关计算，得到不可见光图像与参考图像的偏移值；深度值计算电路用于根据偏移值以及采集设备的参数计算得到不可见光图像中每个像素的深度值。

其中，深度值计算电路具体用于根据以下公式计算得到不可见光图像中每个像素的深度值：

其中，Z_D不可见光图像中每个像素点的深度值，Z₀为参考图像中每个像素点的深度值，B为投影模组与采集模组之间的距离，f为采集模组的焦距，Δu为偏移值。

可选的，在一具体的实施例中，数据提取电路包括预处理电路、人体检测电路以及骨架提取电路。

预处理电路用于对不可见光图像的深度数据进行预处理；其中，预处理包括滤波、平滑处理以及插值处理中的一种；交互对象检测电路用于在不可见光图像中检测交互对象，并分割出交互对象部分图像；骨架提取电路用于在交互对象部分图像中提取出交互对象的骨架深度数据。

可以理解的，不同于上述第二实施方式，本实施方式的专用处理器不包括存储电路，而是通过外部的存储器来存储参考图像以及采集设备的参数，而其他的结构和原理与上述第二实施方式类似，这里不再赘述。

区别于现有技术，本实施方式的专用处理器包括：深度数据计算电路，连接外部存储器以及采集设备，用于计算不可见光图像的深度数据；数据提取电路，连接深度数据计算电路，用于根据不可见光图像的深度数据，提取不可见光图像中交互对象的骨架深度数据；输出电路，用于将骨架数据输出至3D交互设备。本实施方式的专用处理器直接可以根据获取的包含交互对象的不可见光图像，进行数据处理得到交互对象的骨架数据，以便交互设备能够直接利用该骨架数据实现3D交互，而无需其他的处理器再次对图像数据进行处理。通过上述方式，能够减小成本，提高数据的处理速度。

再参阅图5，图5是本发明用于3D交互的专用处理器第四实施方式的结构示意图，该专用处理器包括存储电路51、深度数据计算电路52、数据提取电路53、压缩电路54以及输出电路55。

其中，存储电路51用于存储参考图像以及采集设备的参数。

深度数据计算电路52，连接存储电路51以及采集设备，用于计算不可见光图像的深度数据。

数据提取电路53，连接深度数据计算电路52，用于根据不可见光图像的深度数据，提取不可见光图像中交互对象的骨架深度数据。

具体地，深度数据计算电路52包括偏移值计算电路以及深度值计算电路；偏移值计算电路用于对不可见光图像以及参考图像进行相关计算，得到不可见光图像与参考图像的偏移值；深度值计算电路用于根据偏移值以及采集设备的参数计算得到不可见光图像中每个像素的深度值。

其中，深度值计算电路具体用于根据以下公式计算得到不可见光图像中每个像素的深度值：

其中，Z_D不可见光图像中每个像素点的深度值，Z₀为参考图像中每个像素点的深度值，B为投影模组与采集模组之间的距离，f为采集模组的焦距，Δu为偏移值。

具体地，数据提取电路53包括预处理电路、人体检测电路以及骨架提取电路；预处理电路用于对不可见光图像的深度数据进行预处理；其中，预处理包括滤波、平滑处理以及插值处理中的一种；交互对象检测电路用于在不可见光图像中检测交互对象，并分割出交互对象部分图像；骨架提取电路用于在交互对象部分图像中提取出交互对象的骨架深度数据。

压缩电路54连接数据提取电路53，用于将不可见光图像中交互对象的骨架数据进行压缩，并发送给输出电路54。

输出电路55，用于将骨架数据输出至3D交互设备。

参阅图6，图6是本发明用于3D交互的专用处理器第五实施方式的结构示意图。

该专用处理器包括存储电路61、偏移值计算电路62、深度值计算电路63、预处理电路64、人体检测电路65、骨架提取电路66、压缩电路67以及输出电路68。

其中，存储电路61用于存储参考图像以及采集设备的参数。

偏移值计算电路62连接存储电路61，用于对不可见光图像以及参考图像进行相关计算，得到不可见光图像与参考图像的偏移值。

深度值计算电路63连接存储电路61与偏移值计算电路62，用于根据偏移值以及采集设备的参数计算得到不可见光图像中每个像素的深度值。

预处理电路64用于对不可见光图像的深度数据进行预处理；其中，预处理包括滤波、平滑处理以及插值处理中的一种。

交互对象检测电路65用于在不可见光图像中检测交互对象，并分割出交互对象部分图像。

骨架提取电路66用于在交互对象部分图像中提取出交互对象的骨架深度数据。

压缩电路67用于将不可见光图像中交互对象的骨架数据进行压缩，并发送给输出电路。

输出电路68，用于将骨架数据输出至3D交互设备。

可以理解的，本实施方式公开了一种具体的电路连接方式，其各个子电路的作用以及原理与上述其他实施方式类似，这里不再赘述。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。