一种基于TOF相机的投影交互方法及其系统和电子设备与流程

一种基于tof相机的投影交互方法及其系统和电子设备
技术领域
[0001]
本发明涉及人机交互技术领域，特别是涉及一种基于tof相机的投影交互方法及其系统和电子设备。


背景技术：

[0002]
随着计算机视觉的快速发展，使得基于计算机视觉的人机交互技术也在随之进步，人机交互界面也越来越向着友好、便捷的方向发展。近年来，各种人机交互系统涌现在消费者面前，例如：触摸屏、数据手套、体感游戏、遥控手柄以及徒手等等。其中，通过手部动作来实现徒手操作的人机交互方式，例如利用指尖在投影出的虚拟键盘图像上操作以输入文字或其他指令等等，因其成本低廉、操作简单且人性化，逐渐成为消费者瞩目的焦点，开始获得消费者的青睐，也是目前为止最为方便可行的方法之一。
[0003]
指尖检测作为徒手操作的人机交互方式的关键所在，其检测结果的精确度和时效性将会直接影响该徒手操作的人机交互方式的质量和用户体验。目前市面上针对指尖检测的研究应用非常广泛，尤其是基于普通rgb相机采集的二维rgb图像进行的指尖检测，其主要是利用手部肤色和背景的rgb色域之间的差异来初步识别手部区域的。然而，由于rgb图像受环境因素(如光照强度、逆光、反光等)和复杂背景的影响较大，每个人手部的肤色也没有一致性，因此基于rgb图像进行的指尖检测必然也会受到环境因素和手部肤色的影响，进而降低人机交互的精度和效率。因此，指尖检测的精确定位对人机交互而言仍然是一个极具挑战性的课题。


技术实现要素：

[0004]
本发明的一目的在于提供一种基于tof相机的投影交互方法及其系统和电子设备，其能够提高人机交互的精度和效率，有助于增强人机交互的实用性。
[0005]
本发明的另一目的在于提供一种基于tof相机的投影交互方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于tof相机的投影交互方法能够减少环境光线等因素对指尖检测的影响，有助于提高指尖检测的精度。
[0006]
本发明的另一目的在于提供一种基于tof相机的投影交互方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于tof相机的投影交互方法能够减少不同手部肤色的差异性所带来的误差，有助于保证指尖检测的准确度。
[0007]
本发明的另一目的在于提供一种基于tof相机的投影交互方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于tof相机的投影交互方法采用角点标记来进行tof相机与投影仪之间的标定，有助于提高标定结果的准确率，以便提高后续的交互精度。
[0008]
本发明的另一目的在于提供一种基于tof相机的投影交互方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于tof相机的投影交互方法能够动态地获得不同投影距离时的映射矩阵，有助于提高tof相机和投影仪之间映射关系的准确率，保证后续的投影交互顺利进行。
[0009]
本发明的另一目的在于提供一种基于tof相机的投影交互方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于tof相机的投影交互方法采用红外深度信息融合图进行指尖检测，有助于提高指尖检测的精度。
[0010]
本发明的另一目的在于提供一种基于tof相机的投影交互方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于tof相机的投影交互方法能够通过轮廓检测，去除灰度图像中因高光影响而带来的检测噪声，有助于提高指尖检测的精度。
[0011]
本发明的另一目的在于提供一种基于tof相机的投影交互方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于tof相机的投影交互方法能够充分考虑手腕点、手指间凹点的影响，有助于大幅提高指尖检测的有效性和准确性。
[0012]
本发明的另一目的在于提供一种基于tof相机的投影交互方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于tof相机的投影交互方法能够减少tof单点点云抖动带来的误差影响，有助于保证投影交互具有较好的稳定性。
[0013]
本发明的另一目的在于提供一种基于tof相机的投影交互方法及其系统和电子设备，其中，为了达到上述目的，在本发明中不需要采用昂贵的材料或复杂的结构。因此，本发明成功和有效地提供了一种解决方案，不只提供了一种简单的基于tof相机的投影交互方法及其系统和电子设备，同时还增加了所述基于tof相机的投影交互方法及其系统和电子设备的实用性和可靠性。
[0014]
为了实现上述至少一发明目的或其他目的和优点，本发明提供了一种基于tof相机的投影交互方法，包括步骤：
[0015]
基于通过tof相机获得的灰度图像和深度图像，进行轮廓检测，以获得手部轮廓数据，其中该灰度图像和该深度图像是由该tof相机拍摄位于投影仪前方的手部而获得，其中该投影仪与该tof相机之间的相对位置保持不变；
[0016]
基于该手部轮廓数据，对手部轮廓上的指尖点进行定位，以得到该手部轮廓上的该指尖点在该灰度图像上的位置；
[0017]
判断该手部的指尖是否处在该投影仪的投影面上；
[0018]
基于该tof相机的该灰度图像与该投影仪在该投影面上投出的投影画面之间的映射关系，将该指尖点在该灰度图像上的位置映射至该投影画面，以得到该指尖点在该投影画面上的位置；以及
[0019]
响应于判定该指尖处在该投影仪的该投影面上，基于该指尖点在该投影画面上的位置，发出相应的触控指令，从而实现投影交互。
[0020]
在本发明的一实施例中，所述基于通过tof相机获得的灰度图像和深度图像，进行轮廓检测，以获得手部轮廓数据，其中该灰度图像和该深度图像是由该tof相机拍摄位于投影仪前方的手部而获得，其中该投影仪与该tof相机之间的相对位置保持不变的步骤，包括步骤：
[0021]
融合通过该tof相机获得的该灰度图像和该深度图像，以得到灰度深度融合图像；
[0022]
对所述灰度深度融合图像进行轮廓检测，以检测出在所述灰度图像上的手部轮廓区域；以及
[0023]
通过噪声滤波，滤除该手部轮廓区域中的检测噪声，以得到该手部轮廓数据。
[0024]
在本发明的一实施例中，所述基于该手部轮廓数据，对手部轮廓上的指尖点进行
定位，以得到该手部轮廓上的该指尖点在该灰度图像上的位置的步骤，包括步骤：
[0025]
基于该手部轮廓数据，计算出该手部轮廓上每个轮廓点的曲率；
[0026]
通过预设的曲率阈值，筛选出满足要求的轮廓点以进行聚类，进而获得类指尖点；以及
[0027]
通过凸包检测滤除在该手部轮廓上手腕区域和手指区域处的类指尖点，以确定该指尖点在该灰度图像上的位置。
[0028]
在本发明的一实施例中，在所述通过预设的曲率阈值，筛选出满足要求的轮廓点以进行聚类，进而获得类指尖点的步骤中，筛选出的该轮廓点的曲率大于该预设的曲率阈值。
[0029]
在本发明的一实施例中，所述判断该手部的指尖是否处在该投影仪的投影面上的步骤，包括步骤：
[0030]
根据该指尖点在该手部轮廓上的位置，选取该手部轮廓上相对应的指甲区域内的点云；
[0031]
根据所选取的点云的深度信息，计算出该支架区域的平均深度，以获得该指甲区域与该投影仪的该投影面之间的距离；以及
[0032]
通过预设的距离阈值，判断该指尖是否处在该投影仪的该投影面上。
[0033]
在本发明的一实施例中，在所述根据该指尖点在该手部轮廓上的位置，选取该手部轮廓上相对应的指甲区域内的点云的步骤中，该所选取的点云处在该手部轮廓的该指甲区域的轮廓内切圆之内。
[0034]
在本发明的一实施例中，在所述通过预设的距离阈值，判断该指尖点是否处在该投影仪的该投影面上的步骤中，当该指甲区域与该投影仪的该投影面之间的距离小于或等于该预设的距离阈值时，判定该指尖处在该投影仪的该投影面上。
[0035]
在本发明的一实施例中，所述基于该tof相机的该灰度图像与该投影仪在该投影面上投出的投影画面之间的映射关系，将该指尖点在该灰度图像上的位置映射至该投影画面，以得到该指尖点在该投影画面上的位置的步骤，包括步骤：
[0036]
基于该投影仪的投影距离，确定该灰度图像和该投影画面之间在该投影距离下的映射关系；和
[0037]
基于在该投影距离下的该映射关系，将该指尖点在该灰度图像上的位置映射至该投影画面，以得到在该投影画面上的指尖位置。
[0038]
在本发明的一实施例中，所述的基于tof相机的投影交互方法，进一步包括步骤：
[0039]
对相对位置固定的该tof相机和该投影仪进行标定，以获得该tof相机的该灰度图像和该投影仪的该投影画面之间在不同投影距离下的映射关系。
[0040]
在本发明的一实施例中，所述对相对位置固定的该tof相机和该投影仪进行标定，以获得该tof相机的该灰度图像和该投影仪的该投影画面之间在不同投影距离下的映射关系的步骤，包括步骤：
[0041]
调整该投影仪与一标定板之间的距离，使得该投影仪在不同距离下的该标定板上投出该投影画面，其中该标定板与该投影仪之间的距离为该投影仪的该投影距离；
[0042]
通过角点标记，在该标定板标记出在该标定板上的该投影画面的角点，以得到在不同的该投影距离下的标记角点；
[0043]
通过该tof相机依次拍摄在不同的该投影距离下该标定板上的该标记角点，以获得在不同的该投影距离下含有该标记角点的灰度图像；以及
[0044]
基于该标记角点在该灰度图像上的位置，建立该tof相机的该灰度图像与该投影仪的该投影画面之间随该投影距离变化的映射关系。
[0045]
根据本发明的另一方面，本发明还提供了一种基于tof相机的投影交互系统，包括：
[0046]
一轮廓检测模块，其中所述轮廓检测模块用于基于通过tof相机获得的灰度图像和深度图像，进行轮廓检测，以获得手部轮廓数据，其中该灰度图像和该深度图像是由该tof相机拍摄位于投影仪前方的手部而获得，其中该投影仪与该tof相机之间的相对位置保持不变；
[0047]
一指尖定位模块，其中所述指尖定位模块与所述轮廓检测模块可通信地连接，用于基于该手部轮廓数据，对手部轮廓上的指尖点进行定位，以得到该手部轮廓上的该指尖点在该灰度图像上的位置；
[0048]
一判断模块，其中所述判断模块用于判断该手部的指尖是否处在该投影仪的投影面上；
[0049]
一映射模块，其中所述映射模块与所述指尖定位模块可通信地连接，用于基于该tof相机的该灰度图像与该投影仪在该投影面上投出的投影画面之间的映射关系，将该指尖点在该灰度图像上的位置映射至该投影画面，以得到该指尖点在该投影画面上的位置；以及
[0050]
一触控模块，其中所述触控模块分别与所述判断模块和所述映射模块可通信地连接，用于响应于判定该指尖处在该投影仪的该投影面上，基于该指尖点在该投影画面上的位置，发出相应的触控指令，从而实现投影交互。
[0051]
在本发明的一实施例中，所述轮廓检测模块包括相互可通信地连接的一融合模块、一检测模块以及一滤波模块，其中所述融合模块用于融合通过该tof相机获得的该灰度图像和该深度图像，以得到灰度深度融合图像；其中所述检测模块用于对所述灰度深度融合图像进行轮廓检测，以检测出在所述灰度图像上的手部轮廓区域；其中所述滤波模块用于通过噪声滤波，滤除该手部轮廓区域中的检测噪声，以得到该手部轮廓数据。
[0052]
在本发明的一实施例中，所述指尖定位模块包括依次可通信地连接的一曲率计算模块、一筛选模块以及一凸包检测模块，其中所述曲率计算模块用于基于该手部轮廓数据，计算出该手部轮廓上每个轮廓点的曲率；其中所述筛选模块用于通过预设的曲率阈值，筛选出满足要求的轮廓点以进行聚类，进而获得类指尖点；其中所述凸包检测模块用于通过凸包检测滤除在该手部轮廓上手腕区域和手指区域处的类指尖点，以确定该指尖点在该灰度图像上的位置。
[0053]
在本发明的一实施例中，所述判断模块进一步用于根据该指尖点在该手部轮廓上的位置，选取该手部轮廓上相对应的指甲区域内的点云；根据所选取的点云的深度信息，计算出该支架区域的平均深度，以获得该指甲区域与该投影仪的该投影面之间的距离；以及通过预设的距离阈值，判断该指尖是否处在该投影仪的该投影面上。
[0054]
在本发明的一实施例中，所述映射模块进一步用于基于该投影仪的投影距离，确定该灰度图像和该投影画面之间在该投影距离下的映射关系；和基于在该投影距离下的该
映射关系，将该指尖点在该灰度图像上的位置映射至该投影画面，以得到在该投影画面上的指尖位置。
[0055]
在本发明的一实施例中，所述的基于tof相机的投影交互系统，进一步包括一标定模块，其中所述标定模块用于对相对位置固定的该tof相机和该投影仪进行标定，以获得该tof相机的该灰度图像和该投影仪的该投影画面之间在不同投影距离下的映射关系。
[0056]
在本发明的一实施例中，所述标定模块包括依次可通信地连接的一调整模块、一角点标记模块、一标记角点获取模块以及一映射关系建立模块，其中所述调整模块用于调整该投影仪与一标定板之间的距离，使得该投影仪在不同距离下的该标定板上投出该投影画面，其中该标定板与该投影仪之间的距离为该投影仪的该投影距离；所述角点标记模块用于通过角点标记，在该标定板标记出在该标定板上的该投影画面的角点，以得到在不同的该投影距离下的标记角点；所述标记角点获取模块用于通过该tof相机依次拍摄在不同的该投影距离下该标定板上的该标记角点，以获得在不同的该投影距离下含有该标记角点的灰度图像；其中所述映射关系建立模块用于基于该标记角点在该灰度图像上的位置，建立该tof相机的该灰度图像与该投影仪的该投影画面之间随该投影距离变化的映射关系。
[0057]
根据本发明的另一方面，本发明还提供了一种电子设备，包括：
[0058]
一处理器，用于执行指令；和
[0059]
一存储器，其中所述存储器被配置用于保存由所述逻辑器执行以实现如上述任一所述的基于tof相机的投影交互方法中的部分或全部步骤的机器可读指令。
[0060]
通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。
[0061]
本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。
附图说明
[0062]
图1是根据本发明的一实施例的一种基于tof相机的投影交互方法的流程示意图。
[0063]
图2示出了根据本发明的上述实施例的所述基于tof相机的投影交互方法的步骤之一的流程示意图。
[0064]
图3示出了根据本发明的上述实施例的所述基于tof相机的投影交互方法的步骤之二的流程示意图。
[0065]
图4示出了根据本发明的上述实施例的所述基于tof相机的投影交互方法的步骤之三的流程示意图。
[0066]
图5示出了根据本发明的上述实施例的所述基于tof相机的投影交互方法的步骤之四的流程示意图。
[0067]
图6示出了根据本发明的上述实施例的所述基于tof相机的投影交互方法的步骤之五的流程示意图。
[0068]
图7a至图7d示出了通过本发明的上述实施例的所述基于tof相机的投影交互方法进行投影交互的过程示意图。
[0069]
图8示出了根据本发明的上述实施例的所述基于tof相机的投影交互方法中指尖检测的效果示意图。
[0070]
图9是根据本发明的一实施例的一种基于tof相机的投影交互系统的框图示意图。
[0071]
图10是根据本发明的一实施例的一种电子设备的示例。
具体实施方式
[0072]
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
[0073]
在本发明中，权利要求和说明书中术语“一”应理解为“一个或多个”，即在一个实施例，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个。除非在本发明的揭露中明确示意该元件的数量只有一个，否则术语“一”并不能理解为唯一或单一，术语“一”不能理解为对数量的限制。
[0074]
在本发明的描述中，需要理解的是，属于“第一”、“第二”等仅用于描述目的，而不能理解为指示或者暗示相对重要性。本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接或者一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以是通过媒介间接连结。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0075]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0076]
随着人机交互技术的飞速发展，基于计算机视觉的人机交互技术也在随之进步，而利用手部动作来实现人机交互更是目前为止最为方便可行的方法之一。例如，目前市场上的人机交互技术通常是先基于二维rgb图像利用手部肤色和背景的rgb色域的区别来进行指尖检测，再响应于指尖位置和/或手势，发出相应指令，从而实现人机交互的目的。然而，通过普通相机拍摄的的rgb图像受环境光线和背景的影响较大，并且每个人手部的肤色也没有一致性，这使得这种基于普通相机的人机交互方法中指尖检测的精度和准确性不高，难以得到大范围的推广和应用。因此，为了解决上述问题，本发明提供了一种基于tof相机的投影交互方法及其系统和电子设备。
[0077]
值得注意的是，tof(time of flight，飞行时间)相机主要是通过给目标物(如手部)连续发送光脉冲，然后利用传感器接收从目标物返回的光，通过探测光脉冲的飞行时间来得到该目标物的深度图像(即在该目标物上点云的深度信息)。与此同时，该tof相机的传感器还能够获取该目标物的灰度图像(即该目标物的灰度信息)，也就是说，该tof相机的传感器不会采集rgb信息，能够有效地避免环境光线对本发明的所述基于tof相机的投影交互方法产生影响，有助于确保投影交互的可靠性和稳定性。可以理解的是，该tof相机获取的灰度图像可以但不限于被实施为一红外图像，也就是说，该tof相机的传感器只采集不可见
的红外光，而不会受到通过投影仪投射的可见光和环境中的可见光的影响，有助于大幅增强所述基于tof相机的投影交互系统的抗干扰能力。
[0078]
示意性方法
[0079]
参考说明书附图之图1至图6所示，根据本发明的一实施例的一种基于tof相机的投影交互方法被阐明。具体地，如图1所示，所述基于tof相机的投影交互方法，包括步骤：
[0080]
s120：基于通过tof相机获得的灰度图像和深度图像，进行轮廓检测，以获得手部轮廓数据，其中所述灰度图像和所述深度图像是由所述tof相机拍摄位于投影仪前方的手部获得，其中所述投影仪与所述tof相机之间的相对位置保持不变；
[0081]
s140：基于所述手部轮廓数据，对手部轮廓上的指尖点进行定位，以得到所述手部轮廓上的指尖点在所述灰度图像上的位置；
[0082]
s160：判断该手部的指尖是否处在所述投影仪的投影面上；
[0083]
s180：基于所述tof相机的所述灰度图像与所述投影仪在所述投影面上投出的投影画面之间的映射关系，将该指尖点在所述灰度图像上的位置映射至所述投影画面，以得到该指尖点在所述投影画面上的位置；以及
[0084]
s190：响应于判定该指尖处在所述投影仪的所述投影面上，基于该指尖点在所述投影画面上的位置，发出相应的触控指令，从而实现投影交互。
[0085]
更具体地，如图2所示，所述基于tof相机的投影交互方法的所述步骤s120包括步骤：
[0086]
s121：融合通过所述tof相机获得的所述灰度图像和所述深度图像，以得到灰度深度融合图像；和
[0087]
s122：对所述灰度深度融合图像进行轮廓检测，以检测出在所述灰度图像上的手部轮廓区域。
[0088]
进一步地，如图2所示，所述基于tof相机的投影交互方法的所述步骤s120还包括步骤：
[0089]
s123：通过噪声滤波，滤除所述手部轮廓区域中的检测噪声，以得到所述手部轮廓数据。
[0090]
值得注意的是，在所述步骤s122中，在进行轮廓检测时，还对细小的噪声区域进行滤除，以获得更精确的手部轮廓区域，也就是说，通过滤除细小噪声区域，有助于更精确地获得在所述灰度图像上的手部位置。可以理解的是，由于所述tof相机获得所述灰度图像和所述深度图像时，其主要依赖红外光等非可见光，而不需考虑环境光线(如可见光)和手部肤色差异的影响，因此，本发明的所述步骤s120不仅减少了环境光线等因素对检测产生的不利影响，也减少了不同手部肤色差异所引起的误差，有助于使所获得所述手部轮廓数据具有较高的精度。
[0091]
根据本发明的上述实施例，如图3所示，所述基于tof相机的投影交互方法的所述步骤s140，包括步骤：
[0092]
s141：基于所述手部轮廓数据，计算出所述手部轮廓上每个轮廓点的曲率；
[0093]
s142：通过预设的曲率阈值，筛选出满足要求的轮廓点以进行聚类，进而获得类指尖点；以及
[0094]
s143：通过凸包检测滤除在该手部轮廓上手腕区域和手指间区域处的类指尖点，
以确定指尖点在所述灰度图像上的位置。
[0095]
值得注意的是，在计算出所述手部轮廓上每个轮廓点的曲率之后，通过预设的曲率阈值t，将曲率大于等于t的所有轮廓点筛选出来以进行聚类，从而获得多个类指尖点。然而，除了指尖附近的轮廓点具有较大的曲率之外，那些位于手腕区域(即手掌末端与手臂连接处的区域)和手指间区域(即相邻的两手指之间的凹槽区域)处的轮廓点也具有较大的曲率，因此，在本发明的所述基于tof相机的投影交互方法的所述步骤140中，需要滤除在所述手腕区域和手指间区域处的类指尖点，以避免由此产生指尖位置的误判。
[0096]
值得一提的是，在所述基于tof相机的投影交互方法的所述步骤141中，计算所述手部轮廓上每个轮廓点的曲率主要是计算当前轮廓点与左右相邻特定位置区域的轮廓点之间的平均夹角，这样能够极大地提高指尖定位的有效性和准确性，并且定位速度快且精度高。例如：对得到的手部轮廓上每一个轮廓点x
i
，分别选取与所述轮廓点x
i
的距离为k的左右轮廓点x
il
和x
ir
，然后计算向量(x
i
,x
il
)和(x
i
,x
ir
)之间的余弦值，记为cosk
i
，其中k分别取阈值范围(k
min
,k
max
)，以得到一组余弦值；接着，求取平均值，以作为所述轮廓点x
i
的曲率值。
[0097]
根据本发明的上述实施例，如图4所示，所述基于tof相机的投影交互方法的所述步骤s160，包括步骤：
[0098]
s161：根据所述指尖点在所述手部轮廓上的位置，选取所述手部轮廓上相对应的指甲区域内的点云；
[0099]
s162：根据所选取的点云的深度信息，计算出所述指甲区域的平均深度，以获得所述指甲区域与所述投影仪的投影面之间的距离；以及
[0100]
s163：通过预设的距离阈值，判断所述指尖是否处在所述投影仪的所述投影面上。
[0101]
优选地，在所述步骤s161中，所选取的点云均位于在所述手部轮廓上的所述指甲区域的轮廓内切圆之内。这样，以所选取的点云的平均深度作为判断依据，具有较好的相对稳定性，有助于精确判断指尖有没有在所述投影仪的投影面上。
[0102]
值得注意的是，在获得所述指甲区域与所述投影仪的所述投影面之间的距离之后，通过所述预设的距离阈值s来判断所述指尖是否处在所述投影仪的所述投影面上。具体地，在本发明的所述基于tof相机的投影交互方法的所述步骤s163中：当所述指甲区域与所述投影仪的所述投影面之间的距离小于等于所述预设的距离阈值s时，判定所述指尖处在所述投影仪的所述投影面上；当所述指甲区域与所述投影仪的所述投影面之间的距离大于所述预设的距离阈值s时，判定所述指尖没有处在所述投影仪的所述投影面上。可以理解的是，所述预设的距离阈值s可以根据交互所需的灵敏度进行调节，当需要提高交互的灵敏度时，只需相应地调小所述预设的距离阈值s；而当需要降低交互的灵敏度时，则只需相应地调大所述预设的距离阈值s。
[0103]
根据本发明的上述实施例，在所述基于tof相机的投影交互方法的所述步骤s180中，根据所述灰度图像和所述投影画面之间的映射关系，通过将在所述灰度图像上的指尖点位置映射至所述投影画面，以得到该指尖点在所述投影画面上的位置。然而，由于随着所述投影仪的投影距离的改变，所述灰度图像和所述投影画面之间的映射关系也将随之发生改变，因此在进行映射之前，还需要确定确定所需采用的映射关系。具体地，如图5所示，所述基于tof相机的投影交互方法的所述步骤s180，包括步骤：
[0104]
s181：基于所述投影仪的投影距离，确定所述灰度图像和所述投影画面之间在所述投影距离下的映射关系；和
[0105]
s182：基于在所述投影距离下的所述映射关系，将该指尖点在所述灰度图像上的位置映射至所述投影画面，以得到在所述投影画面上的指尖位置。
[0106]
值得注意的是，所述投影仪的投影距离可以在安装所述投影仪和所述tof相机之前事先设定好，即所述投影仪的参数初始化，以确定投影面的位置和距离；也可以在安装所述投影仪和所述tof相机之后，通过所述tof相机进行测量而获得。
[0107]
此外，本发明的所述基于tof相机的投影交互方法的所述步骤s190中，要实现投影交互，不仅要确保该指尖处在所述投影仪的所述投影面上，而且还要确定该指尖点在所述投影画面上的位置，才能发出准确的触控指令。而在本发明的上述实施例中，在判定该指尖处在所述投影仪的所述投影面上之后，再通过映射确定该指尖点在所述投影画面上的位置，进而发出相应的触控指令以实现投影交互。这样当判定该指尖未处在所述投影仪的所述投影面之上时，就不需要通过映射来确定该指尖点在所述投影画面上的位置，有助于减少所述基于tof相机的投影交互方法的计算量。当然，在本发明的其他示例中，所述基于tof相机的投影交互方法中的所述步骤s160和所述步骤s180可以同时进行，或者所述步骤s180在所述步骤s160之前进行。
[0108]
值得一提的是，所述tof相机的所述灰度图像和所述投影仪的所述投影画面之间的映射关系的精度将直接决定通过所述基于tof相机的投影交互方法进行投影交互的交互质量，也就是说，所述映射关系的精度越高，通过所述基于tof相机的投影交互方法进行投影交互的交互质量也就越高。因此，为了获得精度较高的映射关系，如图1所示，本发明的上述实施例的所述基于tof相机的投影交互方法进一步包括步骤：
[0109]
s110：对相对位置固定的所述tof相机和所述投影仪进行标定，以获得所述tof相机的灰度图像和所述投影仪的投影画面之间在不同投影距离下的映射关系。
[0110]
更具体地，如图6所示，所述步骤s110包括步骤：
[0111]
s111：调整所述投影仪与一标定板之间的距离，使得所述投影仪在不同距离下的所述标定板上投出所述投影画面，其中所述标定板与所述投影仪之间的距离为所述投影仪的投影距离；
[0112]
s112：通过角点标记，在所述标定板上标记出在所述标定板上的所述投影画面的角点，以得到在不同的所述投影距离下的标记角点；
[0113]
s113：通过所述tof相机依次拍摄在不同的所述预定距离下所述标定板上的所述标记角点，以获得在不同的所述投影距离下含有该标记角点的灰度图像；以及
[0114]
s114：基于所述标记角点在所述灰度图像上的位置，建立所述tof相机的所述灰度图像与所述投影仪的所述投影画面之间随投影距离变化的映射关系。
[0115]
值得注意的是，由于所述tof相机不需要采集rgb图像，避免了可见光线对标定和投影交互产生的影响，也就是说，所述tof相机拍摄的所述灰度图像并不能拍摄到所述投影仪投出的投影画面，因此所述tof相机并不会受到所述投影仪的所述投影画面的干扰。而通过角点标记的方法，在所述标定板上标记出所述投影画面的角点，以形成标记角点；之后通过所述tof相机拍摄所述标定板上的所述标记角点，以得到含有所述标记角点的所述灰度图像，从而根据所述标记角点在所述灰度图像上的位置来建立所述映射关系。这样不仅能
够获得所述tof相机的灰度图像和所述投影仪的投影画面之间的所述映射关系，而且还有助于提高所述tof相机与所述投影仪的标定效率，以及所述映射关系的精确度。
[0116]
示例性地，如图7a所示，本发明的所述基于tof相机的投影交互方法先初始化投影仪和tof相机，以完成所述投影仪与所述tof相机的标定，从而确定所述投影仪的投影距离，以及所述tof相机的灰度图像与所述投影仪的投影画面之间在所述投影距离下的映射关系；接着，进行手部检测，以得到手部轮廓；然后，进行指尖定位和映射，以得到指尖在所述投影仪的投影画面上的位置；最后，进行多点触控判断，以完成投影交互；也就是说，判断该手部的指尖是否处在所述投影仪的所述投影面上，并响应于判定该指尖处在所述投影仪的所述投影面上，基于该指尖点在所述投影画面上的位置，发出相应的触控指令，以完成手势响应，从而实现投影交互。
[0117]
首先，如图7b所示,在进行投影标定时，先分别通过所述tof相机获取红外图像(如灰度图像)和点云数据(如深度图像)，并且通过所述投影仪投出投影画面；再对点云数据进行平面拟合，并在标定板上进行投影画面的角点标记和检测；然后，进行距离位置曲线拟合，以根据距离长度拟合角点位置的变化曲线；最后，获得灰度图像与投影画面之间在不同投影距离下的映射关系，以完成标定。
[0118]
其次，如图7c所示,在完成投影标定之后，需要进行手部轮廓的检测。示例性地，首先初始化投影仪，以使所述投影仪在事先设定的投影距离下投影，接着进行背景建模；与此同时，先通过tof相机获取红外数据和深度数据，再进行数据融合，以获得灰度深度融合数据；最后，依次进行轮廓检测和噪声滤波，如果通过了噪声滤波之后，获得手部轮廓，则停止轮廓检测；如果通过了噪声滤波之后，未能获得手部轮廓，则重新进行轮廓检测，直至获得手部轮廓图(如图8所示)为止。
[0119]
最后，如图7d所示,在获得手部轮廓图像之后，先依次通过曲率检测、聚类以及曲率二次筛选确定类指尖点；与此同时，对所述手部轮廓图像进行凸包检测，以从所述类指尖点中确定指尖点；接着，基于所述tof相机获得的点云数据(即深度数据)，依次确定指甲的三角区域和指甲的内切圆区域；最后，基于指甲的内切圆区域与投影画面的平均距离来进行点击触控的判断，从而实现投影交互。
[0120]
示意性系统
[0121]
参考附图之图9所示，根据本发明的一实施例的一种基于tof相机的投影交互系统被阐明。具体地，如图9所示，所述基于tof相机的投影交互系统10包括一轮廓检测模块12、一指尖定位模块14、一判断模块16、一映射模块18以及一触控模块19。所述轮廓检测模块12用于基于通过tof相机获得的灰度图像和深度图像，进行轮廓检测，以获得手部轮廓数据，其中所述灰度图像和所述深度图像是由所述tof相机拍摄位于投影仪前方的手部获得，其中所述投影仪与所述tof相机之间的相对位置保持不变；所述指尖定位模块14与所述轮廓检测模块12可通信地连接，用于基于所述手部轮廓数据，对手部轮廓上的指尖点进行定位，以得到所述手部轮廓上的指尖点在所述灰度图像上的位置；所述判断模块16用于判断判断该手部的指尖是否处在所述投影仪的所述投影面上；所述映射模块18与所述指尖定位模块14可通信地连接，用于基于所述tof相机的所述灰度图像与所述投影仪在所述投影面上投出的投影画面之间的映射关系，将该指尖点在所述灰度图像上的位置映射至所述投影画面，以得到该指尖点在所述投影画面上的位置；所述触控模块19分别与所述判断模块16和
所述映射模块18可通信地连接，用于响应于判定该指尖处在所述投影仪的所述投影面上，基于该指尖点在所述投影画面上的位置，发出相应的触控指令，从而实现投影交互。
[0122]
在本发明的一示例中，如图9所示，所述轮廓检测模块12包括相互可通信地连接的一融合模块121、一检测模块122以及一滤波模块123，其中所述融合模块121用于融合通过所述tof相机获得的所述灰度图像和所述深度图像，以得到灰度深度融合图像；所述检测模块122用于对所述灰度深度融合图像进行轮廓检测，以检测出在所述灰度图像上的手部轮廓区域；所述滤波模块123用于通过噪声滤波，滤除所述手部轮廓区域中的检测噪声，以得到所述手部轮廓数据。
[0123]
在本发明的一示例中，如图9所示，所述指尖定位模块14包括依次可通信地连接的一曲率计算模块141、一筛选模块142以及一凸包检测模块143，其中所述曲率计算模块141用于基于所述手部轮廓数据，计算出所述手部轮廓上每个轮廓点的曲率；所述筛选模块142用于通过预设的曲率阈值，筛选出满足要求的轮廓点以进行聚类，进而获得类指尖点；所述凸包检测模块143用于通过凸包检测滤除在手腕区域和手指间区域处的类指尖点，以确定指尖点在所述灰度图像上的位置。
[0124]
在本发明的一示例中，所述判断模块16还用于根据所述指尖点在所述手部轮廓区域上的位置，选取所述手部轮廓区域上相对应的指甲区域内的点云；根据所选取的点云的深度信息，计算出所述指甲区域的平均深度，进而获得所述指甲区域与所述投影仪的投影面之间的距离；以及通过预设的距离阈值，判断所述指尖点是否处在所述投影仪的所述投影面上。
[0125]
在本发明的一示例中，所述映射模块18还用于基于所述投影仪的投影距离，确定所述灰度图像和所述投影画面之间在所述投影距离下的映射关系；和基于在所述投影距离下的所述映射关系，将该指尖点在所述灰度图像上的位置映射至所述投影画面，以得到在所述投影画面上的指尖位置。
[0126]
根据本发明的上述实施例，所述基于tof相机的投影交互系统10还包括一标定模块11，用于对相对位置固定的所述tof相机和所述投影仪进行标定，以获得所述tof相机的灰度图像和所述投影仪的投影画面之间在不同投影距离下的映射关系。
[0127]
进一步地，如图9所示，所述基于tof相机的投影交互系统10的所述标定模块11可以包括依次可通信地连接的一调整模块111、一角点标记模块112、一标记角点获得模块113以及一映射关系建立模块114，其中所述调整模块111用于调整所述投影仪与一标定板之间的距离，使得所述投影仪在不同距离时的所述标定板上投出所述投影画面，其中所述标定板与所述投影仪之间的距离为所述投影仪的投影距离；所述角点标记模块112用于通过角点标记，在所述标定板上标记出在所述标定板上的所述投影画面的角点，以得到在不同的所述投影距离下的标记角点；所述标记角点获得模块113用于通过所述tof相机依次拍摄在不同的所述预定距离下所述标定板上的所述标记角点，获得在不同的所述投影距离下的所述灰度图像，其中所述灰度图像上；所述映射关系建立模块114用于基于所述标记角点在所述灰度图像上的位置，建立所述tof相机的所述灰度图像与所述投影仪的所述投影画面之间随投影距离变化的映射关系。
[0128]
示意性电子设备
[0129]
下面，参考图10来描述根据本发明实施例的电子设备(图10示出了根据本发明实
施例的电子设备的框图)。如图10所示，电子设备20包括一个或多个处理器21和存储器22。
[0130]
所述处理器21可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备20中的其他组件以执行期望的功能。
[0131]
所述存储器22可以包括一个或多个计算程序产品，所述计算程序产品可以包括各种形式的计算可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算可读存储介质上可以存储一个或多个计算程序指令，所述处理器21可以运行所述程序指令，以实现上文所述的本发明的各个实施例的方法以及/或者其他期望的功能。
[0132]
在一个示例中，如图10所示，电子设备20还可以包括：输入装置23和输出装置24，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0133]
例如，该输入装置23可以是例如用于采集图像数据或视频数据的摄像模组等等。
[0134]
该输出装置24可以向外部输出各种信息，包括分类结果等。该输出设备24可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0135]
当然，为了简化，图10中仅示出了该电子设备20中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备20还可以包括任何其他适当的组件。
[0136]
示意性计算程序产品
[0137]
除了上述方法和设备以外，本发明的实施例还可以是计算程序产品，其包括计算程序指令，所述计算程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本发明各种实施例的方法中的步骤。
[0138]
所述计算程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如c语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0139]
此外，本发明的实施例还可以是计算可读存储介质，其上存储有计算程序指令，所述计算程序指令在被处理器运行时使得所述处理器执行本说明书上述方法中的步骤。
[0140]
所述计算可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0141]
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。
[0142]
本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0143]
还需要指出的是，在本发明的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。
[0144]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0145]
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。