一种指向交互方法、装置及系统的制作方法
【技术领域】
[0001] 本发明实施例涉及交互方法及装置，尤其涉及一种指向交互方法、装置及系统。
【背景技术】
[0002] 教学授课或会议报告过程中由于经常采用投影系统，因此操作者通常需要使用远 距离指向工具。
[0003] 目前大部分操作者都是使用激光笔作为远距离指向工具，一种是手持式，另一种 是佩戴式。无论哪一种形式的激光笔，它们的尺寸都比较小，并且由于使用者经常在移动过 程中使用，很容易随手放在某处并遗忘。另外，一般激光笔耗电量都比较大，有时又会因为 没有及时更换电池而无法使用，该些都给使用者的使用带来很大不便。
[0004] 现有技术中提出了一种指向系统，该种指向系统根据头部、后背或者眼睛视线与 指尖位置来定位指向。
[0005] 然而，采用眼睛、后背或者头部位置与指尖进行指向，它们的指向精准度并不高。
【发明内容】
[0006] 本申请为了克服现有技术中存在的缺陷，提供了一种指向交互方法、装置及系统， 从而使操作者无需再佩戴激光笔，仅通过手指指向便可实现类似激光笔的指向功能，实时 性好，准确性高，符合人的操作习惯。
[0007] 第一方面，本发明实施例提供了一种指向交互方法，包括：获取手部图像和手臂部 分图像，根据手部图像确定指尖的空间坐标，并根据手臂部分图像确定手臂关键部位的空 间坐标；对指尖的空间坐标和手臂关键部位的空间坐标进行融合计算，确定指尖指向与显 示屏幕交点在显示屏幕上的二维坐标。
[0008] 结合第一方面，在第一方面的第一种可能的实现方式中，获取手部图像和手臂部 分图像，具体包括：获取深度摄像头拍摄到的深度图像；根据设定的深度图像的阔值提取 所述深度图像中的手部图像和手臂部分图像。
[0009] 结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式 中，获取深度摄像头拍摄到的深度图像之后，还包括；对深度图像进行去除噪声处理。
[0010] 结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的 实现方式任一项，在第一方面的第H种可能的实现方式中，根据手部图像确定指尖的空间 坐标，具体包括；根据手部图像提取手部轮廓；若指尖与显示屏幕不垂直，则通过对手部轮 廓进行曲率识别确定指尖的空间坐标；或者，若指尖与显示屏幕垂直，则通过对手部轮廓进 行高斯分布计算所述指尖的空间坐标。
[0011] 结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的 实现方式或第一方面的第H种可能的实现方式任一项，在第一方面的第四种可能的实现方 式中，对指尖的空间坐标和手臂关键部位的空间坐标进行融合计算，确定指尖指向与显示 屏幕交点在显示屏幕上的二维坐标，具体包括；根据指尖的空间坐标和手臂关键部位的空 间坐标确定指尖指向；计算指尖指向与显示屏幕的交点的空间坐标；根据深度摄像头和显 示屏幕的坐标对应关系，将交点的空间坐标转换为在显示屏幕上的二维坐标。
[0012] 第二方面，本发明实施例提供了一种指向交互装置，包括：获取模块，用于获取手 部图像和手臂部分图像；确定模块，用于根据手部图像确定指尖的空间坐标，并根据手臂部 分图像确定手臂关键部位的空间坐标；计算模块，用于对指尖的空间坐标和手臂关键部位 的空间坐标进行融合计算，确定指尖指向与显示屏幕交点在显示屏幕上的二维坐标。
[0013] 结合第二方面，在第二方面的第一种可能的实现方式中，获取模块具体用于：获取 深度摄像头拍摄到的深度图像，根据设定的深度图像的阔值提取深度图像中的手部图像和 手臂部分图像。
[0014] 结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式 中，获取模块在深度摄像头拍摄到的深度图像之后，还用于对深度图像进行去除噪声处理。
[0015] 结合第二方面或第二方面的第一种可能的实现方式或第二方面的第二种可能的 实现方式任一项，在第二方面的第H种可能的实现方式中，确定模块具体用于：根据手部图 像提取手部轮廓；若指尖与显示屏幕不垂直，则通过对手部轮廓进行曲率识别确定指尖的 空间坐标；或者，若指尖与显示屏幕垂直，则通过对手部轮廓进行高斯分布计算指尖的空间 坐标。
[0016] 结合第二方面或第二方面的第一种可能的实现方式或第二方面的第二种可能的 实现方式或第二方面的第H种可能的实现方式任一项，在第二方面的第四种可能的实现方 式中，计算模块具体用于：根据指尖的空间坐标和手臂关键部位的空间坐标确定指尖指向； 计算指尖指向与显示屏幕的交点的空间坐标；根据深度摄像头和显示屏幕的坐标对应关 系，将交点的空间坐标转换为在显示屏幕上的二维坐标。
[0017] 第H方面，本发明实施例提供了一种指向交互系统，包括：深度摄像头，及所述的 指向交互装置，与指向交互装置连接的投影仪，W及显示屏幕；深度摄像头，用于采集手部 图像和手臂部分图像；投影仪，用于在所述显示屏幕上所述二维坐标对应的位置显示焦点。
[0018] 本发明提供的实施例的一种指向交互方法、装置及系统，包括：指向交互装置根据 获取到的手部图像和手臂部分图像确定指尖和手臂关键部位的空间坐标，并对指尖的空间 坐标和手臂关键部位的空间坐标进行融合计算，最终确定指尖指向与显示屏幕交点在显示 屏幕上的二维坐标。从而使得指向交互装置只需采用指尖和手臂关键部位的空间坐标就可 实现高精准度的指向，并且具有良好的实时性。
【附图说明】
[0019] 图1为本发明一实施例提供的一种指向交互方法的流程图；
[0020] 图2为本发明另一实施例提供的确定指尖的空间坐标方法的流程图；
[0021] 图3为本发明再一实施例提供的确定指尖指向与显示屏幕交点的二维坐标的方 法流程图；
[0022] 图4为空间坐标系与显示屏幕的平面坐标系之间的对应关系示意图；
[0023] 图5为本发明一实施例提供的一种指向交互装置的结构示意图；
[0024] 图6为本发明一实施例提供的一种指向交互系统。
【具体实施方式】
[0025] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员 在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0026] 图1为本发明一实施例提供的一种指向交互方法的流程图，本实施例提供的指向 交互方法可适用于教学授课或会议报告等场景中，该方法可W由指向交互装置来执行，该 指向交互装置可W为计算机等智能设备。其中指向交互方法具体包括如下步骤：
[0027] S101 ;获取手部图像和手臂部分图像。
[0028] 具体地，上述智能设备可W从摄像装置中获取用户的手部图像和手臂部分图像。 可W建立深度摄像头和显示屏幕之间的空间对应关系，其中深度摄像头朝向与显示屏幕朝 向相对，并且在显示屏幕的设定位置上进行相应标记，通过该标记得到深度摄像头和显示 屏幕之间的空间对应关系。获取深度摄像头拍摄到的深度图像之后，可选的，可W根据设定 的深度图像的阔值提取深度图像中的手部图像和手臂部分图像。具体的：
[0029] 其中，获取深度摄像头拍摄到的深度图像之后，还可W对深度图像进行去除噪声 处理。
[0030] 具体地，由于深度摄像头拍摄到深度图像