二维坐标为（x'，y'）。如图4所 示则
y'=-y。其中W表示显示屏幕的宽度。
[0065] 本实施例提供了确定指尖指向与显示屏幕交点的二维坐标的方法，其中包括通过 指尖指向和显示屏幕方程计算交点空间坐标，最终根据深度摄像头和显示屏幕的坐标对应 关系，将交点的空间坐标转换为在显示屏幕上的二维坐标，从而使得指向交互装置只需采 用指尖和手臂关键部位的空间坐标就可实现高精准度的指向，并且具有良好的实时性。
[0066] 图5为本发明一实施例提供的一种指向交互装置的结构示意图，其中包括获取模 块501，确定模块502,计算模块503,该指向交互装置可W为计算机等智能设备。
[0067] 具体地，获取模块501用于获取手部图像和手臂部分图像，确定模块502用于根据 手部图像确定指尖的空间坐标，并根据手臂部分图像确定手臂关键部位的空间坐标，计算 模块503用于对指尖的空间坐标和手臂关键部位的空间坐标进行融合计算，确定指尖指向 与显示屏幕交点在显示屏幕上的二维坐标。进一步地，获取模块501具体用于获取深度摄 像头拍摄到的深度图像，根据设定的深度图像的阔值提取深度图像中的手部图像和手臂部 分图像，获取模块501在深度摄像头拍摄到的深度图像之后，还用于对深度图像进行去除 噪声处理。
[0068] 进一步地，确定模块502具体用于；根据手部图像提取手部轮廓，若指尖与显示屏 幕不垂直，则通过对手部轮廓进行曲率识别确定指尖的空间坐标；或者若指尖与显示屏幕 垂直，则通过对手部轮廓进行高斯分布计算指尖的空间坐标。
[0069] 更进一步地，计算模块503具体用于；根据指尖的空间坐标和手臂关键部位的空 间坐标确定指尖指向，计算指尖指向与显示屏幕的交点的空间坐标，根据深度摄像头和显 示屏幕的坐标对应关系，将交点的空间坐标转换为在显示屏幕上的二维坐标。
[0070] 本实施例的指向交互装置，可W用于执行指向交互方法的实施技术方案，其实现 原理和技术效果类似，此处不再费述。
[0071] 图6为本发明一实施例提供的一种指向交互系统，其中包括；深度摄像头601，上 一实施例中所述的指向交互装置602,与指向交互装置602连接的投影仪603,W及显示屏 幕 604。
[0072] 本实施例的指向交互系统包括上一实施例中的指向交互装置，该指向交互装置可 W用于执行指向交互方法的实施技术方案，其实现原理和技术效果类似，此处不再费述。
[0073] 本领域普通技术人员可W理解；实现上述方法实施例的全部或部分步骤可W通过 程序指令相关的硬件来完成，前述的程序可W存储于一计算机可读取存储介质中，该程序 在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者 光盘等各种可W存储程序代码的介质。
[0074] 最后应说明的是；W上实施例仅用W说明本发明的技术方案，而非对其限制；尽 管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然 可W对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替 换；而该些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精 神和范围。
【主权项】
1. 一种指向交互方法，其特征在于，包括： 获取手部图像和手臂部分图像； 根据所述手部图像确定指尖的空间坐标，并根据所述手臂部分图像确定手臂关键部位 的空间坐标； 对所述指尖的空间坐标和所述手臂关键部位的空间坐标进行融合计算，确定指尖指向 与显示屏幕交点在所述显示屏幕上的二维坐标。2. 根据权利要求1所述方法，其特征在于，所述获取手部图像和手臂部分图像，具体包 括： 获取深度摄像头拍摄到的深度图像； 根据设定的所述深度图像的阈值提取所述深度图像中的所述手部图像和所述手臂部 分图像。3. 根据权利要求2所述方法，其特征在于，所述获取深度摄像头拍摄到的深度图像之 后,还包括： 对所述深度图像进行去除噪声处理。4. 根据权利要求1-3任一项所述方法，其特征在于，所述根据所述手部图像确定指尖 的空间坐标，具体包括： 根据所述手部图像提取手部轮廓； 若所述指尖与所述显示屏幕不垂直，则通过对所述手部轮廓进行曲率识别确定所述指 尖的空间坐标；或者，若所述指尖与所述显示屏幕垂直，则通过对所述手部轮廓进行高斯分 布计算所述指尖的空间坐标。5. 根据权利要求1-4任一项所述方法，其特征在于，所述对所述指尖的空间坐标和所 述手臂关键部位的空间坐标进行融合计算，确定指尖指向与显示屏幕交点在所述显示屏幕 上的二维坐标,具体包括： 根据所述指尖的空间坐标和所述手臂关键部位的空间坐标确定指尖指向； 计算所述指尖指向与所述显示屏幕的交点的空间坐标； 根据深度摄像头和所述显示屏幕的坐标对应关系，将所述交点的空间坐标转换为在所 述显示屏幕上的二维坐标。6. -种指向交互装置，其特征在于，包括： 获取模块，用于获取手部图像和手臂部分图像； 确定模块，用于根据所述手部图像确定指尖的空间坐标，并根据所述手臂部分图像确 定手臂关键部位的空间坐标； 计算模块，用于对所述指尖的空间坐标和所述手臂关键部位的空间坐标进行融合计 算，确定指尖指向与显示屏幕交点在所述显示屏幕上的二维坐标。7. 根据权利要求6所述装置，其特征在于，所述获取模块具体用于：获取深度摄像头拍 摄到的深度图像，根据设定的所述深度图像的阈值提取所述深度图像中的所述手部图像和 所述手臂部分图像。8. 根据权利要求7所述装置，其特征在于，所述获取模块在深度摄像头拍摄到的深度 图像之后，还用于对所述深度图像进行去除噪声处理。9. 根据权利要求6-8任一项所述装置，其特征在于，所述确定模块具体用于： 根据所述手部图像提取手部轮廓； 若所述指尖与所述显示屏幕不垂直，则通过对所述手部轮廓进行曲率识别确定所述指 尖的空间坐标；或者，若所述指尖与所述显示屏幕垂直，则通过对所述手部轮廓进行高斯分 布计算所述指尖的空间坐标。10. 根据权利要求6-9任一项所述装置，其特征在于，所述计算模块具体用于： 根据所述指尖的空间坐标和所述手臂关键部位的空间坐标确定指尖指向； 计算所述指尖指向与所述显示屏幕的交点的空间坐标； 根据深度摄像头和所述显示屏幕的坐标对应关系，将所述交点的空间坐标转换为在所 述显示屏幕上的二维坐标。11. 一种指向交互系统，其特征在于，包括：深度摄像头，及权利要求6-10任一项所述 的指向交互装置，与所述指向交互装置连接的投影仪，以及显示屏幕； 所述深度摄像头，用于采集手部图像和手臂部分图像； 所述投影仪，用于在所述显示屏幕上所述二维坐标对应的位置显示焦点。
【专利摘要】本发明提供了一种指向交互方法、装置及系统，该方法包括获取手部图像和手臂部分图像；根据所述手部图像确定指尖的空间坐标，并根据所述手臂部分图像确定手臂关键部位的空间坐标；对所述指尖的空间坐标和所述手臂关键部位的空间坐标进行融合计算，确定指尖指向与显示屏幕交点在所述显示屏幕上的二维坐标。从而使得指向交互装置只需采用指尖和手臂关键部位的空间坐标就可实现高精准度的指向，并且具有良好的实时性。
【IPC分类】G06K9/00, G06F3/01
【公开号】CN104978012
【申请号】CN201410133397
【发明人】宋星光, 程洪, 姬艳丽, 赵洋, 叶果
【申请人】华为技术有限公司, 电子科技大学
【公开日】2015年10月14日
【申请日】2014年4月3日
【公告号】WO2015149712A1