基于红外不可见结构光的人机交互装置及其操作方法与流程

本发明属于图像控制技术领域，涉及一种基于红外视频定位的人机交互装置及其操作方法。

背景技术：

近年来，触摸屏技术高速发展，新型的人机交互方式实现了用触摸来代替鼠标或键盘操作模式。与传统的交互方式相比，触摸技术更加直观方便，各种产品相继而出。投影机与电子白板是常见的搭配应用，因为把触摸感测定位装置内建在电子白板上。但是，当投影尺寸大于65吋时，这种投影机与电子白板的搭配表现出很大的局限性，不仅无法克服高成本的技术难点，在带触摸方式的大型白板也是难以突破。

超短焦激光投影电视，由于其投影距离短、尺寸大，显示性能优越、运输装卸便捷，以及与同尺寸液晶电视的压倒性成本优势，得到了业界的广泛认同并批量生产，被广泛应用于高端家庭影院、小型会议室、多媒体教学等领域。超短焦激光投影电视可以在与墙面较近的距离投射出较大的画面，市场上主流的投影尺寸在100吋左右，短距离的投影能力，及其投影光线的投射方向，都为使用者的互动操作提供了便利。

如何使单纯投影画面的超短焦激光投影电视具有互动功能，使用者直接对着投影大画面进行直觉式的触控操作，直接在投影画面上自由书写、操作，分享讨论信息。即使画面投影在墙壁上，桌面上，地面上，也能像触控屏幕一样，实现互动操作，不受投影环境背景的限制。

技术实现要素：

为了解决上述问题，本发明的目的在于提供一种基于红外不可见结构光的人机交互装置，使用智能超短焦投影显示技术结合不可见结构光的动作识别技术，达到互动的效果。

本发明的另一目的，提供一种基于红外不可见结构光的人机交互装置的操作方法，

为实现上述目的，本发明所采用的技术方案是：一种基于不可见光结构光的人机交互装置，包括激光投影机的激光光源，其特征在于：所述激光光源包含可见光激光光源模块和不可见光激光光源模块，所述可见光激光光源模块是用于投射显示可见光图像的光源，所述不可见光激光光源模块是用于投射显示不可见结构光图案的光源，两种激光光源，经过合光装置，形成混合光束后，在激光投影机内组成共光路型态；所述不可见光激光光源的光线，通过光阀调制出不可见结构光，通过投影镜头在投射将光投影图像画面的间隙，发射出不可见结构光图案，用于检测人体的手指或物体的触摸动作，在激光投影镜头一侧安装有感应侦测组件，所述感应侦测组件用以采集投影显示区域上的不可见结构光图案，感应侦测组件连接智能操作系统，所述智能操作系统设置在激光投影机内，与激光投影机的驱动控制系统相连接，所述智能操作系统处理感应侦测组件采集到的含有使用者操作信息的不可见结构光图案，并以此图案为基础，驱动鼠标移动，达到类似触摸屏的操作效果。

所述感应侦测组件为不可见光图像采集器、红外传感器、红外摄像头或热力传感器。

所述不可见光激光光源模块为红外激光光源。

所述不可见结构光图案为网状条纹光或棋盘格式的图案。

所述可见光激光光源模块投射的可见光投影图像的最大锥形投射范围和不可见光激光光源模块投射的不可见结构光的锥形激光投射范围一致。

一种基于不可见光结构光的人机交互装置的操作方法，其特征在于按下述步骤操作：

1）激光投影机在投射正常可见光图像的帧间隙，投影含有不可见结构光的图案，使用者在投影图像前进行触摸动作操作；

2）感应侦测组件捕获含有使用者操作动作的不可见结构光图案数据，并将该数据送至智能操作系统；

3)在智能操作系统中，对不可见结构光图案数据进行处理，找出使用者的触摸动作，驱动鼠标移动，完成类似触摸屏的操作；

4)使用者的触摸动作数据和处理器中可见光实时投影图像数据的结合，完成使用者动作和实时投影图像的合成对接处理，将实时的互动效果以可见光的形式投影至投影显示区域；

5）在激光投影机在投射可见光图像的帧间隙，继续投影含有不可见结构光的图案，不可见光图像采集器准备捕获含有使用者操作动作的不可见结构光图案数据。

采用上述技术方案的有益效果：该基于不可见光结构光的人机交互装置，是在激光投影电视中加入不可见光激光光源模块，通过光阀调制出不可见结构光，通过投影镜头在投射可将光投影图像画面的间隙，发射出不可见结构光，投影图像画面用于观看，发射的不可见结构光，用于检测人体的手指或物体的触摸动作，包含用户触摸信息的不可见结构光信号，通过安装于投影镜头上方的感应侦测组件捕捉侦测、感应用户触摸的相对位置，并将信息回馈至智能操作系统，从而驱动鼠标移动，完成简单的操作，达到类似触摸屏的互动操作效果。

本发明中的激光投影机的激光光源，包含可见光激光光源和不可见光激光光源，如红外激光光源，是用于投射显示可见光图像的光源。不可见光激光光源，是用于投射显示不可见结构光图案的光源。两种激光光源，经过合光装置，形成混合光束后，在超短焦激光投影机内组成共光路型态，所述的不可见光激光光源发出的不可见光束信号，经过光阀调制变成一定模式的不可见光结构光图案，如网状条纹光或棋盘格式的图案，调制不可见光的光阀操作，在调制可见光图像的帧间进行。在该激光投影机的投影窗口4的一侧安装有感应侦测组件，所述感应侦测组件为红外传感器、红外摄像头或热力传感器，用以采集投影显示区域上的不可见结构光图案，所述感应侦测组件能够采集整个投影显示区域的激光投影机的投影图像。由于该感应侦测组件只能采集投影显示区域的不可见结构光图案，不会采集到投影显示区域的可见光投影图像，即该不可见光图像采集器不受激光投影机的可见光激光成像光投射至投影显示区域形成的可见光投影图像画面的干扰。由于所述的可见光投影图像和不可见结构光图案，都经激光投影机的投影镜头，投射至投影显示区域进行显示。使用者观看的是可见光投影图像，不可见光图像采集器采集的是不可见结构光图案。不可见结构光的锥形激光投射范围与可见光投影图像的最大锥形投射范围是一致的，故能确保激光投影机的激光投射范围内的任何介入操作，都能被检测到。本发明的智能操作系统，安装在超短焦激光投影机内，一方面与激光投影机的驱动控制系统相连接，使激光投影机具有智能操作系统。另一方面，与不可见光图像采集器相连，能够处理采集到的含有使用者操作信息的不可见结构光图案，并以此图案为基础，结合智能系统中的图像处理程序，定位使用者的触摸位置，从而驱动鼠标移动，完成简单的操作，达到类似触摸屏的操作效果。

附图说明

图1是本发明的整体示意图；

图2是本发明装置的不可见光投影图案的投射、采集、处理示意图；

图3是本发明装置的人机交互系统流程。

附图标记：

1：超短焦激光投影机；2：智能操作系统；3：投影窗口；4不可见光图像采集器。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

参照图1-3，本发明基于不可见结构光的人机交互装置，具体包括：超短焦激光投影机1、智能操作系统2、投影镜头、投影窗口3、感应侦测组件4、不可见激光光源。

所述的感应侦测组件4，包含但不局限于不可见光图像采集器，红外摄像头，本发明以不可见光图像采集器为例，用以采集投影显示区域上的不可见结构光图案。本实例的不可见光图像采集器4设置在该激光投影机1的投影窗口3的正上方，但不以此为限，不可见光图像采集器4在这个位置，能够采集整个投影显示区域的超短焦激光投影机1的投影图像。另外，本专利的不可见光图像采集器4，只能采集投影显示区域的不可见结构光图案，不会采集到投影显示区域的可见光投影图像，即该不可见光图像采集器4不受超短焦激光投影机1的可见光激光成像光投射至投影显示区域形成的可见光投影图像画面的干扰。

所述的超短焦激光投影机的激光光源，包含可见光激光光源和不可见光激光光源，如红外激光光源。可见光激光光源，是用于投射显示可见光图像的光源。不可见光激光光源，是用于投射显示不可见结构光图案的光源。两种激光光源，经过合光装置，形成混合光束后，在超短焦激光投影机内组成共光路型态。

在超短焦激光投影机内，可见光激光光源发出的可见光光束信号，经过光阀调制变成可见光投影图像；不可见光激光光源发出的不可见光束信号，经过光阀调制变成一定模式的不可见光结构光图案，如网状条纹光或棋盘格式的图案，但不限制。调制不可见光的光阀操作，在调制可见光图像的帧间进行。可见光投影图像和不可见结构光图案，都经激光投影机的投影镜头，投射至投影显示区域进行显示。

当手指或者其他不透光的物体介入该激光投影机1与投影显示区域之间，并在投影图像上有触摸动作操作时，会导致部分不可见光结构光的投射路径受到阻碍，相对于投影路径未受到阻碍的不可见光结构光的投射，因为入侵物体的凹凸表面，会在该入侵物体的阻碍位置产生明显的局部的非渐进或非平滑的不可见结构光变形，不可见光图像采集器，采集到该局部变形的不可见结构光图案后，送到智能系统进行图像处理。由于入侵物体的介入而导致的局部不可见结构光变形所产生的差异性，是明显而易于判断的，这样就能定位出该入侵物体的具体触摸位置。关于手指或不透光物体的运动检测，采用的是图像差分技术，把不可见光图像采集器得到的连续两帧的不可见结构光图案进行相减，分析得到的是运动部分的数据了。

所述的智能系统，安装在超短焦激光投影机内，一方面与激光投影机的驱动控制系统相连接，使激光投影机具有智能操作系统。另一方面，与不可见光图像采集器相连，能够处理采集到的含有使用者操作信息的不可见结构光图案，并以此图案为基础，结合智能系统中的图像处理程序，定位使用者的触摸位置，从而驱动鼠标移动，完成简单的操作，达到类似触摸屏的操作效果。

基于不可见结构光的人机交互系统流程：

1）激光投影机在投射正常可见光图像的帧间隙，投影含有不可见结构光的图案，使用者在投影图像前进行触摸动作操作；

2）不可见光图像采集器捕获含有使用者操作动作的不可见结构光图案数据，并将该数据送至智能操作系统；

3)在智能操作系统中，对不可见结构光图案数据进行处理，找出使用者的触摸动作，驱动鼠标移动，完成类似触摸屏的操作；

4)实现使用者的触摸动作数据和处理器中可见光实时投影图像数据的结合，即完成使用者动作和实时投影图像的合成对接处理，准备将实时的互动效果以可见光的形式投影至投影显示区域；

5）然后，在激光投影机在投射可见光图像的帧间隙，继续投影含有不可见结构光的图案，不可见光图像采集器准备捕获含有使用者操作动作的不可见结构光图案数据。