人机交互系统及方法

人机交互系统及方法
【专利摘要】本发明涉及人机交互【技术领域】，特别涉及一种人机交互系统及方法。该人机交互系统，包括：投影单元、第一图像传感单元、第二图像传感单元、接口单元、图像处理单元、投影界面处理单元、以及控制单元。本发明提供的人机交互系统，可轻松地将人机交互界面投影在人们日常中遇到的各种平面上以实现无处不在的人机界面显示，提高用户体验。
【专利说明】人机交互系统及方法
【技术领域】
[0001]本发明涉及人机交互领域【技术领域】，特别涉及一种人机交互系统及方法。
【背景技术】
[0002]随时随地方便舒适地使用计算机、手机等电子设备来工作、休闲、娱乐，一直是人们想实现的一个重要目标，即无处不在的人机交互。但现有解决方案一直未达到好的效果，一方面，现有的手机虽然已具有了相当强的计算和处理能力，但是由于手机尺寸过小，导致显示屏幕小，不适合人观察；导致键盘小，不方便用户操作；另一方面，现有的笔记本电脑虽然可以随身携带，但由于尺寸和重量仍过大，与手机相比较，仍显得笨重和携带不方便，如果笔记本设计得更小，则会导致出现和现有手机一样的情况，不方便用户使用。
[0003]另外，现有的大部分电子设备都存在外接的操控面板和显示面板、键盘或鼠标等，这些操控面板和显示面板、键盘或鼠标等实际上对设备的可靠性和稳定性来说，会造成较大影响，比如船上的电子设备(需要抗强的盐雾和潮湿度等)。同时也会由于外接的操控面板和显示面板使得设备的尺寸变大。
[0004]针对现有采用投影的便携式或穿戴式人机交互系统中，一种典型方式是采用一个投影不可见的红外结构光投影单元与一个红外光图像传感单元构成深度传感器，以及一个可见光投影仪(有些甚至还包括一个可见光图像传感单元)等构成人机交互系统，但该系统采用的深度传感单元(比如微软的kinect) —般功耗较大,体积也较大,特别是针对智能手机的应用来讲，需要在手机中额外增加红外投影与红外图像传感单元导致体积会更大；另外一种方式是采用I个可见光投影单元和I个可见光图像传感单元构成可便携化的人机交互系统，但由于这种系统需要产生隐含的结构光，以准确获取手指触碰投影面的操作，而一般隐含结构光的产生方法原理是需要投影单元的投影频率大于75Hz，一般为120Hz，图像传感单元的图像采集帧率与投影帧率相同，由于投影和图像采集的帧率均非常高，导致系统的功耗也过高，另外，隐含结构光还存在编码和解码部分，也会导致系统的计算复杂度增闻。
[0005]综上所述，现有电子设备具有下述缺陷:1、操控面板或显示面板尺寸小，不适合观察和操作；2、带有操控面板或显示面板的电子设备体积和重量较大，不方便携带；3、带有操控面板或显示面板的电子设备的可靠性和稳定性差，不能够适应在一些特殊的恶劣环境下工作；4、现有采用投影的便携式或穿戴式人机交互系统的功耗或尺寸均过高。

【发明内容】

[0006](一)要解决的技术问题
[0007]本发明所要解决的技术问题是:如何提供一种基于双图像传感单元与投影单元构成的可微型化的人机交互系统及其方法，以实现无处不在的、方便、舒适人机交互电子设备，也使得这样的电子设备能够适应在一些特殊的恶劣环境下工作。
[0008](二)技术方案[0009]为解决上述技术问题，本发明提供了一种人机交互系统，包括:投影单元、第一图像传感单元、第二图像传感单元、接口单元、图像处理单元、投影界面处理单元、以及控制单元，其中，
[0010]所述投影单元，用于接收所述接口单元输出的人机交互界面信息数据，并投影输出至投影面；
[0011]所述第一图像传感单元和第二图像传感单元，用于采集投影面区域的投影图像信息，并通过所述接口单元输出至所述图像处理单元；
[0012]所述接口单元，连接所述投影单元、第一图像传感单元、第二图像传感单元、图像处理单元、投影界面处理单元、以及控制单元；所述接口单元用于对所述第一图像传感单元和第二图像传感单元以及所述投影单元间进行同步控制；
[0013]所述图像处理单元，用于接收所述第一图像传感单元和第二图像传感单元采集的图像数据；用于接收所述投影界面处理单元输出的人机交互界面图像，并提取所述人机交互界面图像中的特征信息；用于计算获取系统固有内参数，所述系统固有内参数包括所述第一图像传感单元、第二图像传感单元和投影单元光学镜头的畸变失真参数、焦距、像素点尺寸以及中心点位置，并将系统固有参数存储至非易失性存储器，以及输出系统固有内参数至所述接口单元；用于针对所述图像数据提取相应的特征信息与所述投影界面处理单元输出的特征信息进行匹配处理；用于计算获取系统固有外参数，所述系统固有外参数包括第一图像传感单元和第二图像传感单元以及投影单元三者间的位置与姿态关系；以及用于计算获取系统可变外参数，所述系统可变外参数包括人机交互系统与投影面之间的位置与姿态关系，用于把获取的系统可变外参数中的投影面与所述投影单元间的位置、姿态关系参数输出至所述投影界面处理单元；
[0014]所述图像处理单元还用于对从所述接口单元获取所述第一图像传感单元和第二图像传感单元采集的投影区域的图像进行处理，依据预设指尖特征，搜索用户操作的手指尖或其它触控物，以及基于双目测距原理，获取指尖或其它触控物与投影面之间的距离，当距离值在预设第一门限值范围内时，判断发生触碰操作，并输出触碰信息；
[0015]所述投影界面处理单元，用于接收要投影的人机交互界面信息，并从所述人机交互界面信息中提取特征信息，并将所述特征信息输出至所述图像处理单元；所述投影界面处理单元还用于接收所述图像处理单元输出的系统可变外参数中的投影面与投影单元间相对位置、姿态参数，并依据该参数对输入的人机交互界面信息中的界面图像进行形状预失真校正处理，然后输出至接口单元；
[0016]所述控制单元，用于控制系统中所有单元，并协调控制系统中所有单元的工作；所述控制单元还用于控制人机交互系统处于系统固有内、外参数获取状态、系统可变外参数获取状态以及指尖获取与触碰操作状态。
[0017]优选的，所述接口单元包括图像传感接口模块和投影接口模块:其中，所述图像传感接口模块用于接收来自所述图像处理单元输出的系统固有内参数；用于接收来自所述第一图像传感单元和第二图像传感单元的图像数据，并对所述图像数据进行光学畸变校正后输出至所述图像处理单元；所述投影接口模块用于接收所述投影界面处理单元输出的投影图像数据，并基于系统固有内参数对从所述投影界面处理单元输出的投影界面图像进行光学畸变预失真校正处理，校正后的投影界面图像输出至所述投影单元。[0018]优选的，所述图像处理单元包括系统固有内外参数获取模块、特征提取模块、指尖获取模块、以及指尖触碰判断模块，其中，
[0019]所述系统固有内外参数获取模块，用于将接收所述特征提取模块输出的系统固有内、外参数，并存储在非易失性存储器中；用于输出系统固有内参数至所述投影接口模块和所述图像传感接口模块；还用于把存储在非易失性存储器中的系统固有内、外参数输出至所述特征提取模块；
[0020]所述特征提取模块，在人机交互系统处于系统固有内、外参数获取状态时，接收所述投影界面处理单元输出的人机交互界面特征信息，并根据该特征信息，接收所述图像传感接口模块输出的图像，以及所述第一图像传感单元和第二图像传感单元采集的投影区域图像中，提取3者对应的特征信息，完成特征信息匹配，计算获得系统固有内、外参数，并输出至所述系统固有内外参数获取模块；
[0021]所述特征提取模块，在人机交互系统处于系统可变外参数获取状态时，接收来自所述投影界面处理单元输出的人机交互界面特征信息，并根据该特征信息，接收所述图像传感接口模块输出的图像，以及所述第一图像传感单元和第二图像传感单元采集的投影区域图像中，提取3者对应的特征信息，完成特征信息匹配，并计算获取系统可变外参数；接收系统固有内外参数模块输出的系统固有内、外参数，并结合已获取的系统可变外参数，计算获得所述第一图像传感单元和第二图像传感单元与投影单元之间的单应性矩阵，并输出至所述指尖触碰判断模块；
[0022]所述指尖获取模块，在人机交互系统处于指尖获取与触碰操作状态时，接收所述图像传感接口模块输出的图像数据，并对所述图像数据进行处理，以获得手指的指尖或者触控物的触控前端分别在2个图像传感单元图像平面中的位置坐标信息，并将所述位置坐标信息输出至所述指尖触碰判断模块；
[0023]所述指尖触碰判断模块，在进入指尖获取与触碰操作状态时，接收所述位置坐标信息，以及所述单应性矩阵；利用双目视差原理，计算指尖与所述第一图像传感单元和第二图像传感单元的距离，再通过所述第一图像传感单元和第二图像传感单元与投影面之间位置和姿态关系，计算获得投影面和指尖或其它触控物的触控前端间的距离。
[0024]优选的，当投影面和指尖或其它触控物的触控前端间的距离小于预设第一门限值时，判断为触碰操作；当发生触碰操作时，所述指尖触碰判断模块还用于根据所述单应性矩阵，计算获得触碰点在原始投影的人机交互界面中的坐标位置，并输出指尖触碰信息。
[0025]优选的，所述投影界面处理单元包括界面处理模块和界面输入模块，
[0026]其中，所述界面输入模块，接收外部输入的人机交互界面信息数据，并输出至所述界面处理模块；
[0027]所述界面处理模块，接收所述界面输入模块输出的人机交互界面信息数据，接收所述系统可变外参数中的投影面与投影单元的相对位置与姿态参数，并对人机交互界面图像进行图像几何预失真处理，并输出至所述接口单元；
[0028]所述界面处理模块还用于从输入的人机交互界面信息中提取人机交互界面中的特征信息，并把该人机交互界面中特征信息输出至所述图像处理单元。
[0029]优选的，还包括特征形变测量模块，其中，
[0030]所述控制单元，还用于协调人机交互系统进入手指尖粗定位状态或手指尖精细定位状态，
[0031]在人机交互系统进入手指尖粗定位状态时，所述控制单元控制选择所述第一图像传感单元和第二图像传感单元中的任何一个图像传感单元处于休眠状态或停止所述图像处理单元中所有模块针对该选择的图像传感单元采集图像的处理，或者选择所述第一图像传感单元和所述第二图像传感单元中距离所述投影单元最近的一个进入休眠状态或停止所述图像处理单元中所有模块针对该选择的图像传感单元采集图像的处理；
[0032]在人机交互系统进入手指尖精细定位状态时，所述控制单元控制所述第一图像传感单元和所述第二图像传感单元均处于正常工作状态或控制启动所述图像处理单元中所有模块针对所述第一图像传感单元和所述第二图像传感单元采集的图像均进行处理；
[0033]所述特征提取模块，在人机交互系统处于手指尖粗定位状态时，根据所述系统可变外参数计算获取投影单元与处于工作状态的所述图像传感单元之间的单应性矩阵，还将接收所述界面处理单元输出的人机交互界面中的特征信息，或者接收所述投影界面处理单元输出的要投影的人机交互界面图像，并通过所述特征提取模块提取该人机交互界面图像的特征信息；利用所述单应性矩阵，把该特征信息进行坐标转换，转换到处于工作状态的图像传感单元图像平面的坐标系中，获得对应由多个第一基本特征单元组成的特征信息；还用于获取处于工作状态的所述图像传感单元采集到的投影平面上的人机交互界面中的由多个第二基本特征单元组成的特征信息，所述特征提取模块在图像传感单元图像平面坐标系内或者在投影单元图像平面坐标系内针对所述第一基本特征单元组成的特征信息和所述第二基本特征单元组成的特征信息进行匹配，得到能够匹配的基本特征单元对，并将匹配结果输出至所述特征形变测量模块；
[0034]所述特征形变测量模块，接收来自所述特征提取模块输出的特征信息匹配结果，针对所有匹配的基本特征单元对进行比较，分别计算-基本特征单元对之间的变化量，所述变化量至少包括基本特征单元对之间的形状变化量、或面积变化量、或是特征点位置坐标的偏移；还根据基本特征单元对之间的变化量，计算第二基本特征单元形变处的手指离投影平面的距离以及估算指尖出现在所述第一图像传感单元和所述第二图像传感单元的图像平面中的区域，当第二基本特征单元形变处的手指离投影面的距离小于预设第一门限值时，直接判断为触碰操作；如果该触碰的区域过大时，则把该可能触碰区域坐标输出至指尖获取模块得到精确的触碰坐标，否则，直接输出相应触碰区域坐标至指尖触碰判断模块，当第二基本特征单元形变处的手指离投影面的距离超过一预设第二门限值时，则后续不进行任何处理，若当计算特征形变处的手指离投影面的距离在所述第一和第二门限值之间时，则输出估算指尖在所述第一图像传感单元和所述第二图像传感单元的图像平面中出现的区域坐标至所述指尖获取模块；其中，预设第一门限小雨预设第二门限值；
[0035]所述指尖获取模块，用于接收来自所述特征形变测量模块输出手指尖在所述第一图像传感单元和第二图像传感单元采集的人机交互界面图像中的可能出现区域，并仅在对应的2个区域内分别搜索指尖，然后输出该指尖分别在所述第一图像传感单元和第二图像传感单元采集的图像平面上的二维坐标输出至所述指尖触碰判断模块；
[0036]所述指尖触碰判断模块，还用于接收来自所述特征形变测量模块输出的指尖触碰信息，所述指尖触碰信息包括精确的指尖触碰位置坐标信息和指尖触碰的区域位置信息；还用于在接收到来自特征形变测量模块输出的触碰操作，以及来自所述指尖获取模块输出的指尖在图像传感单元图像平面的精确指尖位置坐标时，利用投影单元与所述第一图像传感单元和/或第二图像传感单元之间的单应性矩阵，计算获得指尖触碰原始投影的人机交互界面中的精确位置，并输出指尖触碰信息。
[0037]优选的，所述投影界面处理单元接收外部输入的人机交互界面的图形或图像信息，或者是同时包含已经从人机交互界面中提取出来的特征信息，该特征信息包括:基本特征单元的类型具有明显特征的点、线、面、文字或规则图形或图像，以及基本特征单元在人机界面图像中的位置信息；
[0038]所述界面处理模块还用于从人机交互信息中直接提取界面中的特征信息数据；
[0039]所述界面输入模块的人机交互界面信息还包括人机交互界面中的每个可点击区域的范围；
[0040]所述界面处理模块还提取人机交互界面中的每个可点击区域的范围，且输出至所述特征形变测量模块；
[0041]所述特征形变测量模块还接受来自所述界面处理模块的人机交互界面中的每个可点击区域的范围，在系统处于指尖粗定位状态时，根据所述每个可点击区域的范围判断估算的粗定位手指的位置范围是否在该范围之内，若为是，则可以直接输出触碰信息至所述指尖触碰判断模块；若为否，则输出估算的粗定位手指的位置范围至所述指尖获取模块，发送指尖触碰信号输出至所述指尖触碰判断模块。
[0042]优选的，所述界面处理模块还用于产生不同强度、不同色彩的图像输出至所述投影接口模块以及所述特征提取模块，用于获取投影色彩预失真处理函数；所述界面处理模块还用于接收系统外部输入的不同强度、不同色彩的图像输出至所述投影接口模块以及所述特征提取模块，用于获取投影色彩预失真处理函数；所述界面处理模块接收所述特征提取模块输出的投影色彩预失真处理函数f-1或查找表，所述界面处理模块还用于对输入的人机交互界面进行色彩失真预校正处理，以实现使得投影在投影面上的人机界面色彩不失真；
[0043]所述特征提取模块还用于接收所述界面处理模块输出的不同强度、不同色彩图像；还用于接收所述第一图像传感单元和第二图像传感单元采集的对应不同强度、不同色彩图像，并进行图像比对处理，获取系统要投影图像与在投影面上投影的图像间的差异分析，以获取投影面的光调制特性，并根据所述光调制特性得到投影色彩预失真处理函数f-1或查找表，所述特征提取模块将获取的投影预失真处理函数f-1或者查找表输出至所述投影界面处理模块。
[0044]优选的，所述控制单元，还用于定时启动所述特征提取模块获取系统可变外参数，即获得投影面相对系统的相对位置和姿态信息；
[0045]所述特征提取模块，还用于比较当前获取的系统可变外参数与此前获取的可变外参数，若当前获取的系统可变外参数与此前获取的可变外参数不同时，将变化后的系统可变外参数再次输出至所述界面处理模块，还用于重新计算投影单元与所述第一和第二图像传感单元之间的单应性矩阵，并输出至指尖触碰判断模块。
[0046]本发明还提供了一种人机交互系统进行人机交互的方法，其特征在于，包括步骤:
[0047]S1:对人机交互系统的初始校正，获取系统固有内、外参数；[0048]S2:获取系统可变外参数，并通过所述系统可变外参数和系统固有外参数，计算投影单元分别与所述第一图像传感单元和第二图像传感单元之间的单应性矩阵；
[0049]S3:通过指尖获取模块精细获取指尖在所述第一图像传感单元和第二图像传感单元采集图像平面上的位置坐标以及计算指尖相对投影平面的距离，并由特征提取单元在接收来自所述第一图像传感单元和第二图像传感单元采集的图像中搜索指尖，并将获取的指尖在所述第一图像传感单元和第二图像传感单元图像平面中的位置坐标输出至指尖触碰判断模块；
[0050]S4:由所述指尖触碰判断模块根据接收指尖分别在所述第一图像传感单元和第二图像传感单元平面中的位置坐标，利用双目视差原理，计算指尖相对图像传感单元的位置关系，继而根据系统可变外参数计算出图像传感单元与投影平面的相对位置与姿态，计算获得指尖与投影平面间的距离，
[0051]如果所述指尖与投影平面间的距离小于预设第一门限值，则判断发生触碰操作，进入步骤S5 ;否则，返回步骤S3 ；
[0052]S5:进行触碰信息输出，根据触碰点在第一和/或第二图像传感单元图像平面的坐标，并结合投影单元分别与所述第一图像传感单元和/或第二图像传感单元之间的单应性矩阵，计算获得该触碰点在人机交互界面坐标系中的准确位置坐标，然后输出。
[0053]优选的，所述步骤S3进一步包括:S31:控制单元控制人机交互系统进入手指尖粗定位状态，选择系统中所述第一图像传感单元和第二图像传感单元中的任何一个图像传感单元处于休眠状态或停止所述图像处理单元中所有模块针对该选择的图像传感单元采集图像的处理，或者选择所述第一图像传感单元和所述第二图像传感单元中距离所述投影单元最近的一个进入休眠状态或停止所述图像处理单元中所有模块针对该选择的图像传感单元采集图像的处理，进而利用所述特征提取模块获取若干由第一基本特征单元和第二基本特征单元匹配的基本特征单元对，再利用所述特征形变测量模块计算获取基本特征单元对之间的变化量，进行粗判断手指尖出现在选择工作的图像传感单元采集图像中的可能区域位置，具体包括:
[0054]当第二基本特征单元形变处的手指离投影面的距离小于预设第一门限值时，判断为触碰操作；如果触碰区域过大，则将该触碰区域坐标输出至指尖获取模块，得到精确的触碰坐标；否则，直接输出相应触碰区域位置坐标至指尖触碰判断模块，进入步骤S5 ；
[0055]当第二基本特征单元形变处的手指离投影面的距离大于预设第二门限值时，判断为未触碰操作，则后续不进行任何处理，则返回步骤S31 ；
[0056]当第二基本特征单元形变处的手指离投影面的距离在在所述第一和第二门限值之间时，则输出估算指尖在所述第一图像传感单元和第二图像传感单元的图像平面中出现的区域坐标至指尖获取模块，进入步骤S32 ；
[0057]S32，根据步骤S31得出的手指的粗定位区域，进行指尖的精确搜索，该步骤由指尖获取模块在接收来自所述第一图像传感单元和第二图像传感单元采集的图像中手指粗定位的区域内搜索指尖，并把获取指尖在所述第一图像传感单元和第二图像传感单元图像平面中的位置坐标输出至指尖触碰判断模块，然后进入步骤S4。
[0058]优选的，所述步骤S2进一步包括扫描获取投影平面的投影色彩预失真参数，以及完成色彩预失真校正。优选的，所述步骤S2进一步包括定时启动特征提取模块获取系统可变外参数:
[0059]即获得投影平面相对系统的相对位置和姿态信息，当发现其相对位置和姿态发生变化时，重新计算所述第一图像传感单元和第二图像传感单元与投影单元之间的单应性矩阵，并将变化后的系统可变参数再次输出至界面处理模块，所述界面处理模块更新系统可变参数，并基于所述变化后的系统可变参数进行投影形状预示真处理，以实现对投影平面实时的跟踪。
[0060](三)有益效果
[0061]根据本发明，提出了一种新的人机交互系统及方法，基于2个图像传感单元以及I个投影单元，其有益效果主要体现:
[0062]I)通过投影单元准确地把人机交互界面投影在人们日常中遇到的各种平面上，以实现无处不在的人机界面显示；
[0063]2)在人机交互界面中，用户在没有明显特征区域进行人机交互操作时利用双目原理准确获取用户手指尖与投影面的距离，以实现准确判断指尖是否与投影面发生触碰；
[0064]3)利用投影的人机交互界面中，存在明显特征信息时，则利用界面中存在的这些基本特征单元，在有用户手出现在投影界面区域时，造成的这些基本特征单元会发生形变或者基本特征单元在人机界面图像中的位置坐标发生偏移，进一步判断手指尖在投影界面区域中可能的范围，可以大大缩小指尖的搜索范围，降低系统的计算复杂度，以及增加系统的实时性，同时，该过程中只需要一个图像传感单元与一个投影单元工作即可，能进一步降低系统的功耗；
[0065]4)由于不需要投影和采集隐含结构光，因此，两个图像传感单元的采集帧率要求不高，只需要图像传感单元的图像采集帧率能保证每次采集到手指点击界面时候的图像即可，而手点击界面的速度是非常低的，比如单手指每秒钟点击界面超过3次已经非常高了 ；
[0066]5)本发明支持输入界面输入模块的人机交互界面信息中除了含有人机交互界面的图像之外，还可以包含要投影的人机交互界面中的特征信息，可利用已知要投影的界面，事先计算出特征信息，无需界面处理模块从输入的人机界面图像中提取出特征信息，能够大大降界面处理模块的计算复杂度和功耗；另外，所述输入界面输入模块的人机交互界面信息还包括人机交互界面中的每个可点击区域的范围，比如按钮、图标、菜单等区域的范围，因此在计算指尖触碰这些区域时，不需要精确计算触碰点在人机交互界面中的位置，因此，在实际应用中，很多情况可以通过对指尖的粗定位就完成指尖触碰点位置区域计算，节省了系统计算复杂度和功耗；
[0067]6)由于采用这种人机交互系统可以无需操控面板和显示面板，因此大大提高了其工作的可靠性和稳定性。
【专利附图】

【附图说明】
[0068]图1为依照本发明实施例1的人机交互系统的结构示意图；
[0069]图2为依照本发明实施例2的人机交互系统的结构示意图；
[0070]图3为依照本发明实施例的单窗口人机交互界面示意图；
[0071]图4为依照本发明实施例的多窗口人机交互界面示意图；
[0072]图5为依照本发明实施例的虚拟键盘示意图；[0073]图6为依照本发明实施例的人机交互方法的流程示意图。
【具体实施方式】
[0074]下面结合附图和实施例，对本发明的【具体实施方式】作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0075]实施例1:
[0076]图1为本发明实施例1的人机交互系统的结构示意图；如图1所示，本发明所述的人机系统，主要包括2个图像传感单元(图像传感单元I和图像传感单元2)，I个投影单元，接口单元，图像处理单元，投影界面处理单元，以及控制单元等。系统通过投影界面处理单元接收人机界面信息，并对该界面信息经过处理后，送至投影单元投影到日常的一些平面上，比如桌面、墙面、纸张、手掌、手臂等，准确投影显示人机界面，然后用户可以在该投影的人机界面上进行类似触摸屏幕的裸手操作，而双图像传感单元则采集投影区域的图像，识别人机交互操作，并输出相应的交互操作的信息，其中关键需要识别人手在投影界面上是否触碰，以及触碰点在投影的人机界面中的位置，其中控制单元则协调控制系统中的所有其它单元的工作。
[0077]投影单元用于投影接收来自投影接口单元输出的人机交互界面信息数据，并投影输出至投影面；
[0078]图像传感单元I与图像传感单元2用于采集投影平面区域的投影图像信息，并通过接口单元输出至图像处理单元；
[0079]接口单元用于连接投影单元、图像传感单元I和2，与控制单元、投影界面与图像处理单元；用于接收来自图像处理单元输出的系统固有内参数(包括图像传感单元1、图像传感单元2与投影单元的光学畸变参数);所述接口单元接收来自图像传感单元I和2的图像数据，并进行光学畸变校正后输出至图像处理单元；还接收来自投影界面单元输出的投影图像数据并进行光学畸变校正后输出至投影单元；所述接口单元主要包括图像传感接口单元和投影接口单元；图像传感接口单元用于接收来自图像处理单元输出的系统固有内参数中的图像传感单元I和2的光学畸变参数；图像传感接口单元还用于接收图像传感单元I和2的图像数据，并基于系统固有内参数中的图像传感单元I和2的光学畸变参数，实现对图像传感单元I和2采集的图像分别进行光学畸变校正处理，以消除由于图像传感单元中光学组件特性带来的光学畸变失真，再把校正后的图像输出至图像处理单元；投影接口单元用于接收来自投影界面处理单元的投影数据，并基于系统固有内参数中的投影单元的光学畸变参数，对从投影界面处理单元输出的要投影界面图像进行光学畸变预失真校正处理，以消除投影单元光学组件特性带来的光学畸变失真，校正后的投影界面图像输出至投影单元；接口单元还用于图像传感单元1、图像传感单元2以及投影单元间的同步控制；
[0080]图像处理单元用于接收来自图像传感接口单元输出的图像传感器单元I和2的图像数据，接收并提取来自投影界面处理单元输出的人机交互界面图像和该图像中的特征信息(特征信息至少包括基本特征单元的类型，比如点、线或其它规则图形或图像等类型，还包括基本特征单元在人机界面图像中的位置坐标)；所述图像处理单元还计算获取系统固有内参数(主要包括2个图像传感单元和投影单元光学镜头的畸变失真参数、焦距、像素点尺寸以及中心点位置等)，并存储系统固有参数至非易失性存储器，以及输出系统固有内参数至接口单元；所述图像处理单元针对接收的图像数据提取相应的特征信息与投影界面处理单元输出的特征信息进行匹配处理，计算获取图像传感单元I和2以及投影单元三者间的位置与姿态关系(称为系统固有外参数)，以及人机交互系统与投影平面之间的位置与姿态关系(称为系统可变外参数)；所述图像处理单元还把获取的系统可变外参数中的投影平面与投影单元间的位置、姿态关系参数输出至投影界面处理单元；图像处理单元还将对从接口单元获取图像传感单元I和2采集的投影区域的图像进行处理，依据指尖特征，搜索用户操作的手指尖(或其它触控物)，以及基于双目测距原理，获取指尖(或其它触控物)与投影平面之间的距离，当距离值在某一门限值范围内时，判断发生触碰操作，并输出触碰信息，该触碰信息至少包括触碰点在投影的人机交互界面中的位置坐标；
[0081]投影界面处理单元用于接收来自外部输入的要投影的人机交互界面信息，该信息至少包括要投影的人机交互界面图像或图形；投影界面处理单元还用于从输入的人机交互界面信息中提取明显的特征信息，并把特征信息输出至图像处理单元；投影界面处理单元还用于接收来自图像处理单元输出的系统可变外参数中的投影平面与投影单元间相对位置、姿态参数，并依据该参数对输入的人机交互界面信息中的界面图像进行形状预失真校正处理，然后输出至接口单元；
[0082]控制单元用于控制系统中所有单元，并协调所有单元的工作；控制单元还可控制系统处于系统固有内、外参数获取状态、系统可变外参数获取状态以及指尖获取与触碰操作状态。
[0083]所述投影界面处理单元还包括界面处理模块和界面输入模块；
[0084]所述界面输入模块用于接收来自外部输入的人机交互界面信息数据(该信息数据可以是压缩或未压缩的)，并对压缩了的人机交互界面信息进行解压缩，并输出至界面处理模块；所述界面输入模块还可以包含无线接口，也可以是有线接口 ；
[0085]所述界面处理模块用于接收来自界面输入模块输出的人机交互界面信息数据；还用于接收来自图像处理单元中的特征提取模块输出的系统可变外参数中的投影平面与投影单元的相对位置与姿态参数；界面处理模块还用于对接收的人机交互界面进行几何预失真处理，并输出至接口单元；界面处理模块还用于从输入的人机交互界面信息中提取人机交互界面中的特征信息，并把该信息输出至图像处理单元；
[0086]所述图像处理单元包括内外参数获取与投影面光特性获取模块、特征提取模块、指尖获取模块与指尖触碰获取模块；其中，
[0087]所述系统固有内外参数获取模块，用于将接收自所述特征提取模块输出的系统固有内、外参数，并存储在非易失性存储器中；所述系统固有内外参数获取模块输出系统固有内参数至接口单元的投影接口模块、图像传感接口模块；还用于把存储在非易失性存储器中的系统固有内、外参数输出至特征提取模块；
[0088]所述特征提取模块在控制单元的控制下处于系统固有内、外参数获取状态时，用于接收来自界面处理单元输出的人机交互界面特征信息，并根据该特征信息特点，相应地从接收来自图像传感接口模块输出的图像传感单元I和图像传感单元2采集的投影区域图像中，提取3者对应的特征信息，完成特征信息匹配，计算获得系统固有内、外参数，并输出至固有内外参数获取模块；所述特征提取模块在控制单元的控制下处于系统可变外参数获取状态时，用于接收来自界面处理单元输出的人机交互界面特征信息，并根据该特征信息特点，相应地从接收来自图像传感接口模块输出的图像传感单元I和图像传感单元2采集的投影区域图像中，提取3者对应的特征信息，完成特征信息匹配，并计算获取系统可变外参数，即投影平面与图像传感单元I和2、投影单元的相对位置与姿态；所述特征提取模块还接收来自系统固有内外参数模块输出的系统固有内、外参数，并结合已获取的系统可变外参数，计算获得2个图像传感单元平面(即分别是2个图像传感器芯片的成像平面)与投影单元平面(即投影芯片的平面)之间的单应性矩阵(即2个图像传感单元平面与投影单元平面内任意点间的坐标转换关系)，并输出至指尖触碰判断模块；
[0089]指尖获取模块，用于接收来自图像传感接口模块输出的图像传感单元I或图像传感单元2中的图像数据，通过对图像传感单元I和2采集的图像数据处理，以获得手指的指尖或者触控物的触控前端分别在2个图像传感单元图像平面中的位置坐标信息，并输出至指尖触碰判断模块；
[0090]所述指尖触碰判断模块，用于接收来自指尖获取模块的输出的指尖或者触控物的触控前端分别在2个图像传感单元图像平面中的位置坐标信息；还用于接收来自特征提取模块输出的系统可变外参数；还用于接收来自特征提取模块输出的2个图像传感单元平面与投影单元平面之间的单应性矩阵；所述指尖触碰判断模块利用双目视差原理，计算指尖与图像传感单元I和2的距离，再通过系统可变参数中的图像传感单元I和2与投影平面之间位置和姿态关系，计算获得投影面和指尖(或其它触控物的触控前端)间的距离，当距离小于某一门限值时，判断为触碰操作；当发生触碰操作时，指尖触碰判断模块还将根据从特征提取模块接收图像传感单元I或者2与投影单元之间的单应性矩阵，继而计算获得触碰点在原始投影的人机交互界面中的坐标位置，并输出指尖触碰信息，指尖触碰信息至少包括指尖触碰原始投影的人机交互界面中的位置坐标信息；所述指尖触碰判断模块的触碰信息输出方式可以是无线方式，也可以是有线方式。
[0091]下面将主要针对系统中几个关键部分进行说明。
[0092]I)系统固有内外参数获取。
[0093]整个系统在出厂之前或者在第一次使用之前，需要先获取由2个图像传感单元以及投影单元构成的人机交互系统的固有内参数与固有外参数。其中系统固有内参数包括:图像传感单元以及投影单元的内参数，主要指由于它们各自的光学组件特性带来的光学畸变参数。系统固有外参数包括:图像传感单元I和2，以及投影单元三者间的相对位置与姿态关系。在系统固有内、外参数获取过程中，控制单元控制整个系统处于系统获取固有内、外参数的状态，先对2个图像传感单元分别进行内参数获取，在本实施例中，由特征提取模块以及系统固有内外参数获取模块联合完成，其中特征提取模块接收要校正的图像传感单元采集的不同姿态和距离下用于校正的标准图像板上的特征图像(比如打印或印刷在一个平面上的黑白或彩色棋盘格图像)，从采集图像中获取特征角点及其对应在图像中的坐标值，并输出至系统固有内外参数获取模块，该模块计算得到要校正图像传感单元的内参数，并存储至该模块内的非易失性存储器中，该计算原理与方法属于本领域已知方法，比如利用张正友的方法，具体原理过程不赘述。固有内外参数获取模块获取的2个图像传感单元的内参数，将输出到接口单元中的图像传感接口单元，图像传感接口单元将根据固有内参数对图像传感单元I和2采集的图像进行光学畸变参数校正处理，以消除由于图像传感单元I和2中光学组件特性带来的光学畸变失真，再把校正后的图像输出至图像处理单元。在获取图像传感单元I和2的内参数后，再进行获取投影单元内参数以及系统固有外参数，这些参数获取的过程中，可以是界面处理模块产生或者是由系统外部输入的含有明显特征的图形或图像(比如黑白或彩色棋盘格)，另外，投影平面是在获取系统图像传感单元的内参数时用到的标准图像板，也可以是一个空白平板，在参数获取过程中，投影平面相对系统的位置和姿态是可变化的，投影界面处理单元中的界面处理模块用于获取要投影图像中的特征信息(投影图像中的特征信息至少包括基本特征单元的类型，比如点、线或其它规则图形或图像等类型，还包括基本特征单元在投影的人机界面图像中的位置坐标)，图像处理单元中的特征提取模块获取图像传感单元采集的投影区域图像的特征信息(图像传感采集图像的特征信息至少包括基本特征单元的类型，比如点、线或其它规则图形或图像等类型，还包括基本特征单元在图像中的位置坐标)，这两种特征信息送至图像处理单元中的特征提取模块进行对应特征匹配处理，并输出至固有内外参数获取模块，最后计算获得投影单元的内参数以及系统固有外参数，并存储在该模块中的非易失性存储器上。由于系统固有内、夕卜参数获取步骤、特征获取、匹配方法、计算方法均属于本领域中已知的方法，因而在此不赘述。固有内外参数获取模块获取的投影单元内参数，被输出到投影接口模块，投影接口模块将根据该参数对从投影界面处理单元输出的要投影界面图像进行预失真校正处理，以消除投影单元光学组件特性带来的光学畸变失真，校正后的界面图像输出至投影单元；固有内外参数获取模块计算得到的系统固有外参数还将输出至特征提取模块。
[0094]2)系统可变外参数获取。
[0095]在已获取系统固有内、外参数的基础上，每次在系统进行投影操作之前，需要知道投影平面相对于人机交互系统的位置和姿态关系(也即投影平面与2个图像传感单元、投影单元的相对位置和姿态)，即系统可变外参数获取。该参数获取的目的是实现用户在投影面上看到的投影人机交互界面的形状不变形。其具体实现过程与获取系统固有外参数过程类似，控制单元控制整个系统处于获取系统可变外参数的状态，投影界面处理单元中的界面处理模块产生有明显特征的图形或图像(比如黑白或彩色棋盘格，或者结构光图案)，并输出至投影接口模块，或者从系统外部输入有明显特征的图形或图像(即通过界面输入模块输入有明显特征的图形或图像)，利用投影界面处理单元中的界面处理模块获取要投影图像中的特征信息并输出至图像处理单元中的特征提取模块，同时特征提取模块自身也获取图像传感单元I和2分别采集的对应投影区域图像的特征信息，然后，图像处理单元中的特征提取模块针对这三个单元的图像特征信息进行特征匹配处理，并计算获得系统可变外参数(即投影平面与2个图像传感、投影单元的相对位置与姿态)，其具体匹配处理与计算方法也属于本领域中已知的方法，因而在此不赘述。特征提取模块把系统可变外参数中的投影平面与投影单元的相对位置与姿态等参数输出至投影处理单元中的界面处理模块，界面处理模块依据该系统可变外参数进行形状预失真校正处理，然后输出至投影接口模块；特征提取模块把系统固有内、外参数与系统可变外参数输出至指尖触碰判断模块，且同时利用系统固有内、外参数与系统可变外参数计算获得2个图像传感单元平面(即2个图像传感器芯片成像的平面)分别与投影单元平面(即投影芯片的平面)之间的单应性矩阵(即2个图像传感单元平面分别与投影单元平面内任意点间的坐标转换关系)，并输出至指尖触碰判断模块。
[0096]3)系统触碰操作获取:[0097]为了实现在日常用的平面上投影人机交互界面，并在该投影平面上进行类似触摸屏的裸手操作，其中的一个关键处理是进行准确的裸手触碰投影面的判断，本实施例将利用双目测距的原理进行触碰操作判断。在已获取了系统可变外参数之后，即已获取投影平面相对于人机交互系统的位置和姿态关系，投影平面相对投影单元和2个图像传感单元的空间位置和姿态关系是已知，下一步，只需获取手相对于2个图像传感单元或投影单元的空间位置关系，即可获得手与投影面的关系，以判断手是否与投影面是否发生触碰，以及触碰的位置。本实施例在系统触碰操作获取过程中，控制单元控制整个系统处于触碰操作获取状态，图像处理单元中的指尖获取模块接收来自图像传感单元I和2采集的投影区域的图像，根据人手的特性，分别在这两幅图像中提取出手指尖，获得手指尖分别在这两图像传感单元平面中的位置坐标，并把该结果输出至指尖触碰判断模块，所述指尖触碰判断模块接收从特征提取模块输出的系统固有内、外参数，利用双目测距原理，可计算出指尖相对2个图像传感单元的位置关系，且输出至指尖触碰判断模块，该模块利用系统可变外参数中的2个图像传感单元相对投影面的位置与姿态关系参数，因而计算出指尖相对投影平面的距离，如果距离值在一个门限值范围内，则判断为触碰操作。针对发生触碰操作时，还需计算该触碰点位置在投影界面中的位置，本实施例优选在指尖触碰判断模块中计算触碰点位置，所述指尖触碰判断模块从指尖获取模块输出的指尖在图像传感单元I或者2上的位置坐标(即触碰点在图像传感单元中的坐标)，以及利用从特征提取模块中获得图像传感单元I或者2与投影单元之间的单应性矩阵(在前面的系统可变外参数获取中已描述)，继而计算获得触碰点在原始投影界面中的坐标位置，最后指尖触碰判断模块输出触碰操作与相应触碰点在人机交互界面中的位置坐标信息。最后指尖触碰模块输出触碰点在人机交互界面中的位置坐标。
[0098]实施例2:
[0099]考虑实施例1中需要对指尖在整个投影的人机交互界面中，利用手指的特性，搜索指尖，然后判断指尖与投影面之间的距离，整个过程较为复杂和耗时，因此本实施例将利用I个投影单元和I个图像传感单元构成的结构光测量系统，利用人机交互界面中已有的明显特征点、线或其它规则图形或图像等，实现对手指的粗定位。其核心思想是利用对投影平面上的人机交互界面中有手指与没有手指时导致的原有特征信息的变化量，实现手指所在投影界面中的区域的粗定位，以缩小指尖的搜索区域，降低指尖搜索的复杂度，甚至可利用已有的特征信息变化直接判断触碰，而非一定需要搜索指尖，进一步降低系统的复杂度。
[0100]在手指粗定位之后，进入指尖精确定位状态，利用2个图像感单元，在粗定位手指的区域搜索指尖，然后采用双目定位的原理，精确测量指尖距离投影平面的距离，指尖精确定位的具体原理过程则与实施例1 一致，在此不赘述。
[0101]另外，系统在粗定位手指时，如果粗定位发现手指距离投影平面距离过大(比如手悬浮在投影界面上时)，不可能发生触碰时，同样也无须进行下一步的指尖触碰判断，节省计算开销。本实施例的另外一个好处是，在进行手指的粗定位的过程中只需I个图像传感单元和I个投影单元工作，节省了处理另外一个图像传感单元采集图像所带来的系统功耗。
[0102]系统在手指粗定位状态中，会出现对手指精确定位的时候，比如投影界面中的基本特征单元投影在手指上且在指尖上或指尖附近时，此时利用结构光测量原理能够精确或较精确地获得指尖的位置，此时如果手指尖与投影面发生触碰，则能给出手指准确的触碰判断，同时可以准确计算触碰的位置，并把触碰判断结果输出到指尖触碰判断模块。考虑计算触碰位置无需精确的时候，比如手指点击一个面积较大的按钮时，可通过测量特征信息的变化量在一定范围时，可直接给出触碰判断结果与触碰位置区域的结果，并把这些结果直接输出到指尖触碰判断模块。
[0103]本实施例的人机交互系统结构如图2所示。
[0104]所述控制单元控制，还协调整个系统分别进入手指尖粗定位状态与手指尖精细定位状态；在手指尖粗定位状态时，所述控制单元控制选择图像传感单元I或2中的任何一个图像传感单元处于休眠状态或停止针对该选择的图像传感单元采集图像的处理，或者选择图像传感单元I和2中距离投影单元最近的一个进入休眠状态或停止特征提取模块针对该图像传感单元采集图像的处理；在进入手指尖精细定位状态时，所述控制单元控制图像传感单元I和2均处于正常工作状态或控制启动特征提取模块针对图像传感单元I和2采集的图像均进行正常处理；
[0105]所述特征提取模块，在系统处于手指尖粗定位状态时，根据系统可变外参数计算获取的投影单元平面与处于正常工作状态的图像传感单元的平面之间的单应性矩阵；还用于把接收来自界面处理单元输出的人机交互界面中的特征信息I (至少包括基本特征单元的特征形状以及位置坐标)，或者接收来自投影界面处理单元输出的要投影的人机交互界面图像，通过特征提取模块提取该图像的特征信息1，利用单应性矩阵，把该特征信息进行坐标转换，转换到处于正常工作状态的图像传感单元平面的坐标系中，获得对应新的特征信息2 ;还用于获取处于正常工作状态的图像传感单元采集到的投影平面上的人机交互界面中特征信息3 (至少包括基本特征单元的特征形状以及位置坐标)；特征提取模块还针对特征信息2和特征信息3进行匹配，继而把相匹配后的结果(至少包括匹配的基本特征单元对，以及这些匹配的基本特征单元对分别在处于正常工作状态的图像传感单元平面中的位置坐标)输出至特征形变测量模块；当然特征提取模块也可以在投影单元坐标系内针对所述特征信息进行匹配，得到能够匹配的基本特征单元对，并将匹配结果输出至所述特征形变测量模块；
[0106]所述人机交互系统还包括特征形变测量模块，用于接收来自特征提取模块输出的特征信息匹配结果，针对所有匹配的基本特征单元对进行比较，分别计算每对基本特征单元之间的变化量(该变化量至少包括基本特征单元对间的形状变化量、面积变化量或是特征点位置坐标的偏移等)；所述特征形变测量模块还根据基本特征单元对之间的变化量(即手指介入人机交互界面带来的基本特征单元的形变量)，计算该特征形变处的手指离投影平面的距离以及估算指尖出现在图像传感单元I和2的图像平面中的区域，I)当计算特征形变处的手指离投影面的距离小于某一较小的门限值时，可以直接判断为触碰操作，如果触碰区域过大(估算手指可能的触碰区域超过该区域界面单个可点击区域范围)，则把该触碰区域坐标输出至指尖获取模块得到精确的触碰坐标，否则，可以直接输出相应触碰区域坐标至指尖触碰判断模块，2)当计算特征形变处的手指离投影面的距离超过一较大的门限值时，则后续不进行任何处理，3)若当计算特征形变处的手指离投影面的距离在前面两个门限值之间时，则输出估算指尖在图像传感单元I和2的图像平面中出现的区域坐标至指尖获取模块；[0107]所述指尖获取模块，用于接收来自特征形变测量模块输出手指尖在2个图像传感单元采集的人机交互界面图像中的可能出现区域，并在该区域内搜索指尖，然后输出该指尖分别在图像传感单元I和2采集的图像平面上的二维坐标输出至指尖触碰判断模块；
[0108]指尖触碰判断模块，还用于接收来自特征形变测量模块输出的指尖触碰信息，该指尖触碰信息包括精确的指尖触碰位置坐标信息，也包括指尖触碰的区域位置信息；还用于在接收到来自特征形变测量模块输出的触碰操作，以及来自指尖获取模块输出的指尖在图像传感单元平面的精确指尖位置坐标时，利用2个图像传感单元或其中任何一个与投影单元之间的单应性矩阵，计算获得指尖触碰原始投影的人机交互界面中的精确位置，并输出指尖触碰信息，需要说明的是，如果同时利用2个图像传感单元与投影单元之间的单应性矩阵来计算精确位置坐标时，则会得到2个稍有不同值的位置坐标，此时最简单的方法即求2个位置坐标值的平均作为最终的位置坐标，以消除随机噪声带来的部分误差；
[0109]该系统中与实施例1不同的地方是系统将在指尖精确定位之前，引入手指粗定位状态，控制单元控制整个系统处于触碰操作获取状态，利用I个图像传感单元和I个投影单元进行手指的粗定位，即估算手指尖在投影界面区域内的大致区域，然后，控制单元控制整个系统进入手指尖精细定位状态，则需启动对另一个图像传感单元采集图像进行处理，在已获得的手指粗定位的区域内搜索指尖，即在2个图像传感单元采集的图像中的指定区域内搜索指尖，并利用双目测距原理进行指尖触碰判断与触碰位置获取。系统进入手指精细定位状态后，该实现过程与实施例1完全相同。因此在本实施例说明中，主要针对手指的粗定位进行详细描述。
[0110]所述控制单元控制协调整个系统分别进入手指粗定位与手指尖精细定位状态。当系统在进入手指粗定位状态时，从测量精度来考虑，本实施例将优选图像传感单元I和2中与投影单元相对距离较远的一个与投影单元联合工作，为描述方便，在这把选中的图像传感单元称为图像传感单元S，另一个图像传感单元采集的图像不进行任何处理，也可以暂停该图像传感单元的工作，进入休眠态；当系统进入手指粗定位状态时，也可以选定图像传感I和2中的任何一个与投影单元联合工作，另一个没被选取的图像传感单元输出的图像将不做处理，也可以暂停其工作进入休眠态，以节省系统功耗。在完成手指粗定位后，如果仍需进行手指精细触碰判断操作时，所述控制单元将控制系统进入手指精细定位状态，并启动2个图像传感单元正常工作以及针对采集的2路图像均进行正常处理。
[0111]为了能够获得在投影面上的人机交互界面中有手与没有手时人机交互界面中特征信息的变化情况，首先需要能够获得没有手时投影平面上的人机交互界面中的特征信息，考虑在投影过程中手可能一直会在投影的人机交互界面区域中，无法确保图像传感单元能够采集到没有手时的图像，因此，本实施例将通过利用投影单元平面与图像传感单元平面之间的单应性矩阵，来计算没有手时投影在投影平面上的人机交互界面中的特征信息在图像传感单元平面中的位置坐标以及形状信息(也可以是利用单应性矩阵计算要投影的人机交互界面图像映射到图像传感单元平面上时所成的图像，然后再通过特征提取模块提取该图像的特征信息)。因此，所述特征提取模块，在投影的平面相对系统的位置与姿态相对不变条件下，根据已获取的投影单元平面与图像传感单元S的平面之间的单应性矩阵(即投影单元平面与图像传感单元S的平面之间对应的坐标转换关系)，把接收来自界面处理单元输出的人机交互界面中的特征信息(或者接收来自界面处理单元输出的要投影的人机交互界面图像，然后再通过特征提取模块提取该图像的特征信息)，转换到图像传感单元S的平面中，也即估算在当前投影平面条件下，投影在投影平面上的人机交互界面中没有用户手出现时，图像传感单元S采集到的人机交互界面中特征信息在图像传感单元S的平面中对应的特征形状以及位置坐标(简称为投影映射在图像传感中的特征信息)；特征提取模块还提取图像传感单元S采集投影区域中图像的特征信息(包括基本特征单元的特征形状以及位置坐标)；特征提取模块还针对投影映射在图像传感中的特征信息分别与图像传感单元S采集投影区域中图像的特征信息进行匹配，继而把相匹配后的结果(该结果至少包括匹配的基本特征单元对，以及这些匹配的基本特征单元对在图像传感单元S的平面中的位置坐标)输出至特征形变测量模块；
[0112]所述特征形变测量模块，用于接收来自特征提取模块输出投影映射在图像传感单元平面中的特征信息和图像传感单元S采集投影区域中图像的特征信息匹配后的结果，针对每一对匹配的基本特征单元，分别计算其特征的形状变化量、面积变化量或是特征点位置坐标的偏移等。当计算特征形变处的手指离投影面的距离小于某一较小的门限值时，可以直接判断为触碰操作(对应实际情况为:有基本特征单元投影在手指上，且投影在指尖处或指尖附近处的时候)，此时，如果估算手指可能的触碰区域超过该区域界面单个可点击区域范围，则需把该触碰区域坐标输出至指尖获取模块以得到更精确的触碰坐标，如果估算手指可能的触碰区域在该区域界面的单个可点击区域范围之内，可以直接输出相应触碰区域坐标至指尖触碰判断模块；当计算特征形变处的手指离投影面的距离超过一较大的门限值(对应实际情况为:手指离投影平面的距离非常大的时候，即在该距离时不可能发生指尖触碰投影面的情况)，则无需进行下一步处理，以节省不必要的指尖搜索与触碰操作；若当计算特征形变处的手指离投影面的距离在前面两个门限值之间时，则输出估算指尖在图像传感单元I和2的图像平面中可能出现的区域坐标至指尖获取模块。如图3所示，其中图3 (a)是投影在投影平面上的人机交互界面的情况示例，其中包含了明显的4个特征条纹线，以及一个明显的特征点，图3 (b)是在投影平面上的投影区域上有用户的操作的手或触控物出现时的情况，可以发现由于手或者其它触控物的出现，使得右侧的基本特征单元，即右侧的条纹，发生了局部的条纹变形，根据I个图像传感单元与I个投影单元构成的结构光测量系统原理，很容易知道这种条纹的变形量完全包含了介入投影区域的手在该形变条纹处，距离投影面的高度信息(高度计算方法属于该领域已知方法，不赘述)，因此，特征形变测量模块通过测量这种形变量或者是偏移量就可以计算出介入的手在变形条纹处，距离投影面的高度，根据高度信息的变化，也就能判断手是否出现在投影界面区域，比如在投影平面上的投影区域处会与非投影区域的亮度或颜色上存在比较明显的不同，从而形成4个边界条纹，如图3所示的四条边(即投影界面的最外端的四条边)，通过判断四个条纹线中的任何一条边是否发生形变，就可以判断是否有手或者其它触控物出现在投影的人机交互界面中，如果没有，则无需进行后续的指尖搜索或触碰处理，以节省系统功耗；如果有基本特征单元投影在指尖处或指尖附近处(基本单元仍投影在手指上)，如图3 (c)所示特征点在指尖上，此时，可以利用I个投影单元和I个图像传感单元准确(基本特征单元在指尖处)或较为准确地(基本特征单元在指尖附近处)测量指尖距离投影平面的高度，如果其高度在一个门限之内时，可以直接判断为触碰操作，并把触碰操作信息输出至指尖触碰判断模块。另夕卜，如果投影界面中的基本特征单元较多，如图4所示，比如投影的人机交互界面中存在多个界面窗口时，界面窗口之间会存在明显的边界线，此时，基本特征单元为条纹，投影的人机交互界面中的特征条纹较多，则通过判断条纹形变的位置以及形变量大小，可以估算和预测手指尖在投影界面中出现的区域，在如图4 (a)所示，由于在窗口 A区域中的特征条纹a的局部发生变形，其它四个边界线条纹没有变形，因此可以判断指尖所在区域为A，而窗口 B区域存在2个边界线条纹a和条纹b的局部均存在变形，考虑还存在多指触碰投影界面的情况，可以先判断条纹b处的局部变形是否小于一个门限值(即判断变形条纹处手指距离投影平面的高度是否低于一个门限值)，是，则可以判断在B窗口区域也存在手指，否，则判断该局部变形是否超过一门限值(即判断变形条纹处手指距离投影平面的高度超过一门限值)，此时手指尖不可能与B窗口区域的投影面发生触碰，则此时无需关心手指尖是否存在于B区域，为简化，此种情况也可给出不存在指尖的结果，当局部变形在前两个门限值范围内时，则需要通过判断在两个特征条纹a和b的局部变形处指尖是否存在联通的手指边缘，如果存在，则可判断窗口 B区域内无手指尖(如图4 (a)所示情况)，反之，则窗口 B区域内也存在手指尖，最后，把存在指尖的区域范围输出至指尖搜索模块，进行精细的指尖搜索。当投影的人机交互界面中存在更多的基本特征单元分布时，如图4 (b)所示，同样的判断过程与方法，则可进一步缩小指尖搜索范围至A4区域。当投影在投影平面上的人机交互界面存在更密集的基本特征单元时，也即基本特征单元间的位置间隔较小的时，如图5所示，界面中存在间隔较小的特征条纹，比如界面中的键盘部分(此时，只需判断手指触碰了哪个按键区域，触碰位置的精度无需很精确)，此时，由于条纹间隔距离相对小，在每两个条纹间进行触碰操作时，可利用结构光原理进行测量变形处的手指离投影面的距离，如果该测量距离值小于一门限制值，可以直接判断是否有指尖触碰，且输出手指尖触碰的区域(一个按键所占的区域内)，且把该结果直接输出至手指触碰判断模块，因此，在这种情况下可进一步大大降低系统的计算复杂度。根据上述说明，所述特征形变测量模块在手指粗定位状态时，将输出手指尖在2个图像传感单元采集的人机交互界面图像中的可能出现区域至指尖获取模块；还可以输出指尖触碰信息至指尖触碰判断模块，该指尖触碰信息包括精确的指尖触碰位置坐标信息，也包括指尖触碰的区域位置信息。
[0113]所述指尖获取模块，用于接收来自特征形变测量模块输出手指尖在2个图像传感单元采集的人机交互界面图像中的可能出现区域，并在该区域内搜索指尖，然后输出该指尖分别在图像传感单元I和2采集的图像平面上的二维坐标输出至指尖触碰判断模块。
[0114]指尖触碰判断模块，还用于接收来自特征形变测量模块输出的指尖触碰信息，该指尖触碰信息包括精确的指尖触碰位置坐标信息，也包括指尖触碰的区域位置信息；还用于在接收到来自特征形变测量模块仅输出的指尖触碰操作，以及来自指尖获取模块输出的指尖在图像传感单元平面的精确指尖位置坐标时，利用图像传感单元平面与投影单元平面之间的单应性矩阵，计算获得指尖触碰原始投影的人机交互界面中的精确位置，并输出指尖触碰信息。
[0115]实施例3:
[0116]考虑不同投影平面会存在纹理色彩的不同，因此系统可以在投影人机交互界面前，先完成投影色彩预失真参数获取。本实施例是在实施例1和2的基础上进行的补充，因此相同部分不再赘述。只是描述主要的不同部分，即投影色彩预失真参数的获取与色彩预失真校正，本实施例针对这两部分的功能仅在特征提取模块与界面处理模块中实现。考虑不同的投影面会存在不同的色彩和反光特性，因此，在用户进行投影操作之前，系统还需扫描投影面的色彩和反光特性，即通过投影界面处理单元的界面处理模块产生不同强度、不同色彩的图像(该图像也可以是通过界面输入模块接收来自系统外部输入的不同强度、不同色彩的图像)送至投影单元投影至投影平面，同时也送至图像处理单元中的特征提取模块，图像传感单元I或2采集相应投影面上的投影图像，特征提取模块根据图像传感单元采集的图像以及界面处理模块产生的投影图像(或外部输入的图像)，进行图像比对处理，获取系统要投影图像与在投影平面上投影的图像间的差异分析，以获取投影面的光调制特性，投影面的光调制特性可表示为函数f(也可以是查找表)，则投影色彩预失真处理函数f-1(也可以是查找表)。特征提取模块将获取的投影预失真处理函数f-1 (或者查找表的形式)，输出至投影界面处理模块，假设希望投影图像的色彩为Color时，即界面处理模块接收来自界面输入模块的人机界面图像色彩为Color时，界面处理模块根据预失真处理函数对投影的色彩为Color图像进行预处理，f-1 (Color)，这样以实现投影在投影面的图像为f 0-1(Color)) =Color,实现投影准确色彩的人机交互界面。
[0117]实施例4:
[0118]与实施例1、2、3不同之处在于，输入界面输入模块的人机交互界面信息中除了含有人机交互界面的图像之外，还可以包含要投影的人机交互界面中的特征信息，该信息包含基本特征单元类型(至少包含点、线、几何形状等类型)与基本特征单元的位置坐标等，比如要投影的图像为棋盘格，人机交互界面信息中可以包含基本特征单元的类型(至少包含点、线、几何形状等类型)、棋盘格特征角点的位置信息(即基本特征单元的位置坐标信息)等；再比如要投影的为如图5所示的键盘时，人机交互界面信息中可以包含各个条纹在投影界面中的位置坐标信息。其好处在于，利用已知要投影的界面，事先计算出特征信息，这样能够大大降低投影界面处理单元中的界面处理模块的计算复杂度，降低对投影图像进行的特征提取带来的功耗开销等。
[0119]所述输入界面输入模块的人机交互界面信息还包括人机交互界面中的每个可点击区域的范围，比如按钮、图标、菜单等区域的范围；
[0120]所述界面处理模块还提取人机交互界面中的每个可点击区域的范围，且输出至特征形变测量模块；
[0121]所述特征形变测量模块还接受来自界面处理模块的人机交互界面中的每个可点击区域的范围，在系统处于指尖粗定位状态时，根据该范围判断估算的粗定位手指的位置范围是否在该范围之内，是，则可以直接输出触碰信息至指尖触碰判断模块，否，则输出估算的粗定位手指的位置范围至指尖获取模块，发生指尖触碰信号输出至指尖触碰判断模块；所述界面处理模块还可以从人机交互信息中直接提取界面中的特征信息数据。
[0122]实施例5:
[0123]考虑到投影平面为非固定平面时，会存在投影平面相对人机交互系统发生旋转或平移，此时，可以在控制单元的控制下，定时启动特征提取模块获取系统可变外参数，即获得投影平面相对人机交互系统的相对位置和姿态信息，当发现其相对位置和姿态发生变化时，重新获取变化后的系统可变外参数，并把系统可变外参数再次输出至界面处理模块，所述界面处理模块更新这些参数，并基于该新的参数进行投影形状预示真处理，以实现对投影平面实时的跟踪。[0124]需要说明的是在本发明的所有实施例中，除了可以处理手触碰投影平面的情况，针对其它的触控物也是完全可以的，其原理相同，在此不赘述。
[0125]如图6所示，为本发明实施例中人机交互系统的工作方法流程图；
[0126]步骤S1:完成对人机交互系统的初始校正，即获取系统的固有内、外参数，包括投影单元、图像传感单元I和图像传感单元2的内参数以及3个单元间的相对空间位置和姿态关系的外参数；获取的系统固有内、外参数存储在系统固有内外参数获取模块中的非易失性存储器中；
[0127]步骤S2:获取系统的可变外参数，即获取投影平面与人机交互系统的相对空间位置和姿态关系，包括图像传感I和2、以及投影单元分别与投影平面之间的相对空间位置与姿态关系；还通过系统可变外参数和系统固有外参数，计算投影单元平面分别与图像传感单元I和2平面间的单应性矩阵；
[0128]步骤S3:精细获取指尖在图像传感单元I和2采集图像平面上的位置坐标以及计算指尖相对投影平面的距离；该步骤由特征提取单元在接收来自图像传感单元I和图像传感单元2采集的图像中搜索指尖，并把获取指尖在2个图像传感单元平面中的位置坐标输出至指尖触碰判断模块；
[0129]步骤S4:判断是否发生触碰操作，由指尖触碰判断模块根据接收指尖分别在图像传感单元I和2平面中的位置坐标，利用双目视差原理，计算指尖相对图像传感单元的位置关系，继而根据系统可变外参数计算出图像传感单元与投影平面的相对位置与姿态，最终计算获得指尖与投影平面间的距离，如果该距离小于一个门限值，则判断发生触碰操作，进入步骤S5，否则，返回步骤S3 ；
[0130]步骤S5:进行触碰信息输出；该步骤根据触碰点在图像传感单元平面的坐标，结合步骤S2获得所述第一和或第二图像传感单元与投影单元之间对应的单应性矩阵，计算获得该触碰点在人机交互界面坐标系中的准确位置坐标，然后输出，返回步骤S3。需要说明的是，如果同时利用2个图像传感单元与投影单元之间的单应性矩阵来计算精确的触碰位置坐标时，则会得到2个稍有不同值的位置坐标，此时最简单的方法即求2个位置坐标值的平均作为最终的位置坐标，以消除随机噪声带来的部分误差
[0131]上述方法中的步骤S3为了进一步降低搜索指尖的区域，还可以先利用人机交互界面中已有的明显的特征信息，利用I个图像传感单元与I个投影单元构成的结构光测量系统，进行粗定位指尖大致区域，然后再在图像传感单元I和2采集图像中进行指尖的精细搜索。
[0132]所述步骤S31:指尖粗定位步骤。控制单元控制人机交互系统进入手指尖粗定位状态，选择系统中第一图像传感单元和第二图像传感单元中的任何一个图像传感单元处于休眠状态或停止所述图像处理单元中所有模块针对该选择的图像传感单元采集图像的处理，或者选择所述第一图像传感单元和所述第二图像传感单元中距离所述投影单元最近的一个进入休眠状态或停止所述图像处理单元中所有模块针对该选择的图像传感单元采集图像的处理，进而利用所述特征提取模块获取若干第一和第二匹配的基本特征单元对，再利用所述特征形变测量模块计算获取基本特征单元对之间的变化量，进行粗判断手指尖出现在选择工作的图像传感单元采集图像中的可能区域位置。
[0133]界面处理模块针对输入的人机交互界面信息中获得该界面图像中的明显特征，并利用投影单元平面与图像传感单元平面间的单应性矩阵把提取的特征信息转换到图像传感单元的图像平面(该信息简称为原始界面的特征信息)，同时利用特征提取单元针对采集到投影在投影平面上的人机交互界面图像(包括用户的手指在投影的人机交互界面区域中进行操作时的情况)进行特征信息提取(该特征信息简称为投影平面上的界面特征信息)，把上述原始界面的特征信息与投影平面上的界面特征信息输出至特征形变测量模块，该模块比较两种特征信息的变化(这种变化至少包括特征的形状变化量、面积变化量或是特征点位置坐标的偏移等)，来粗判断手指尖出现在图像传感单元采集图像中的可能区域位置，针对实际不同的情况:1)如果有基本特征单元投影在指尖处或指尖附近处(基本特征单元仍投影在手指上)，如图3 Ce)所示特征点在指尖上，此时，可以利用I个投影单元和I个图像传感单元准确(基本特征单元投影在指尖处)或较为准确地(基本单元投影在指尖附近处)测量指尖离投影平面的距离，如果该距离值在一个门限值之内时，可以直接判断为触碰操作，且可精确计算出指尖在图像中的位置信息，进入步骤S5，否则，返回步骤S31重新开始；2)当投影在投影平面上的人机交互界面存在较密的基本特征单元时，也即基本特征单元间的位置间隔较小，且对触碰点位置计算精度要求不高时，如图5所示，界面中存在间隔较小的特征条纹，比如界面中的键盘部分，且此时，只需判断手指触碰了哪个按键，对触碰位置的计算精度无需很精确，当指尖在每两个条纹间进行触碰操作时，可利用结构光原理进行测量变形处的手指离投影面的距离，当距离值小于一门限值时，就可以直接判断发生指尖触碰操作，且只需获得手指尖触碰的区域(该区域在按键所占的区域内，也即单个可点击区域范围内)，且把该触碰操作及其手指触碰的区域位置信息输出至触碰判断模块，直接进入步骤S5，否则，返回步骤S31，重新开始，因此，在这种情况下可大大降低系统的计算复杂度；3)如果投影界面中存在相对非密集的基本特征单元，如图4所示，比如投影的人机交互界面中存在多个界面窗口时，界面窗口之间会存在明显的边界线，通过判断基本特征单元的变化(即条纹形变的位置以及形变量大小)小于一个门限值，则可以估算手指尖出现的大致区域，但无法给出指尖是否发生触碰的判断，此时，则进入步骤S32，如果判断基本特征单元的变化超过一个门限值，判断手指离投影面距离较大，不可能发生触碰操作，则返回步骤S31重新开始；
[0134]所述步骤S32，根据步骤S31给出手指的粗定位区域，进行指尖的精确搜索，该步骤由特征提取单元在接收来自图像传感单元I和图像传感单元2采集的图像中的指定区域进行搜索指尖，并把获取指尖在2个图像传感单元平面中的位置坐标输出至指尖触碰判断模块，然后进入步骤S4;
[0135]考虑不同投影平面会存在纹理色彩的不同，系统还可以在投影人机交互界面前，先完成投影色彩预失真参数获取，因此进一步，
[0136]步骤S2还包括扫描获取投影平面的投影色彩预失真参数，以及完成色彩预失真校正。考虑到投影平面为非固定平面时，会存在投影平面相对人机交互系统发生旋转或平移，因此进一步，步骤S2还包括自身可以定时启动步骤S2，也即定时启动特征提取模块获取系统可变外参数，即获得投影平面相对系统的相对位置和姿态信息，当发现其相对位置和姿态发生变化时，把变化后的参数再次输出至界面处理模块，所述界面处理模块更新这些参数，并基于该新的参数进行投影形状预示真处理，以实现对投影平面实时的跟踪。
[0137]通过结合附图对本发明具体实施例的描述，本发明的其它方面及特征对本领域的技术人员而言是显而易见的。
[0138]以上所述仅是本发明的优选实施方式，应当指出，对于本【技术领域】的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。
【权利要求】
1.一种人机交互系统，其特征在于，包括:投影单元、第一图像传感单元、第二图像传感单元、接口单元、图像处理单元、投影界面处理单元、以及控制单元，其中， 所述投影单元，用于接收所述接口单元输出的人机交互界面信息数据，并投影输出至投影面； 所述第一图像传感单元和第二图像传感单元，用于采集投影面区域的投影图像信息，并通过所述接口单元输出至所述图像处理单元； 所述接口单元，连接所述投影单元、第一图像传感单元、第二图像传感单元、图像处理单元、投影界面处理单元、以及控制单元；所述接口单元用于对所述第一图像传感单元和第二图像传感单元以及所述投影单元间进行同步控制； 所述图像处理单元，用于接收所述第一图像传感单元和第二图像传感单元采集的图像数据；用于接收所述投影界面处理单元输出的人机交互界面图像，并提取所述人机交互界面图像中的特征信息；用于计算获取系统固有内参数，所述系统固有内参数包括所述第一图像传感单元、第二图像传感单元和投影单元光学镜头的畸变失真参数、焦距、像素点尺寸以及中心点位置，并将系统固有参数存储至非易失性存储器，以及输出系统固有内参数至所述接口单元；用于针对所述图像数据提取相应的特征信息与所述投影界面处理单元输出的特征信息进行匹配处理；用于计算获取系统固有外参数，所述系统固有外参数包括第一图像传感单元和第二图像传感单元以及投影单元三者间的位置与姿态关系；以及用于计算获取系统可变外参数，所述系统可变外参数包括人机交互系统与投影面之间的位置与姿态关系，用于把获取的系统可变外参数中的投影面与所述投影单元间的位置、姿态关系参数输出至所述投影界面处理单元； 所述图像处理单元还用于对从所述接口单元获取所述第一图像传感单元和第二图像传感单元采集的投影区域的图像进行处理，依据预设指尖特征，搜索用户操作的手指尖或其它触控物，以及基于双目测距原理，获取指尖或其它触控物与投影面之间的距离，当距离值在预设第一门限值范围内时，判断发生触碰操作，并输出触碰信息； 所述投影界面处理单元，用于接收要投影的人机交互界面信息，并从所述人机交互界面信息中提取特征信息，并将所述特征信息输出至所述图像处理单元；所述投影界面处理单元还用于接收所述图像处理单元输出的系统可变外参数中的投影面与投影单元间相对位置、姿态参数，并依据该参数对输入的人机交互界面信息中的界面图像进行形状预失真校正处理，然后输出至接口单元； 所述控制单元，用于控制系统中所有单元，并协调控制系统中所有单元的工作；所述控制单元还用于控制人机交互系统处于系统固有内、外参数获取状态、系统可变外参数获取状态以及指尖获取与触碰操作状态。
2.根据权利要求1所述的人机交互系统，其特征在于， 所述接口单元包括图像传感接口模块和投影接口模块:其中，所述图像传感接口模块用于接收来自所述图像处理单元输出的系统固有内参数；用于接收来自所述第一图像传感单元和第二图像传感单元的图像数据，并对所述图像数据进行光学畸变校正后输出至所述图像处理单元；所述投影接口模块用于接收所述投影界面处理单元输出的投影图像数据，并基于系统固有内参数对从所述投影界面处理单元输出的投影界面图像进行光学畸变预失真校正处理，校正后的投影界面图像输出至所述投影单元。
3.根据权利要求2所述的人机交互系统，其特征在于，所述图像处理单元包括系统固有内外参数获取模块、特征提取模块、指尖获取模块、以及指尖触碰判断模块，其中， 所述系统固有内外参数获取模块，用于将接收所述特征提取模块输出的系统固有内、外参数，并存储在非易失性存储器中；用于输出系统固有内参数至所述投影接口模块和所述图像传感接口模块；还用于把存储在非易失性存储器中的系统固有内、外参数输出至所述特征提取模块； 所述特征提取模块，在人机交互系统处于系统固有内、外参数获取状态时，接收所述投影界面处理单元输出的人机交互界面特征信息，并根据该特征信息，接收所述图像传感接口模块输出的图像，以及所述第一图像传感单元和第二图像传感单元采集的投影区域图像中，提取3者对应的特征信息，完成特征信息匹配，计算获得系统固有内、外参数，并输出至所述系统固有内外参数获取模块； 所述特征提取模块，在人机交互系统处于系统可变外参数获取状态时，接收来自所述投影界面处理单元输出的人机交互界面特征信息，并根据该特征信息，接收所述图像传感接口模块输出的图像，以及所述第一图像传感单元和第二图像传感单元采集的投影区域图像中，提取3者对应的特征信息，完成特征信息匹配，并计算获取系统可变外参数；接收系统固有内外参数模块输出的系统固有内、外参数，并结合已获取的系统可变外参数，计算获得所述第一图像传感单元和第二图像传感单元与投影单元之间的单应性矩阵，并输出至所述指尖触碰判断1吴块； 所述指尖获取模块，在人机交互系统处于指尖获取与触碰操作状态时，接收所述图像传感接口模块输出的图像数据，并对所述图像数据进行处理，以获得手指的指尖或者触控物的触控前端分别在2个图像传感单元图像平面中的位置坐标信息，并将所述位置坐标信息输出至所述指尖触碰判断模块； 所述指尖触碰判断模块，在进入指尖获取与触碰操作状态时，接收所述位置坐标信息，以及所述单应性矩阵；利用双目视差原理，计算指尖与所述第一图像传感单元和第二图像传感单元的距离，再通过所述第一图像传感单元和第二图像传感单元与投影面之间位置和姿态关系，计算获得投影面和指尖或其它触控物的触控前端间的距离。
4.根据权利要求3所述的人机交互系统，其特征在于，当投影面和指尖或其它触控物的触控前端间的距离小于预设第一门限值时，判断为触碰操作；当发生触碰操作时，所述指尖触碰判断模块还用于根据所述单应性矩阵，计算获得触碰点在原始投影的人机交互界面中的坐标位置，并输出指尖触碰信息。
5.根据权利要求2~4任一所述的人机交互系统,其特征在于， 所述投影界面处理单元包括界面处理模块和界面输入模块， 其中，所述界面输入模块，接收外部输入的人机交互界面信息数据，并输出至所述界面处理模块； 所述界面处理模块，接收所述界面输入模块输出的人机交互界面信息数据，接收所述系统可变外参数中的投影面与投影单元的相对位置与姿态参数，并对人机交互界面图像进行图像几何预失真处理，并输出至所述接口单元； 所述界面处理模块还用于从输入的人机交互界面信息中提取人机交互界面中的特征信息，并把该人机交互界面中特征信息输出至所述图像处理单元。
6.根据权利要求5所述的人机交互系统，其特征在于，还包括特征形变测量模块，其中， 所述控制单元，还用于协调人机交互系统进入手指尖粗定位状态或手指尖精细定位状态， 在人机交互系统进入手指尖粗定位状态时，所述控制单元控制选择所述第一图像传感单元和第二图像传感单元中的任何一个图像传感单元处于休眠状态或停止所述图像处理单元中所有模块针对该选择的图像传感单元采集图像的处理，或者选择所述第一图像传感单元和所述第二图像传感单元中距离所述投影单元最近的一个进入休眠状态或停止所述图像处理单元中所有模块针对该选择的图像传感单元采集图像的处理； 在人机交互系统进入手指尖精细定位状态时，所述控制单元控制所述第一图像传感单元和所述第二图像传感单元均处于正常工作状态或控制启动所述图像处理单元中所有模块针对所述第一图像传感单元和所述第二图像传感单元采集的图像均进行处理； 所述特征提取模块，在人机交互系统处于手指尖粗定位状态时，根据所述系统可变外参数计算获取投影单元与处于工作状态的所述图像传感单元之间的单应性矩阵，还将接收所述界面处理单元输出的人机交互界面中的特征信息，或者接收所述投影界面处理单元输出的要投影的人机交互界面图像，并通过所述特征提取模块提取该人机交互界面图像的特征信息；利用所述单应性矩阵，把该特征信息进行坐标转换，转换到处于工作状态的图像传感单元图像平面的坐标系中，获得对应由多个第一基本特征单元组成的特征信息；还用于获取处于工作状态的所述图像传感单元采集到的投影平面上的人机交互界面中的由多个第二基本特征单元组成的特征信息，所述特征提取模块在图像传感单元图像平面坐标系内或者在投影单元图像平面坐标系内针对所述第一基本特征单元组成的特征信息和所述第二基本特征单元组成的特征信息进行匹配，得到能够匹配的基本特征单元对，并将匹配结果输出至所述特征形 变测量模块； 所述特征形变测量模块，接收来自所述特征提取模块输出的特征信息匹配结果，针对所有匹配的基本特征单元对进行比较，分别计算-基本特征单元对之间的变化量，所述变化量至少包括基本特征单元对之间的形状变化量、或面积变化量、或是特征点位置坐标的偏移；还根据基本特征单元对之间的变化量，计算第二基本特征单元形变处的手指离投影平面的距离以及估算指尖出现在所述第一图像传感单元和所述第二图像传感单元的图像平面中的区域，当第二基本特征单元形变处的手指离投影面的距离小于预设第一门限值时，直接判断为触碰操作；如果该触碰的区域过大时，则把该可能触碰区域坐标输出至指尖获取模块得到精确的触碰坐标，否则，直接输出相应触碰区域坐标至指尖触碰判断模块，当第二基本特征单元形变处的手指离投影面的距离超过一预设第二门限值时，则后续不进行任何处理，若当计算特征形变处的手指离投影面的距离在所述第一和第二门限值之间时，则输出估算指尖在所述第一图像传感单元和所述第二图像传感单元的图像平面中出现的区域坐标至所述指尖获取模块；其中，预设第一门限小于预设第二门限值； 所述指尖获取模块，用于接收来自所述特征形变测量模块输出手指尖在所述第一图像传感单元和第二图像传感单元采集的人机交互界面图像中的可能出现区域，并仅在对应的2个区域内分别搜索指尖，然后输出该指尖分别在所述第一图像传感单元和第二图像传感单元采集的图像平面上的二维坐标输出至所述指尖触碰判断模块；所述指尖触碰判断模块，还用于接收来自所述特征形变测量模块输出的指尖触碰信息，所述指尖触碰信息包括精确的指尖触碰位置坐标信息和指尖触碰的区域位置信息；还用于在接收到来自特征形变测量模块输出的触碰操作，以及来自所述指尖获取模块输出的指尖在图像传感单元图像平面的指尖位置坐标时，利用双目视差原理，计算指尖与投影面距离，当距离小于预设第一门限值时，利用投影单元与所述第一图像传感单元和/或第二图像传感单元之间的单应性矩阵，计算获得指尖触碰原始投影的人机交互界面中的精确位置，并输出指尖触碰信息。
7.根据权利要求6所述的人机交互系统，其特征在于， 所述投影界面处理单元接收外部输入的人机交互界面的图形或图像信息，或者是同时包含已经从人机交互界面中提取出来的特征信息，该特征信息包括:基本特征单元的类型具有明显特征的点、线、面、文字或规则图形或图像，以及基本特征单元在人机界面图像中的位置信息； 所述界面处理模块还用于从人机交互信息中直接提取界面中的特征信息数据； 所述界面输入模块的人机交互界面信息还包括人机交互界面中的每个可点击区域的范围； 所述界面处理模块还提取人机交互界面中的每个可点击区域的范围，且输出至所述特征形变测量模块； 所述特征形变测量模块还接受来自所述界面处理模块的人机交互界面中的每个可点击区域的范围，在系统处于指尖粗定位状态时，根据所述每个可点击区域的范围判断估算的粗定位手指的位置范围是否在该范围之内，若为是，则可以直接输出触碰信息至所述指尖触碰判断模块；若为否，则输出估算的粗定位手指的位置范围至所述指尖获取模块，发送指尖触碰信号输出至所述指尖触碰判断模块。
8.根据权利要求7所述的人机交互系统，其特征在于， 所述界面处理模块还用于产生不同强度、不同色彩的图像输出至所述投影接口模块以及所述特征提取模块，用于获取投影色彩预失真处理函数；所述界面处理模块还用于接收系统外部输入的不同强度、不同色彩的图像输出至所述投影接口模块以及所述特征提取模块，用于获取投影色彩预失真处理函数；所述界面处理模块接收所述特征提取模块输出的投影色彩预失真处理函数f-1或查找表，所述界面处理模块还用于对输入的人机交互界面进行色彩失真预校正处理，以实现使得投影在投影面上的人机界面色彩不失真； 所述特征提取模块还用于接收所述界面处理模块输出的不同强度、不同色彩图像；还用于接收所述第一图像传感单元和第二图像传感单元采集的对应不同强度、不同色彩图像，并进行图像比对处理，获取系统要投影图像与在投影面上投影的图像间的差异分析，以获取投影面的光调制特性，并根据所述光调制特性得到投影色彩预失真处理函数f-1或查找表，所述特征提取模块将获取的投影预失真处理函数f-1或者查找表输出至所述投影界面处理模块。
9.根据权利要求8所述的人机交互系统，其特征在于， 所述控制单元，还用于定时启动所述特征提取模块获取系统可变外参数，即获得投影面相对系统的相对位置和姿态信息； 所述特征提取模块，还用于比较当前获取的系统可变外参数与此前获取的可变外参数，若当前获取的系统可变外参数与此前获取的可变外参数不同时，将变化后的系统可变外参数再次输出至所述界面处理模块，还用于重新计算投影单元与所述第一和第二图像传感单元之间的单应性矩阵，并输出至指尖触碰判断模块。
10.一种利用权利要求1-9中任一项所述的人机交互系统进行人机交互的方法，其特征在于，包括步骤: S1:对人机交互系统的初始校正，获取系统固有内、外参数； S2:获取系统可变外参数，并通过所述系统可变外参数和系统固有外参数，计算投影单元分别与所述第一图像传感单元和第二图像传感单元之间的单应性矩阵； S3:通过指尖获取模块精细获取指尖在所述第一图像传感单元和第二图像传感单元采集图像平面上的位置坐标以及计算指尖相对投影平面的距离，并由特征提取单元在接收来自所述第一图像传感单元和第二图像传感单元采集的图像中搜索指尖，并将获取的指尖在所述第一图像传感单元和第二图像传感单元图像平面中的位置坐标输出至指尖触碰判断模块； 54:由所述指尖触碰判断模块根据接收指尖分别在所述第一图像传感单元和第二图像传感单元平面中的位置坐标，利用双目视差原理，计算指尖相对图像传感单元的位置关系，继而根据系统可变外参数计算出图像传感单元与投影平面的相对位置与姿态，计算获得指尖与投影平面间的距离， 如果所述指尖与投影平面间的距离小于预设第一门限值，则判断发生触碰操作，进入步骤S5 ;否则，返回步骤 S3 ； 55:进行触碰信息输出，根据触碰点在第一和/或第二图像传感单元图像平面的坐标，并结合投影单元分别与所述第一图像传感单元和/或第二图像传感单元之间的单应性矩阵，计算获得该触碰点在人机交互界面坐标系中的准确位置坐标，然后输出。
11.根据权利要求10所述的方法，其特征在于，所述步骤S3进一步包括: S31:控制单元控制人机交互系统进入手指尖粗定位状态，选择系统中所述第一图像传感单元和第二图像传感单元中的任何一个图像传感单元处于休眠状态或停止所述图像处理单元中所有模块针对该选择的图像传感单元采集图像的处理，或者选择所述第一图像传感单元和所述第二图像传感单元中距离所述投影单元最近的一个进入休眠状态或停止所述图像处理单元中所有模块针对该选择的图像传感单元采集图像的处理，进而利用所述特征提取模块获取若干由第一基本特征单元和第二基本特征单元匹配的基本特征单元对，再利用所述特征形变测量模块计算获取基本特征单元对之间的变化量，进行粗判断手指尖出现在选择工作的图像传感单元采集图像中的可能区域位置，具体包括: 当第二基本特征单元形变处的手指离投影面的距离小于预设第一门限值时，判断为触碰操作；如果触碰区域过大，则将该触碰区域坐标输出至指尖获取模块，得到精确的触碰坐标；否则，直接输出相应触碰区域位置坐标至指尖触碰判断模块，进入步骤S5 ； 当第二基本特征单元形变处的手指离投影面的距离大于预设第二门限值时，判断为未触碰操作，则后续不进行任何处理，则返回步骤S31 ； 当第二基本特征单元形变处的手指离投影面的距离在在所述第一和第二门限值之间时，则输出估算指尖在所述第一图像传感单元和第二图像传感单元的图像平面中出现的区域坐标至指尖获取模块，进入步骤S32 ；S32，根据步骤S31得出的手指的粗定位区域，进行指尖的精确搜索，该步骤由指尖获取模块在接收来自所述第一图像传感单元和第二图像传感单元采集的图像中手指粗定位的区域内搜索指尖，并把获取指尖在所述第一图像传感单元和第二图像传感单元图像平面中的位置坐标输出至指尖触碰判断模块，然后进入步骤S4。
12.根据权利要求10或11所述的方法，其特征在于， 所述步骤S2进一步包括扫描获取投影平面的投影色彩预失真参数，以及完成色彩预失真校正。
13.根据权利要求10或11所述的方法，其特征在于， 所述步骤S2进一步包括定时启动特征提取模块获取系统可变外参数: 即获得投影平面相对系统的相对位置和姿态信息，当发现其相对位置和姿态发生变化时，重新计算所述第一图像传感单元和第二图像传感单元与投影单元之间的单应性矩阵，并将变化后的系统可变参数再次输出至界面处理模块，所述界面处理模块更新系统可变参数，并基于所述变化后的系统可变参数进行投影形状预示真处理，以实现对投影平面实时的跟踪 。
【文档编号】G06F3/0487GK103809880SQ201410062551
【公开日】2014年5月21日 申请日期:2014年2月24日 优先权日:2014年2月24日
【发明者】谢翔, 郑毅, 李国林, 宋玮, 吕众, 任力飞, 廖一桥, 王志华 申请人:清华大学