投影触摸板中用户手指参数的获取方法和系统与流程

本发明涉及人机交互领域，特别涉及一种投影触摸板中用户手指参数的获取方法和系统。

背景技术：

从计算机发明至今，人和机器如何更加自然、更加方便的交互一直是人们在探索的热点方向。传统的人机交互方式比如键盘，鼠标等，是利用外接硬件设备，与机器进行交互。

随着人机交互技术和终端设备的发展，便携式智能设备成为了人们生活中必不可少的产品，比如智能手机，平板电脑等。因智能设备对便携性的要求，导致设备越做越小，传统的人机交互方式不够便携，已经不能适合如今的交互场景，很多种新型的交互方式被应用到各种便携式智能设备上，比如触摸屏，手势和语音等。

但是现有的人机交互技术也存在相应的缺陷，比如在触摸屏越来越小的设备上，交互界面也越来越小，触摸屏的交互技术就无法实现。另一方面，手势交互如今只能实现比较简单的交互方式，而语音交互在嘈杂环境下方法的鲁棒性不好，也不利于保护隐私。因此，新的便携的人机交互技术的研发迫在眉睫。

技术实现要素：

本发明提供一种投影触摸板中用户手指参数的获取方法和系统，增大了人机交互的交互界面，可以基于图像快速获得的用户手指参数，实时追踪用户手指的位置和轨迹，进而解决用户在投影触摸板上操控光标的问题。

本发明提供一种投影触摸板中用户手指参数的获取方法，用户手指参数为触碰判断点pi的三维坐标(xpi,ypi,hpi)，该方法包括：

步骤a-1：拍摄投影平面的当前图像，投影平面同时为颜色编码结构光和触摸板的投影平面，对当前图像的俯视图和对比图像做差值运算得到差值图像，对比图像为用户手指未进入投影平面时投影平面的俯视图，判断差值图像中是否包含用户手指轮廓，如果是执行步骤a-2；

步骤a-2：提取差值图像中的用户手指轮廓，解码用户手指轮廓上每个点在差值图像上的二维坐标，根据用户手指轮廓及其二维坐标，确定用户手指轮廓的主方向和指腹宽度a；

步骤a-3：根据主方向，确定用户手指轮廓最远端的指尖点pf，令经过指尖点pf的主方向上的直线为用户手指轮廓的平面中轴线，取平面中轴线上的n个点为参考点，基于颜色编码结构光三维坐标测量原理，计算差值图像中pf和n个参考点的三维坐标；

步骤a-4：根据n个参考点和pf的三维坐标，利用最小二乘法用计算用户手指的俯仰角根据计算当前pi的高度pi和pf在平面中轴线上的距离根据pf的二维坐标、dp以及平面中轴线得到pi的xpi和ypi。。

本发明还提供一种投影触摸板中用户手指参数的获取系统，用户手指参数为触碰判断点pi的三维坐标(xpi,ypi,hpi)，该系统包括：

拍摄模块：拍摄投影平面的当前图像，投影平面同时为颜色编码结构光和触摸板的投影平面，对当前图像的俯视图和对比图像做差值运算得到差值图像，对比图像为用户手指未进入投影平面时投影平面的俯视图，判断差值图像中是否包含用户手指轮廓，如果是执行轮廓解码和分析模块；

轮廓解码和分析模块：提取差值图像中的用户手指轮廓，解码用户手指轮廓上每个点在差值图像上的二维坐标，根据用户手指轮廓及其二维坐标，确定用户手指轮廓的主方向和指腹宽度a；

轮廓分析模块2：根据主方向，确定用户手指轮廓最远端的指尖点pf，令经过指尖点pf的主方向上的直线为用户手指轮廓的平面中轴线，取平面中轴线上的n个点为参考点，基于颜色编码结构光三维坐标测量原理，计算差值图像中pf和n个参考点的三维坐标；

用户手指参数计算模块：根据n个参考点和pf的三维坐标，利用最小二乘法用计算用户手指的俯仰角根据计算当前pi的高度pi和pf在平面中轴线上的距离根据pf的二维坐标、dp以及平面中轴线得到pi的xpi和ypi。

本申请基于小型化的颜色编码结构光三维坐标测量系统，只需测量pi的三维坐标，即可快速判断用户手指是否与投影平面发生触碰，实时追踪pi的位置和轨迹，即可获取用户手指操作光标的动作，解决了投影触摸板上用户如何操控光标的问题。此外，本发明采用投影触摸板的交互方式操控光标，增大了人机交互的交互界面，不受触摸屏的大小限制，设备小型化，可满足便捷的人机交互的需求。

附图说明

图1为本发明颜色编码结构光的示意图；

图2为颜色编码结构光三维坐标测量原理图；

图3为本发明手指模型结构图；

图4为本发明投影触摸板中用户手指参数的获取方法实施例；

图5为本发明用户手指进入投影平面时的拍摄图像的俯视图；

图6为本发明二值化差值图像示意图；

图7为图6的用户手指轮廓上最长的两条直线的示意图；

图8本发明投影触摸板中用户手指参数的获取系统实施例。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

利用光的颜色信息进行三维测量是一种新的光学测量方法。对结构光图像进行彩色编码，当编码图像投影到被测物体表面时，由于受到物体表面高度的调制，编码图像发生形变，通过对变形的编码图像进行解码和计算，可以获得物理表面的高度信息。

颜色编码结构光测量系统，包括投影仪和摄像头，其中投影仪投影颜色编码结构光，摄像头拍摄被测物体在颜色编码结构光下的图像。使用张正友标定法对投影仪和摄像头进行标定，以获得摄像头和投影仪的内外参数以及两者之间的空间位置关系。标定后的颜色编码结构光测量系统即可用于物体的三维测量，测量精度可以达到像素级别。

图1为本发明使用的颜色编码结构光，包括两种颜色，紫红色和青色，采用debruijn编码。选择这两种的原因在于，青色(对应图1中的灰色)和紫红色(对应图1中的黑色)在摄像头蓝色通道数值都很大，两者色度相差明显，而且这两种颜色与人皮肤的颜色相差较大，容易提取。利用debruijn对颜色结构光进行编码，两种颜色分别表示0和1，每8条为一个周期，周期内编码为11101000，利用连续三条编码就可以判断任一编码在一个周期中的位置。

摄像头拍摄图像后，对摄像头拍摄的图像以像素矩阵的形式保存为3通道rgb图像，对于每一帧图像选取其中的b通道的数值，对b通道的数值进行二值化处理，可以清晰显现条纹位置。再将rgb格式图像转化为hsv格式图像，利用hsv图像中的色度通道中的数值大小，判断条纹颜色，根据条纹颜色解码图像，即利用连续三条条纹的颜色能判断其在一个周期中的位置，比较基于每个像素点所在的横竖条纹位置，解码获得每个像素点的编号，再根据像素点在在摄像头数字图像坐标中位置获得该像素点的当前二维平面坐标。

图2为颜色编码结构光三维坐标测量原理图，在图2中ol和or是摄像头和投影仪的光心，ol和or的连线是基线，两个平面分别是摄像头和投影仪的成像平面，el和er分别是是ol在投影仪成像平面上的投影点和or在摄像头成像平面上的投影点。根据摄像头拍摄图像确定像素点pl的在摄像头数字图像坐标中的位置和像素点编号，pl是被测点p的成像点，根据pl的像素点编号确定该像素点编号在投影数字图像坐标的位置pr，进而得到两条从ol和or发出射线，olpl和orpr，两条射线在世界坐标系下的交点就是p点，由olpl和orpr直线方程求出其交点p点的三维坐标。

本发明，基于以上原理，测量用户手指在颜色编码结构光投影平面的三维信息。

为了快速判断用户手指与投影平面的相对位置，本发明提出了用户手指参数，具体为触碰判断点pi。其中，pi选择依据为本申请设定的手指模型。

如图3所示，手指模型为一个椭圆柱和一个四分之一球的组合结构，椭圆柱代表指腹，椭圆柱的横截面为椭圆，四分之一球代表指尖，两个几何体中间平滑连接。令椭圆的长轴(指腹宽度)为a，则椭圆的短轴为0.75a，四分之一球的半径0.5a。pi点对应于手指模型中指尖的圆心。由图3的第3个图可知，无论指尖何处与投影平面触碰，触碰点与pi的垂直距离都为四分之一球的半径0.5a，因此当测量得到pi点的高度hpi>0.5a(以投影平面为基准平面)时，则可判定用户手指未与投影平面触碰，反之，则用户手指处于触碰状态。

选取pi作为用户手指参数，极大了的减少定位用户手指所需计算量，节省处理时间，适合用于投影触摸板的实时监测。

本申请实时计算pi三维坐标，即可实时追踪用户手指的位置和轨迹，进而获取用户手指操作光标的动作，解决投影触摸板上用户如何操控光标的问题。

手指和光标的对应关系主要受两种运动的影响，一种是手指的移动，一种是手指姿态的变化。而当手指移动和姿态上的变化时，pi都会跟随之变化，因此完全可以选用pi代替用户手指与光标建立对应关系，只需要追踪pi的位置，即可对应获得用户对光标对应的操作。

例如：鼠标单击的判断条件可设置为：触碰一下，hpi≤0.5a的持续时间小于0.2秒，hpi≤0.5a时pi连续位移距离小于5mm，则判定为单击操作。

鼠标双击的判断条件可设置为：连续鼠标单击两次，两次鼠标单击操作时间小于0.5秒，两次鼠标单击时pi连续位移距离小于1.5cm，判定为双击操作。

鼠标拖拽的判断条件可设置为：显示界面上鼠标处于可拖拽部位，进行触碰后手指一直处于触碰状态，连续多帧发生位移，追踪pi轨迹，其轨迹对应光标的拖拽轨迹，在连续触碰后的第一帧未触碰时释放拖拽操作。

基于以上颜色编码结构光测量三维坐标的原理和pi的定义，图4给出了本发明投影触摸板中用户手指参数的获取方法的流程图，其中用户手指参数为触碰判断点pi的三维坐标(xpi,ypi,hpi)，该方法包括以下步骤：

步骤a-1(s101)：拍摄投影平面的当前图像，投影平面同时为颜色编码结构光和触摸板的投影平面，对当前图像的俯视图和对比图像做差值运算得到差值图像，对比图像为用户手指未进入投影平面时投影平面的俯视图，判断差值图像中是否包含用户手指轮廓，如果是执行步骤a-2。

需要说明是，在步骤a-1之前，颜色编码结构光三维测量系统已经过定标。

本发明利用已经标定过的投影仪和摄像头计算得到的单应性矩阵，将摄像头拍摄的当前图像和对比图像投影成对应的俯视图。将当前图像转换为俯视图后，解码俯视图得到的像素点的二维坐标，即对应像素点在投影平面上的二维坐标。

进一步地，对当前图像的俯视图和对比图像的做差值运算得到差值图像，具体包括：将当前图像的俯视图转换为对应像素点的第一二维矩阵，将对比图像转换为对应像素点的第二二维矩阵，对第一二维矩阵和所述第二二维矩阵做差值运算得到差值图像的第三二维矩阵，将第三二维矩阵转换为差值图像。

差值图像如图5所示，如果用户手指进入投影平面，则可以观测到明显的用户手指形变区。

进一步地，可以基于形变区轮廓与用户手指轮廓的相似度判断用户手指是否进入投影平面。

或者，获取差值图像中形变区的面积，如果形变区的面积与投影平面的面积的比值超过预设值，如0.1％，则判定差值图像中包含用户手指轮廓。

步骤a-2(s102)：提取差值图像中的用户手指轮廓，解码用户手指轮廓上每个点在差值图像上的二维坐标，根据用户手指轮廓及其二维坐标，确定用户手指的主方向和指腹宽度a。

其中，提取差值图像中的用户手指轮廓包括：在第三二维矩阵上选取预设大小的窗口，计算窗口内所有像素点的像素均值作为阈值，将第三二维矩阵上大于阈值的像素点的像素值修改为预设像素最大值，将第三二维矩阵上小于等于阈值的像素点的像素值修改为预设像素最小值，将所述修改后的第三二维矩阵转换为二值化差值图像，基于二值化差值图像提取出用户手指轮廓。

例如，将预设像素最大值设为白色的像素值，将预设像素最小值设为黑色的像素值，经过二值化处理，可以得到如图6所示的二值化差值图像。

步骤a-3(s103)：根据主方向，确定用户手指轮廓最远端的指尖点pf，令经过指尖点pf的主方向上的直线为用户手指的平面中轴线，取平面中轴线上的n(n>1)个点为参考点，基于颜色编码结构光三维坐标测量原理，计算差值图像中pf和n个参考点的三维坐标。

其中，根据用户手指轮廓及其二维坐标，确定用户手指的主方向和指腹宽度a包括：利用霍夫变换找到用户手指轮廓上最长的两条直线，如图7所示，取两条直线夹角的角平分线方向为用户手指的主方向，取两条直线之间距离的平均值为用户手指的指腹宽度a，相应地可得指尖模型的半径为0.5a。

步骤a-4(s104)：基于n个参考点和pf的三维坐标，利用最小二乘法用计算用户手指的俯仰角

其中，lk为参考点k在差值图像上与pf的距离，可以通过差值图像获取，也可通过各点的x、y坐标值计算得到，hk为参考点k距离投影平面的高度。

根据俯仰角计算当前pi高度和差值图像(投影平面)上，pi和pf在平面中轴线上的距离根据pf的二维坐标和dp以及平面中轴线得到pi的xpi和ypi。

在本发明，步骤a-4还可以替换为步骤b-4：

步骤b-4：根据pf和n个参考点的三维坐标，拟合立体中轴线，平移立体中轴线使得pf处于立体中轴线上，pi为立体中轴线上与pf相距0.5a的点。

在本发明中，立体中轴线的拟合采用最小二乘法，也可以采用其他拟合算法，本发明对此不做限制

如图8所示，本发明还包括一种投影触摸板中用户手指参数的获取系统，

该系统包括：

拍摄模块：拍摄投影平面的当前图像，投影平面同时为颜色编码结构光和触摸板的投影平面，对当前图像的俯视图和对比图像做差值运算得到差值图像，对比图像为用户手指未进入投影平面时投影平面的俯视图，判断差值图像中是否包含用户手指轮廓，如果是执行轮廓解码和分析模块；

轮廓解码和分析模块：提取所述差值图像中的用户手指轮廓，解码用户手指轮廓上每个点在差值图像上的二维坐标，根据用户手指轮廓及其二维坐标，确定用户手指轮廓的主方向和指腹宽度a；

轮廓分析模块2：根据主方向，确定用户手指轮廓最远端的指尖点pf，令经过指尖点pf的主方向上的直线为用户手指轮廓的平面中轴线，取平面中轴线上的n个点为参考点，基于颜色编码结构光三维坐标测量原理，计算差值图像中pf和n个参考点的三维坐标；

用户手指参数计算模块：根据n个参考点和pf的三维坐标，利用最小二乘法用计算用户手指的俯仰角根据计算当前pi的高度pi和pf在平面中轴线上的距离根据pf的二维坐标、dp以及平面中轴线得到pi的xpi和ypi。

进一步地，用户手指参数计算模块的内容可替换为用户手指参数计算模块2。

用户手指参数计算模块2：根据pf和n个参考点的三维坐标，拟合立体中轴线，平移立体中轴线使得pf处于立体中轴线上，pi为立体中轴线上与pf相距0.5a的点。

进一步地，在拍摄模块中，对当前图像的俯视图和对比图像的做差值运算得到差值图像包括：将当前图像的俯视图转换为对应像素点的第一二维矩阵，将对比图像转换为对应像素点的第二二维矩阵，对第一二维矩阵和第二二维矩阵做差值运算得到差值图像的第三二维矩阵，将第三二维矩阵转换为所述差值图像。

进一步地，在拍摄模块中，判断差值图像中是否包含用户手指轮廓包括：获取差值图像中形变区的面积，如果形变区的面积与投影平面的面积的比值超过预设值，则判定所述差值图像中包含用户手指轮廓。

进一步地，在轮廓解码和分析模块中，提取所述差值图像中的用户手指轮廓包括：

在第三二维矩阵上选取预设大小的窗口，计算窗口内所有像素点的像素均值作为阈值，将第三二维矩阵上大于阈值的像素点的像素值修改为预设像素最大值，将第三二维矩阵上小于等于阈值的像素点的像素值修改为预设像素最小值，将修改后的第三二维矩阵转换为二值化差值图像，基于二值化差值图像提取出用户手指轮廓。

进一步地，轮廓解码和分析模块中，根据用户手指轮廓及其二维坐标，确定用户手指的主方向和指腹宽度a包括：

利用霍夫变换找到所述用户手指轮廓上最长的两条直线，取两条直线夹角的角平分线方向为用户手指的主方向，取两条直线之间距离的平均值为用户手指的指腹宽度a。

本申请的颜色编码结构光测量装置可以采用小型化设计，既可以安装在现有的移动智能终端中，也可以设计为独立的可扩展设备。

需要说明的是，本发明的投影触摸板中用户手指参数的获取系统的实施例，与投影触摸板中用户手指参数的获取方法的实施例原理相同，相关之处可以互相参照。

本申请基于小型化的颜色编码结构光三维坐标测量系统，只需测量pi的三维坐标，即可快速判断用户手指是否与投影平面发生触碰，实时追踪pi的位置和轨迹，即可获取用户手指操作光标的动作，解决了投影触摸板上用户如何操控光标的问题。此外，本发明采用投影触摸板的交互方式操控光标，增大了人机交互的交互界面，不受触摸屏的大小限制，设备小型化，可满足便捷的人机交互的需求。

以上所述仅为本发明的较佳实施例而已，并不用以限定本发明的包含范围，凡在本发明技术方案的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。