交互投影方法及装置与流程

本发明属于图像处理技术领域，尤其涉及一种交互投影方法及装置。

背景技术：

投影—摄像机触控系统投射计算机显示画面到任意平面并允许用户通过徒手来操控计算机。它为用户提供了一种使用手指与计算机进行生动自然的交互的方式，比如点击虚拟的键盘、拖动对象、打开文件、翻动网页等。

现有的投影—摄像机触控系统有很多种类，例如，深度相机投影交互、结构光投影交互，以及红外投影交互等。深度相机投影交互方式通过一个深度相机从周围场景中提取手部区域用于识别手势来实现。结构光投影交互方式基于一种指尖局部投影自适应编码方法实现，且需要高速摄像机。由此可见，现有技术实现投影—摄像机触控系统存在设备结构复杂及实现成本高的问题。

技术实现要素：

有鉴于此，本发明实施例提供了一种交互投影方法及装置，以解决现有技术中设备结构复杂及实现成本高的问题。

本发明实施例的第一方面，提供了一种交互投影方法，包括：

依据投射画面预测得出第一投影图像，并根据所述第一投影图像和摄像机捕获到的所述投射画面的第二投影图像提取手部前景及所述手部阴影；

从所述手部前景及所述手部阴影中，获取指尖和所述指尖阴影的位置；

根据所述指尖和所述指尖阴影的位置进行触控判定。

本发明实施例的第二方面，提供了一种交互投影装置，包括：

提取模块，用于依据投射画面预测得出第一投影图像，并根据所述第一投影图像和摄像机捕获到的所述投射画面的第二投影图像提取手部前景及所述手部阴影；

位置获取模块，用于从所述手部前景及所述手部阴影中，获取指尖和所述指尖阴影的位置；

判定模块，用于根据所述指尖和所述指尖阴影的位置进行触控判定。

本发明实施例相对于现有技术所具有的有益效果：依据投射画面预测得出第一投影图像，并根据所述第一投影图像和摄像机捕获到的所述投射画面的第二投影图像提取手部前景及所述手部阴影，从所述手部前景及所述手部阴影中，获取指尖和所述指尖阴影的位置，根据所述指尖和所述指尖阴影的位置进行触控判定，本发明实施例利用单个普通摄像机即可实现用于交互的手部动作提取与触控判定，设备结构简单，操作容易实现，且不需要昂贵的深度摄像机或高速摄像机，可实现低成本的徒手人机交互。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的交互投影方法的流程图；

图2是本发明实施例一提供的依据投射画面预测得出第一投影图像的流程图；

图3是本发明实施例一提供的对摄像机进行几何校正的流程图；

图4是本发明实施例一提供的获取指尖位置的流程图；

图5是本发明实施例二提供的交互投影装置的结构框图；

图6是本发明实施例二提供的提取模块的结构框图；

图7是本发明实施例二提供的判定模块的结构框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

图1示出了本发明实施例一提供的交互投影方法的实现流程，详述如下：

步骤S101，依据投射画面预测得出第一投影图像，并根据所述第一投影图像和摄像机捕获到的所述投射画面的第二投影图像提取手部前景及所述手部阴影。

其中，投射画面为将要投射到投影屏幕上的画面。第一投影图像可以通过投射画面预测到，而预测第一投影图像需要对摄像机做几何校正和色度校正。参见图2，一个实施例中，所述依据投射画面预测得出第一投影图像具体可以包括以下步骤：

步骤S201，对摄像机进行几何校正，以获取摄像机视点和投射画面中对应像素点之间的位置关系。

参见图3，一个实施例中，步骤S201中所述的对摄像机做几何校正具体可以通过以下过程实现：

步骤S301，加载棋盘格图像，并将棋盘格图像投射到投影屏幕。

其中，为后续表述方便，在此设定投射到投影屏幕的输入图像上棋盘格的角点为第一角点。本实施例中，可以将棋盘格图像加载到投影机上，并通过投影机将棋盘格图像投射到投影屏幕上，但并不以此为限。

步骤S302，通过摄像机捕获投影屏幕图像，并探测摄像机捕获到的投影屏幕图像上棋盘格的第二角点。

可以理解的，在步骤S301中将棋盘格图像投射到投影屏幕以后，可以通过摄像机捕获投影屏幕图像。在捕获到投影屏幕图像以后，对捕获到的投影屏幕图像上棋盘格的第二角点进行探测。

本实施例中，对捕获到的投影屏幕图像上棋盘格的第二角点进行探测的方法可以包括：

将RGB图像转换为灰度图像，并检测灰度图像的边缘。

通过Hough转换探测边缘图像的直线。其中，Hough变换是一种使用表决原理的参数估计技术，其原理是利用图像空间和Hough参数空间的点-线对偶性，把图像空间中的检测问题转换到参数空间。通过在参数空间里进行简单的累加统计，然后在Hough参数空间寻找累加器峰值的方法检测直线。Hough变换的实质是将图像空间内具有一定关系的像元进行聚类，寻找能把这些像元用某一解析形式联系起来的参数空间累积对应点。

根据探测出的所述直线拟合出四边形，拟合出的四边形的角点即为第二角点。本实施例中，也可以根据投影屏幕图像拟合出N边形，N为大于或等于3的整数。即，可以根据投影屏幕图像及实际需要，拟合出三边形、四边形、五边形等。通常情况下，投影屏幕图像为四边形，因此本实施例中根据探测出的所述直线拟合为四边形，拟合出的四边形的顶点即为步骤S302中所述的第二角点。

步骤S303，根据所述第一角点与所述第二角点的位置关系，得出投影屏幕图像和投射输入图像的单应性矩阵。

本实施例中，根据第一角点和第二角点的位置关系，建立一个能够反映投影屏幕图像和投射输入图像之间位置关系的单应性矩阵，以对摄像机捕获的图像。可选的，单应性矩阵为3×3的单应性矩阵，但并不以此为限。

步骤S304，通过所述单应性矩阵对摄像机进行校正。

本步骤中，通过步骤S303中计算出的能够反映投影屏幕图像和投射输入图像之间位置关系的单应性矩阵，对摄像机捕获的图像进行几何校正，以获取摄像机视点和输入投影图像下对应像素点之间的位置关系。

步骤S202，采用经过所述几何校正的摄像机捕获所述投射画面。

本步骤中，将投射画面投射到投影屏幕上以后，采用步骤S201中经过几何校正后的摄像机捕获，得到投影图像。

步骤S203，对经过所述几何校正的摄像机捕获到的投射画面进行色度校正，得到所述第一投影图像。

本步骤中，需要对摄像机捕获到的投射画面进行色度校正。可选的，所述对经过所述几何校正的摄像机捕获到的投射画面进行色度校正的具体过程可以为：

通过色度校正模型

P＝A(VI+F)

对经过所述几何校正的摄像机捕获到的投射画面进行色度校正；

其中，

矩阵P为预测手部投影图像的像素，即第一投影图像的像素；矩阵I为投影输入图像的像素，即投射画面的像素；矩阵A为投影屏幕反射率，投影屏幕为投射画面投射到的投影屏幕；向量F为环境光的影响因素；矩阵V为颜色混合矩阵，表征颜色通道间的相互关系。本实施例中，通过投射纯黑色的画面来计算AF；通过投射纯红、纯绿和纯蓝画面来计算AV。

得到预测图像(即第一投影图像)以后，手部前景及手部阴影可以通过预测图像及摄像机捕获到的第一投影图像之间的差别来提取出来。具体的，如果图像被直接投射在屏幕上，摄像机捕获的图像I应当与预测图像P相同；如果在投影屏前有一只手，则投影屏幕的投射画面反射率会发生改变。像素[x,y]的反射率变化可以通过反射比a[x,y]计算得到：

其中，I_g是图像I的灰度图像，I_g[x,y]是像素[x,y]在图像I_g中的灰度值。P_g是图像的P的灰度图像，P_g[x,y]是像素[x,y]在图像P_g中的灰度值。

如果没有前置物体，投影屏幕的反射率a[x,y]应当接近于1。如果像素[x,y]满足a[x,y]<1-s或者a[x,y]>1+s，则该像素点属于手部前景及手部阴影。其中，s是反射率容错率，通常取值0.5至0.8。如果像素[x,y]不属于手部前景及手部阴影，则设置像素[x,y]的灰度等级为255。

步骤S102，从所述手部前景及所述手部前景的阴影中，获取指尖和所述指尖阴影的位置。

其中，步骤S101中已经从摄像机捕获的图像中提取了手部前景和手部阴影图像，本步骤中则是要从手部前景和手部阴影图像中检测出指尖及指尖阴影的位置关系，以用来判定是否触控。本步骤中，首先应将指尖前景与指尖阴影分离开来。从提取图像的直方图中找出一个分离阈值，分离阈值是排除255灰度等级中像素数最小的灰度值。

参见图4，一个实施例中，获取指尖位置的过程包括：

步骤S401，对提取出的手部前景图像进行二值化处理，并提取经过二值化处理的手部前景图像的轮廓图像。

步骤S402，以所述轮廓图像的像素点为中心，构建多个面罩。

步骤S403，遍历所述轮廓图像的轮廓点，计算各个所述面罩内包含手部区域像素的个数。

步骤S404，将包含手部区域像素的个数最少的面罩对应的轮廓点作为指尖。具体的，在当前面罩内部手部像素的个数比前一面罩内部手部像素的个数少时，采用当前面罩取代前一面罩作为优选值，遍历所述轮廓图像的轮廓点，将遍历到的最优值的轮廓点作为指尖，进行触控判定。

本实施例中仅示出了获取指尖位置的一个实现方式，在其他实施例中还可以通过其他方式实现。例如，计算图像轮廓每个像素点的曲率来识别指尖，寻找曲率最大的点作为指尖。

在大多情况下投影图案亮度的映照下，可以提取出手部的阴影用于交互。然而，当投影输入图像的亮度不足时，例如，当纯黑的图像投射在屏幕上，屏幕上将观察不到手部阴影。因此，需要对光线进行补偿来增强用于交互的手部阴影。作为一种可实施方式，补偿光增强阴影可以通过以下过程实现：

首先，找到摄像机获取图像中指尖的位置。

然后，将摄像机捕获图像中指尖位置直接通过几何校正关系映射到投影图像中。

最后，在投影图像中生成一个正方形的高亮区域来增强手部的阴影。其中，高亮区域的中心是指尖像素位置。为了处理方便，正方形区域的红色通道灰度值设置为最高值255用来亮度增强。方形区域中的绿色和蓝色通道灰度值保持不变。

步骤S103，根据所述指尖和所述指尖阴影的位置进行触控判定。

本实施例中，通过公式

进行触控判定。其中，DT_touch(f)是摄像机获取视频第f帧图像的触摸判定因子。D_tip-shadow是指尖与其阴影的距离；D_threhold是指尖与其阴影的阈值距离；这里设定D_threhold＝W_finger；W_finger是指尖宽度，为了计算方便这里所指的指尖宽度为水平方向的宽度，W_shadow是手指阴影的水平方向宽度。α可以取值十分之一到1之间的任意数值，优选为三分之一；β可以取值十分之一到1之间的任意数值，优选为四分之一。当DT_touch(f)＝1时,说明手指正在触碰到投影显示屏幕；当DT_touch(f)＝0时，说明手指没有触碰到投影屏幕。

对于第f帧图像，如果指尖与其阴影之间的距离D_tip-shadow小于或等于阈值距离D_threhold,并且水平手指宽度W_finger的三分之一大于等于手指阴影水平宽度W_shadow，那么在投影屏上没有触碰动作。当手指完全与投影屏幕接触，比如，在屏幕上手指有一个滑动的动作，此时指尖与它的阴影完全融合。那么在上一帧指尖应当与投影屏幕接触到，并且手指阴影水平宽度W_shadow比手指水平宽度W_finger小。这里，设置作为一个接触判定的条件。如果指尖与它的阴影不满足前述两个条件，那么判定为在投影屏幕上将没有触碰动作发生。

上述交互投影方法，依据投射画面预测得出第一投影图像，并根据所述第一投影图像和摄像机捕获到的所述投射画面的第二投影图像提取手部前景及所述手部阴影，从所述手部前景及所述手部阴影中，获取指尖和所述指尖阴影的位置，根据所述指尖和所述指尖阴影的位置进行触控判定，利用单个摄像头即可实现用于交互的手部动作提取与触控判定，且通过几何校正和色度校正，可以适应更加复杂的光照环境，鲁棒性强，不需要昂贵的深度摄像机或高分辨率CCD摄像头，可实现低成本的徒手人机交互。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

实施例二：

对应于上文实施例所述的交互投影方法，图5示出了本发明实施例提供的交互投影装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分。

参照图5，该装置包括提取模块501、位置获取模块502和判定模块503。其中：

提取模块501，用于依据投射画面预测得出第一投影图像，并根据所述第一投影图像和摄像机捕获到的所述投射画面的第二投影图像提取手部前景及所述手部阴影；

位置获取模块502，用于从所述手部前景及所述手部阴影中，获取指尖和所述指尖阴影的位置；

判定模块503，用于根据所述指尖和所述指尖阴影的位置进行触控判定。

参见图6，优选的，所述提取模块501可以包括：几何校正单元601、色度校正单元602和预测单元603。其中：

几何校正单元601，用于对摄像机进行几何校正，以获取摄像机视点和投射画面中对应像素点之间的位置关系；

色度校正单元602，用于采用经过所述几何校正的摄像机捕获所述投射画面；

预测单元603，用于对经过所述几何校正的摄像机捕获到的投射画面进行色度校正，得到所述第一投影图像。

较佳的，所述几何校正601单元具体用于：

加载棋盘格图像，并将棋盘格图像投射到投影屏幕；其中，投射到投影屏幕的输入图像上棋盘格的角点为第一角点；

通过摄像机捕获投影屏幕图像，并探测摄像机捕获到的投影屏幕图像上棋盘格的第二角点；

根据所述第一角点与所述第二角点的位置关系，得出投影屏幕图像和所述输入图像的单应性矩阵；

通过所述单应性矩阵对摄像机进行校正。

进一步的，所述灰度校正单元602具体用于：

通过色度校正模型

P＝A(VI+F)

对经过所述几何校正的摄像机捕获到的投射画面进行色度校正；

其中，

矩阵P为第一投影图像的像素；矩阵I为投影输入图像的像素；矩阵A为投影屏幕反射率；向量F为环境光的影响因素；矩阵V为颜色混合矩阵，表征颜色通道间的相互关系。

参见图7，优选的，所述判定模块503可以包括：二值化单元701、构建单元702、计算单元703和触控判定单元704。其中：

二值化单元701，用于对提取出的手部前景图像进行二值化处理，并提取经过二值化处理的手部前景图像的轮廓图像；

构建单元702，用于以所述轮廓图像的像素点为中心，构建多个面罩；

计算单元703，用于遍历所述轮廓图像的轮廓点，计算各个所述面罩内包含手部区域像素的个数；

触控判定单元704，将包含手部区域像素的个数最少的面罩对应的轮廓点作为指尖。具体的，触控判定单元704用于在当前面罩内部手部像素的个数比前一面罩内部手部像素的个数少时，采用当前面罩取代前一面罩作为优选值，遍历所述轮廓图像的轮廓点，将遍历到的最优值的轮廓点作为指尖，进行触控判定。

上述交互投影装置，依据投射画面预测得出第一投影图像，并根据所述第一投影图像和摄像机捕获到的所述投射画面的第二投影图像提取手部前景及所述手部阴影，从所述手部前景及所述手部阴影中，获取指尖和所述指尖阴影的位置，根据所述指尖和所述指尖阴影的位置进行触控判定，利用单个摄像头即可实现用于交互的手部动作提取与触控判定，且通过几何校正和色度校正，可以适应更加复杂的光照环境，鲁棒性强，不需要昂贵的深度摄像机或高分辨率CCD摄像头，可实现低成本的徒手人机交互。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。