专利名称：一种手势识别控制装置及控制方法
技术领域：
本发明涉及摄像头识别定位的装置，尤其涉及一种手势识别控制装置及控制方法。
背景技术：
3D显示技术是一种新型的显示手段，其目的是为了克服现有的平面显示器只能显示2D的现状，目前市面上已经有了多种3D显示技术，包括偏振式显示方式，快门式的显示方式，但其基本原理是一样的即:人眼观察物体所产生的立体感是由于左眼和右眼的观测角度不同，导致所看到的画面不同，大脑对这两幅有一定差异的画面进行合成，从而产生的。而3D显示器则是让用户的左眼和右眼在显示器上能看到不同的画面模拟人的视角，使得用户感觉到画面拥有立体感。但是，这些画面的内容都是固定的，即不会根据用户视角的变化而作出对应的变化。例如:3D显示器显示了一个正对着屏幕的正方体，这时用户从正面看过去，是一个正方形，当用户从别的角度看显示器时，看到的也是正方体正面的正方形。而在现实中，用户应该会看到正方形的侧面。这样将使得立体感减弱，并且这样的画面会让用户感觉到不够真实，对应地大脑的潜意识会对这样的画面作出排斥，使得用户在长时间观看3D画面后，会有晕眩感。因此，急需一种可以根据用户视角的变化而改变显示内容的3D显示方案，从而能克服固定画面的3D显示方案的各个缺点。于此同时，市面上也有各种不同的手势控制方案，例如电容式触屏，它可以在二维的平面上感应用户手指的触控，或者装有传感器的手套，它可以在三维的空间中得到用户的手势，以此实现类似“隔空取物”的效果。但是电容式触屏只能感应二维触控，而装有传感器的手套又需要佩戴后才能在三维空间中得到用户的手势，使得使用起来不够方便。因此，急需一种可以不需要佩戴相关设备就可以在三维空间中进行手势控制的方案。而目前为止，市面上3D显示的内容无法直接用手在三维空间中进行操控，而三维空间中的手势控制方案又只能对二维的显示画面进行操控并不直观。现有的手势识别系统和操作手段主要有以下两种:1.采用传感器方式，利用带手套，手握设备等方式实现定位，手势识别。但是这个方案需要手握设备或者带着手套，很难完成一些高级的手势控制和识别。2.采用普通摄像头方式，利用正对的摄像头，来进行手势识别。但是这个方案精度较差，无法获得较为精确的景深数据，同时对于暗部条件来说识别有一定的局限性，当照度较低的时候，摄像头输出的噪声较高，无法输出清晰的图像，从而降低了精确程度。总之，现有的方案有其局限性，适用场景单一，无法应对较为复杂的现实应用。
发明内容
本发明的目的在于克服上述存在的不足和缺陷，提供一种手势识别控制装置及控制方法，它是通过两组摄像头组精确定位判断每个指关节的动作，位置，方向，从而实现精确控制和识别。
本发明的目的是通过如下技术方案实现的:本发明包括支架，其特征是在所述的支架的上端固定有上摄像头、在上摄像头的下方固定有下摄像头，在下摄像头的下方固定有3D显示器；所述的上摄像头和下摄像头输出端与电脑的视频输入端连接，电脑的视频输出端与3D显示器的视频输入端连接，电脑上的软件将处理过的图像传送到3D显示器中。所述的下摄像头和显示器固定在一起。所述的上摄像头的镜头自上而下放置，用于拍摄用户手部动作，下摄像头的镜头水平放置，用于定位用户眼球位置。所述的上摄像头和下摄像头是景深摄像头。本发明一种手势识别控制方法，其特征是包括手势识别和3D画面渲染，还包括如下步骤:
a、利用追踪人眼位置的摄像头传递来的深度图像，经算法处理后，得到人眼相对显示器的位置；
b、通过步骤a渲染出左、右眼所看到的画面，将画面数据传递到3D显示器上，由3D显不器输出；
C、将手势深度摄像头传递来的手势深度图像信息，经过算法处理，得到手指和手掌在图像中的位置，再经过坐标变换，转换为手指相对显示器的位置信息；
d、通过步骤C触发相关的手势事件，让用户的手指和3D显示器中的虚拟的3D元素进行交互。所述的手势识别流程包括如下步骤:
(1)读取深度信息:从用于追踪手势的摄像头中读取深度信息；
(2)分离背景:将深度信息中采集到的背景部分去掉，只保留手的部分；
(3)边缘查找:分离出背景后，就可以将手的轮廓描绘出来；
(4)手掌查找:从轮廓中识别出手掌；
(5)指尖查找:根据识别出的手掌，在边缘识别出手指尖；
(6)手势分类识别器:根据手掌的运动和手指的运动，来识别出用户当前的手势；
(7)手势信息:根据手势分类识别器识别出来的，最终用于操作的手势信息。所述的3D画面渲染流程包括如下步骤:
(O获取人眼位置信息:从人眼追踪摄像头中获取人眼相对于屏幕的位置信息；
(2)生成视图矩阵:以人眼与屏幕中心两点产生一条直线，即视线，以此产生视图矩
阵；
(3)生成投影矩阵:根据人眼所在的与屏幕的相对位置，以及视图矩阵，产生投影矩阵；以这种方式产生的投影矩阵更加真实，屏幕中的显示内容会根据人眼的位置做调整，让用户感受更加真实的体验，以这种方式产生的投影矩阵更加真实，屏幕中的显示内容会根据人眼的位置做调整，让用户感受更加真实的体验；
(4)获取手势操作数据:利用人眼追踪摄像头中获取到的手势信息，产生操作方案以及操作程序，例如当手指接近屏幕到一定程度的时候判定为点击，两个手指拉开表示放大，手指从顶部拉到底部为关闭窗口等；
(5)生成窗口图像数据:通过视图矩阵，投影矩阵以及手势操作数据等，对程序中的内容作出调整后，生成最终渲染数据并写入缓冲区，等待渲染； (6)渲染到屏幕:将缓冲区中的内容显示到屏幕上。本发明通过两个方向的摄像头组(上方，下方)，来进行定位和手势识别。结构简单，成本低，识别精度高，可以应用于暗光条件和对于识别精度敏感且不愿意使用传感器来进行识别的场景。本发明与传统的手势识别系统相比，具有以下优点:1.识别精度高，且不需要手上安装外部设备。2.可以在暗部条件使用，并且能够构建更加精确的三维定位和景深信息，使误判降低，将3D显示技术和手势识别技术结合到一起，实现完整的3D用户界面与互动。
图1是本发明一种手势识别控制装置主视图。图2是本发明一种手势识别控制装置侧视图。图3是本发明一种手势识别控制装置工作原理方框图。图4是本发明一种手势识别控制方法中的手势识别流程图。图5是本发明一种手势识别控制方法中的3D画面渲染流程图。
具体实施例方式下面结合附图对本发明作进一步说明，但不是对本发明范围的限制。如图1、2、3所示，本发明一种手势识别控制装置，包括支架5，其特征是在所述的支架5的上端固定有上摄像头1、在上摄像头I的下方固定有下摄像头2，在下摄像头2的下方固定有3D显示器3 ;所述的上摄像头I和下摄像头2输出端与电脑4的视频输入端连接，电脑4的视频输出端与3D显示器3的视频输入端连接，电脑4上的软件将处理过的图像传送到3D显示器3中。所述的下摄像头2和显示器(3)固定在一起。所述的上摄像头I的镜头自上而下放置，下摄像头2的镜头水平放置。所述的上摄像头I和下摄像头2是景深摄像头。本发明一种手势识别控制方法，其特征是包括手势识别和3D画面渲染，还包括如下步骤:
a、利用追踪人眼位置的摄像头传递来的深度图像，经算法处理后，得到人眼相对显示器的位置；
b、通过步骤a渲染出左、右眼所看到的画面，将画面数据传递到3D显示器上，由3D显不器输出；
C、将手势深度摄像头传递来的手势深度图像信息，经过算法处理，得到手指和手掌在图像中的位置，再经过坐标变换，转换为手指相对显示器的位置信息；
d、通过步骤C触发相关的手势事件，让用户的手指和3D显示器中的虚拟的3D元素进行交互。所述的手势识别流程包括如下步骤:
(O读取深度信息:从用于追踪手势的摄像头中读取深度信息；
(2)分离背景:将深度信息中采集到的背景部分去掉，只保留手的部分； (3)边缘查找:分离出背景后，就可以将手的轮廓描绘出来；
(4)手掌查找:从轮廓中识别出手掌；
(5)指尖查找:根据识别出的手掌，在边缘识别出手指尖；
(6)手势分类识别器:根据手掌的运动和手指的运动，来识别出用户当前的手势；
(7)手势信息:根据手势分类识别器识别出来的，最终用于操作的手势信息。所述的3D画面渲染流程包括如下步骤:
(O获取人眼位置信息:从人眼追踪摄像头中获取人眼相对于屏幕的位置信息；
(2)生成视图矩阵:以人眼与屏幕中心两点产生一条直线，即视线，以此产生视图矩
阵；
(3)生成投影矩阵:根据人眼所在的与屏幕的相对位置，以及视图矩阵，产生投影矩阵；以这种方式产生的投影矩阵更加真实，屏幕中的显示内容会根据人眼的位置做调整，让用户感受更加真实的体验，以这种方式产生的投影矩阵更加真实，屏幕中的显示内容会根据人眼的位置做调整，让用户感受更加真实的体验；
(4)获取手势操作数据:利用人眼追踪摄像头中获取到的手势信息，产生操作方案以及操作程序，例如当手指接近屏幕到一定程度的时候判定为点击，两个手指拉开表示放大，手指从顶部拉到底部为关闭窗口等；
(5)生成窗口图像数据:通过视图矩阵，投影矩阵以及手势操作数据等，对程序中的内容作出调整后，生成最终渲染数据并写入缓冲区，等待渲染；
(6)渲染到屏幕:将缓冲区中的内容显示到屏幕上。上摄像头I用于采集手指的图像信息，并转换成手指的三维虚拟坐标。下摄像头2用于追踪眼球，并转换成双眼的三维虚拟坐标，用于跟踪用户的视线变换，使得用户从不同角度看3D显示器3的时候，可以让3D显示器3中显示出三维画面，根据人眼的位置不同，而做出变化，使3D画面能适应人眼移动，让人眼在不同位置看到不同的画面。上摄像头I和下摄像头2配合，只要用一台3D显示器。上摄像头I和下摄像头2配合，可以将手指的虚拟坐标和3D显示器3的显示内容结合起来，让手指在不接触屏幕表面的情况下，识别手指经过的虚拟坐标，使手指能操作3D虚拟按钮，以及一系列操作例如滑动，点击，等等。本发明的创新点在于实现一种低成本的、全新的三维人机交互方式，它是通过用于检测手势的摄像头即上摄像头I来得到手指相对显示器的位置，再通过人眼追踪摄像头即下摄像头2来得到人眼相对显示器的位置，最后将虚拟的物体通过3D显示器显示出来，让人可以感觉到该虚拟的物体确实出现在显示器的前方，并且可以用手与虚拟物体进行交互，如拖动，触碰等等。相比于传统的单纯显示3D内容的方案，提供了可交互的特性。而相比于单纯的手势控制方案，又具有了更佳的直观性。本发明包括用于检测手势的摄像头，用于追踪人眼位置的摄像头，以及用于显示3D画面的3D显示器。所述的摄像头所采集的数据为被拍摄物体到摄像头的距离信息(又称深度信息)，深度信息可以是通过双摄像头的三角测距方式，其原理为将两个摄像头采集到的画面在横轴方向上进行匹配，然后将匹配到的图像在两个摄像头中位置的不同，来测算出该物体到摄像头的距离；或者光编码(Light Coding)方式，其原理为将近红外激光经过毛玻璃后投射到物体上，此时会在物体上呈现出各种不同分布的红外波段的光斑，通过在不同距离对光斑进行标定，以此来得到物体到摄像头的距离；或者光飞行时间测量(Time offlight)的方式，其原理是测量发出的光脉冲从发射后到到达目标再反射到摄像头所经过的时间来得到物体到摄像头的距离。所述的3D显示器为可以在同一个平面位置上，显示出提供给人的两只眼睛不同画面的装置，比如液晶快门3D显示器其原理为交错显示左眼和右眼所显示的画面，同时用户所佩戴的3D眼镜会根据显示器传递来的信号，分别开关左边或右边的液晶镜片，使得同一时刻只有一只眼睛能看到显示器上对应的画面，它的优点是分辨率不会有损失，缺点是因为液晶快门的不断开关，会让人感觉到闪烁，并且容易导致眼睛疲劳；偏振式3D显示器，其原理为隔行调整面板上的像素所发出的光线的偏振方向，使得奇数行的像素和偶数行的像素所发出的光线有各自的偏振方向，这样用户在戴了 3D眼镜后，一只眼睛只能看到奇数行的像素，另一只眼睛则只能看到偶数行的像素，以此看到不同的画面，它的优点是不会让人感到闪烁，但缺点是分辨率会损失一半。或3D偏振式投影，其原理为两台投影加上偏振片之后，将不同方向的偏振光投射在相同的位置。本发明利用追踪人眼位置的摄像头传递来的深度图像，经算法处理后，得到人眼相对显示器的位置。以此渲染出左、右眼所看到的画面，将画面数据传递到3D显示器上，由3D显示器输出。同时，将手势深度摄像头传递来的手势深度图像信息，经过算法处理，得到手指和手掌在图像中的位置，再经过坐标变换，转换为手指相对显示器的位置信息。从而触发相关的手势事件，让用户的手指和3D显示器中的虚拟的3D元素进行交互。这装置由三个主要部件和一个支架组成，主要部件分别是两个深度摄像头和一个3D显示器，其中一个向下拍摄的深度摄像头负责获取手势信息，向前拍摄的深度摄像头负责得到人眼的位置信息，3D显示器负责显示3D画面，并且它通过获取你看显示器的角度，来得出最合适的输出画面。简单说你从不同的角度去看显示器，都会感觉到要显示在屏幕前方的虚拟物体一直悬浮在屏幕前方固定不动。换作是传统的3D显示器，它显示的是一个固定的左右眼画面，用本发明这个显示器，当你从不同的角度去看的时候，会感觉到要显示在屏幕前方的虚拟物体会跟着你视角的变换而相对显示器移动，显得不够真实。而当实现了最佳输出画面后，当你去尝试触碰所显示的虚拟物体的时候，你的手相对屏幕的位置和虚拟物体相对屏幕的虚拟位置是相同的，这时候通过获取手势信息的摄像头就可以确定你想触碰的虚拟物体，你就可以操作这个虚拟物体，比如拖动，抓取等等操作，并且你会从视觉上感觉你确实在用手直接接触这个虚拟的物体。以上是本发明的优选实施方式，凡依上述构思所作的相类似改变，理应属于本发明的涵盖内容。
权利要求
1.一种手势识别控制装置，包括支架(5)，其特征是在所述的支架(5)的上端固定有上摄像头(I)、在上摄像头(I)的下方固定有下摄像头(2)，在下摄像头(2)的下方固定有3D显示器(3);所述的上摄像头(I)和下摄像头(2)输出端与电脑(4)的视频输入端连接，电脑(4)的视频输出端与3D显示器(3)的视频输入端连接，电脑(4)上的软件将处理过的图像传送到3D显示器(3)中。
2.根据权利要求1所述的一种手势识别控制装置，其特征是所述的下摄像头(2)和显不器(3)固定在一起。
3.根据权利要求2所述的一种手势识别控制装置，其特征是所述的上摄像头(I)的镜头自上而下放置，下摄像头(2)的镜头水平放置。
4.根据权利要求1-3中任一项所述的一种手势识别控制装置，其特征是所述的上摄像头(I)和下摄像头(2)是景深摄像头。
5.一种手势识别控制方法，其特征是包括手势识别和3D画面渲染，还包括如下步骤: a、利用追踪人眼位置的摄像头传递来的深度图像，经算法处理后，得到人眼相对显示器的位置； b、通过步骤a渲染出左、右眼所看到的画面，将画面数据传递到3D显示器上，由3D显不器输出； C、将手势深度摄像头传递来的手势深度图像信息，经过算法处理，得到手指和手掌在图像中的位置，再经过坐标变换，转换为手指相对显示器的位置信息； d、通过步骤C触发相关的手势事件，让用户的手指和3D显示器中的虚拟的3D元素进行交互。
6.根据权利要求5所述的一 种手势识别控制方法，其特征是所述的手势识别流程包括如下步骤: (1)读取深度信息:从用于追踪手势的摄像头中读取深度信息； (2)分离背景:将深度信息中采集到的背景部分去掉，只保留手的部分； (3)边缘查找:分离出背景后，就可以将手的轮廓描绘出来； (4)手掌查找:从轮廓中识别出手掌； (5)指尖查找:根据识别出的手掌，在边缘识别出手指尖； (6)手势分类识别器:根据手掌的运动和手指的运动，来识别出用户当前的手势； (7)手势信息:根据手势分类识别器识别出来的，最终用于操作的手势信息。
7.根据权利要求6所述的一种手势识别控制方法，其特征是所述的3D画面渲染流程包括如下步骤: (O获取人眼位置信息:从人眼追踪摄像头中获取人眼相对于屏幕的位置信息； (2)生成视图矩阵:以人眼与屏幕中心两点产生一条直线，即视线，以此产生视图矩阵； (3)生成投影矩阵:根据人眼所在的与屏幕的相对位置，以及视图矩阵，产生投影矩阵；以这种方式产生的投影矩阵更加真实，屏幕中的显示内容会根据人眼的位置做调整，让用户感受更加真实的体验； (4)获取手势操作数据:利用人眼追踪摄像头中获取到的手势信息，产生操作方案以及操作程序；(5)生成窗口图像数据:通过视图矩阵，投影矩阵以及手势操作数据等，对程序中的内容作出调整后，生成最终渲染数据并写入缓冲区，等待渲染； (6)渲染到屏幕:将缓 冲区中的内容显示到屏幕上。
全文摘要
本发明涉及一种手势识别控制装置及控制方法。在支架的上端固定有上摄像头、在上摄像头的下方固定有下摄像头，在下摄像头的下方固定有3D显示器；上摄像头和下摄像头输出端与电脑的视频输入端连接，电脑的视频输出端与3D显示器的视频输入端连接，电脑上的软件将处理过的图像传送到3D显示器中，本发明的一种手势识别控制方法，包括手势识别和3D画面渲染等步骤，本发明通过两个方向的摄像头组(上方，下方)，来进行定位和手势识别，结构简单，成本低，识别精度高，可以应用于暗光条件和对于识别精度敏感且不愿意使用传感器来进行识别的场景。
文档编号G06F3/01GK103176605SQ20131009936
公开日2013年6月26日 申请日期2013年3月27日 优先权日2013年3月27日
发明者刘仁俊, 葛卓琛, 林成凡, 金勇辉, 张家珩, 谢楷, 肖潇 申请人:刘仁俊, 葛卓琛