专利名称：一种基于图像处理技术的便捷式触控交互系统的制作方法
技术领域：
本发明涉及一种人机交互系统，尤其是涉及一种基于图像处理技术的便捷式触控交互系统。
背景技术：
目前，各式各样的移动互联网终端已经是人们生活必不可少的一部分，例如智能手机、平板电脑等，这些终端渐渐成为现代人互联网接入的主要手段。甚至在现在的发达地区，IPad等智能終端也渐渐进入中小学课堂，代替原来的课本。而与此同时人们对移动智能设备也提出了更高的要求。如更加便携、使用更加方便等。传统的交互方式主要有键盘，电阻电容式的触摸屏等，但是传统的交互方式存在着很大的局限性。如，使用时无法解放双手；屏幕具有固定的大小，无法适应各种情况下的使用；长时间使用触摸屏或手机键盘等亦会使手部软骨受伤导致触屏手、拇指病等；应用于教学也会使儿童沉迷于虚拟世界而忽视与现实世界和人际间的交流和互动。但是随着技术的进步，产生了很多基于计算机视觉的手势识别的交互方式。按照识别条件分为标记识别和徒手识别。标记识别主要依靠硬件或手部的标记。如，基于数据手套的手语识别系统，利用手套中的传感器来获取手部的关节运动信息；在手指做上相应的顔色标记，来方便摄像头对手指部分的分割和检测，进一歩通过手势分析识别实现各种功能和与外界的交互。但是标记识别也有很大的缺点，如数据手套使用成本太高，而且，在识别过程中需要用户一直佩戴特定的设备，使用非常不方便。在徒手识别方面对于指尖的检测主要有基于指尖曲率算法和模板匹配算法，基于指尖的曲率算法主要根据指尖和手指曲率的不同来对手指进行检测；模板匹配算法是通过在输入图像上滑动图像块对实际的图像块和输入的图像进行匹配，主要有平方差匹配、相关匹配和归ー化匹配。因为都需要对手指进行精确的平滑分割，所以都不能在与手部肤色接近的背景下使用。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供ー种可携帯、识别率高、容易实现、调和简单的基于图像处理技术的便捷式触控交互系统。本发明的目的可以通过以下技术方案来实现:一种基于图像处理技术的便捷式触控交互系统，用于在交互载体上的人机交互，包括投影仪、摄像头、处理中心和舵机云台，所述的处理中心分别连接投影仪、摄像头和舵机云台，所述的舵机云台分别连接投影仪和摄像头；舵机云台跟踪交互载体，并控制投影仪将交互界面投影到交互载体上，同时控制摄像头的拍摄角度，摄像头拍摄人机交互过程传递给处理中心，处理中心对接收到的图像进行预处理，采用指尖识别算法识别人的手势。所述的交互载体包括手掌、书本、打印稿或白板。所述的处理中心包括FPGA芯片和处理器，所述的FPGA芯片与处理器通过PCIe总线通信连接，所述的处理器与投影仪连接，所述的FPGA芯片分别连接摄像头和舵机云台。所述的FPGA芯片包括视频解码单元、PWM发生单元和同步存储単元，所述的同步存储单元与视频解码单元连接，所述的视频解码単元与摄像头连接，所述的PWM发生单元与舵机云台连接。所述的舵机云台为两自由度舵机云台，该舵机云台上设有舵机摄像头。所述的舵机云台跟踪交互载体的具体步骤为:11)对交互载体进行平面分割，取出交互载体的中心点P ；12)舵机摄像头采集交互载体的图像；13)对采集到的图像进行标定，去除水平和垂直方向的畸变；14)根据标定的图像采用以下公式计算舵机的转向量e:
权利要求
1.种基于图像处理技术的便捷式触控交互系统，用于在交互载体上的人机交互，其特征在于，包括投影仪、摄像头、处理中心和舵机云台，所述的处理中心分别连接投影仪、摄像头和舵机云台，所述的舵机云台分别连接投影仪和摄像头； 舵机云台跟踪交互载体，并控制投影仪将交互界面投影到交互载体上，同时控制摄像头的拍摄角度，摄像头拍摄人机交互过程传递给处理中心，处理中心对接收到的图像进行预处理，采用指尖识别算法识别人的手势。
2.据权利要求1所述的ー种基于图像处理技术的便捷式触控交互系统，其特征在于，所述的交互载体包括手掌、书本、打印稿或白板。
3.据权利要求1所述的ー种基于图像处理技术的便捷式触控交互系统，其特征在于，所述的处理中心包括FPGA芯片和处理器，所述的FPGA芯片与处理器通过PCIe总线通信连接，所述的处理器与投影仪连接，所述的FPGA芯片分别连接摄像头和舵机云台。
4.据权利要求3所述的ー种基于图像处理技术的便捷式触控交互系统，其特征在于，所述的FPGA芯片包括视频解码单元、PWM发生单元和同步存储単元，所述的同步存储单元与视频解码单元连接，所述的视频解码単元与摄像头连接，所述的PWM发生单元与舵机云台连接。
5.据权利要求3所述的ー种基于图像处理技术的便捷式触控交互系统，其特征在于，所述的舵机云台为两自由度舵机云台，该舵机云台上设有舵机摄像头。
6.据权利要求5所述的ー种基于图像处理技术的便捷式触控交互系统，其特征在于，所述的舵机云台跟踪交互载体的具体步骤为: 11)对交互载体进行平面分割，取出交互载体的中心点P; 12)舵机摄像头采集交互 载体的图像； 13)对采集到的图像进行标定，去除水平和垂直方向的畸变； 14)根据标定的图像采用以下公式计算舵机的转向量0: ^afl-c) B = Mdm- 6(1+ c) 其中,= c = Lcp:Lpb, 0。为舵机摄像头的视场角,舵机摄像头位于O Jutム点，B、C为图像的边缘点。
7.据权利要求3所述的ー种基于图像处理技术的便捷式触控交互系统，其特征在于，所述的FPGA芯片与舵机云台间连接有电平变换单元，该电平变换单元由两个三极管连接而成。
8.据权利要求1所述的ー种基于图像处理技术的便捷式触控交互系统，其特征在于，所述的指尖识别算法包括直接识别步骤和间接识别步骤，所述的直接识别步骤具体为:在指尖进行交互载体前，采用特征向量法识别出指尖，选取两个參考点，计算并记录识别出的指尖与两个參考点的距离和角度信息； 所述的间接识别步骤具体为:指尖进行交互载体后，首先识别出两个參考点的位置，根据直接识别步骤记录的距离和角度信息以及当前參考点的位置重构出指尖，并计算当前指尖的位置。
9.据权利要求8所述的ー种基于图像处理技术的便捷式触控交互系统，其特征在于，所述的特征向量法具体为: 21)在经预处理后得到的ニ值图像中，以白色像素点作为前景，黒色像素点作为背景； 22)假设要计算的像素点为(iO，jO)，以(iO，jO)为中心画n个正方形，n为特征向量的维度，第k个正方 形的边到(iO，jO)的棋盘距离为k个像素点，k = 1,2,…，n ; 23)对各正方形的边长经过的前景像素点的个数进行计数，第k个正方形的计数值对应特征向量第k维的值； 24)将计算得到的特征向量 与标准模板的特征值采用平方差匹配法进行匹配，识别出指尖。
全文摘要
本发明涉及一种基于图像处理技术的便捷式触控交互系统，用于在交互载体上的人机交互，包括投影仪、摄像头、处理中心和舵机云台，所述的处理中心分别连接投影仪、摄像头和舵机云台，所述的舵机云台分别连接投影仪和摄像头；舵机云台跟踪交互载体，并控制投影仪将交互界面投影到交互载体上，同时控制摄像头的拍摄角度，摄像头拍摄人机交互过程传递给处理中心，处理中心对接收到的图像进行预处理，采用指尖识别算法识别人的手势。与现有技术相比，本发明通过舵机对交互载体进行跟踪，并通过新颖的指尖识别算法对指尖进行识别，具有可携带性、识别率高、容易实现、配置方便等优点。
文档编号G06F3/042GK103092437SQ201210541698
公开日2013年5月8日 申请日期2012年12月13日 优先权日2012年12月13日
发明者叶晨, 居征宇, 简荣军, 陈伟, 周文宗 申请人:同济大学