一种基于模式识别的视觉投影交互系统及交互方法与流程

本发明涉及计算机视觉和模式识别领域，具体涉及一种基于模式识别的视觉投影交互系统及交互方法。
背景技术：
：交互是增强现实技术将虚拟的物体与现实场景结合，能够让用户与虚拟环境进行交互。它让用户产生一种身临其境的感觉，并为其营造出一种全新的动感交互式体验。而视觉投影交互系统是增强现实的一个重要应用，它是依靠先进的计算机视觉技术和投影显示技术，创造出一种具有真实感的交互模式。技术实现要素：为了克服现有技术存在的缺点与不足，本发明首要的目的是提供一种基于模式识别的视觉投影交互系统。本发明的另一目的是提供一种基于模式识别的视觉投影交互方法。本发明采用如下技术方案：一种基于模式识别的视觉投影交互系统，包括投影仪、摄像头、红外管、红外滤光片及pc机；所述摄像头固定在支架上，支架垂直固定在水平地面上，所述摄像头与pc机连接，红外管安装在支架的底部，红外滤光片安装在摄像头镜头后部，所述投影仪安装在支架的后侧，高于摄像头且与pc机连接，并且使pc机的显示画面投影在使用者和摄像头之间形成投影区域。所述红外管具体为一字线型红外管。一种视觉投影交互系统的交互方法，包括如下步骤：s1对摄像头进行畸变校正，打开红外管，照射投影区域；s2摄像头采集在投影区域用户的脚部图像，对图像进行预处理提取二值化图的高亮连通域；s3在高亮连通域中捕捉使用者的脚部目标光斑；s4采用两级分类器对目标光斑进行分类，具体为：一级分类器求得脚部目标光斑的三个参数并滤波，得到粗略目标光斑，所述三个参数分别为：目标光斑圆形度、目标光斑面积周长比及目标光斑的面积；二级分类器首先提取粗略目标光斑的模板特征参数，然后对其进行学习形成样本特征数据库，最后使用最小错误率贝叶斯判别计算待测样本的贝叶斯概率，得到精确目标光斑；s5计算精确目标光斑下半部的几何中心作为目标中心点，采用基于线性插值法的坐标映射方法，将目标光斑的坐标映射到pc机的鼠标坐标，进一步控制鼠标的动作。所述三个参数分别为：目标光斑圆形度、目标光斑面积周长比及目标光斑的面积，具体计算为：目标光斑圆形度的计算方法如下：r1≤r≤r2其中，r为圆形度，bi为光斑区域周长，ai为光斑区域的面积，r1为0.4，r2为0.8；目标光斑面积：s1≤s≤s2其中，s1和s2为光斑面积的上下边界值面积周长比：ai表示光斑的面积，bi表示光斑的周长，ratemin为面积周长比最小值。所述二级分类器首先对粗略目标光斑进行模板特征参数提取，具体为：求得粗略目标光斑的区域的最小外接矩形；将该最小外接矩形的长和宽等分成n等分，构成n×n个小区域，所述n为自然数；计算每个小区域中高亮点的占比，并将比值作为该小区域的特征值：其中，ri为每个小区域的特征值，sw为白像素点个数，sall为小区域的像素点总数。所述计算精确目标光斑下半部的几何中心作为目标中心点，具体为：选取光斑区域下半部n个高亮像素点的平均中心，并使平均中心在图像纵坐标方向上叠加一个偏移量，以此来代表几何中心即目标中心点。所述s4中提取粗略目标光斑的模板特征参数，具体为：首先找到该光斑的最小外接矩形，其次将最小外接矩形的长和宽等分成n等分，构成n×n个小区域，最后计算每个小区域中高亮点的占比，并将该比值作为该小区域的特征值。使用最小错误率贝叶斯判别计算待测样本的贝叶斯概率，得到精确目标光斑，具体为：计算待测样本在样本特征数据库的贝叶斯后验概率，比较待测样本在样本特征数据库的后验概率大小，则后延概率最大为待测样本的分类结果。所述将目标光斑的坐标映射到pc机的活动区域的鼠标坐标，具体采用线性插值法：四边形abcd代表投影区域的边界点，可得a、b、c、d这4个边界点组成的4条边界方程：由上述四个式及光斑目标中心点坐标(x0,y0)，依次计算出(x0,y1)、(x0,y2)、(x1,y0)、(x2,y0)四个点的坐标，利用线性插值的原理，得到目标光斑在pc机上的坐标：其中，w和h分别为pc机显示器的分辨率的宽和高，转换后的(x′0,y′0)为最终的映射结果。本发明的有益效果：(1)使用近红外辅助光源突出目标。在投影区域内，形成一个近红外光源覆盖的平面。当用户在踩踏该区域时，其脚部对近红外光产生漫反射并形成高亮的目标光斑。同时，摄像头镜头添加了红外滤光片，降低了图像背景的复杂度；(2)将形态学参数滤波作为第一级分类器。通过计算人体脚部高亮光斑的面积、面积周长比以及圆形度等形态学参数并滤波，形成第一级分类器；(3)使用模式识别方法中的最小错误率贝叶斯判别作为二级分类器。首先，通过提取先验样本目标区域的模板特征参数；然后，对其进行学习，形成样本特征数据库；最后，使用最小错误率贝叶斯判别计算待测样本的贝叶斯概率，可判断出待测样本属于哪个先验样本类别；(4)设计一种基于线性插值法的坐标映射方法。该方法用于将图像中目标的坐标准确地映射到pc机的鼠标坐标，进而控制鼠标的动作。附图说明图1是本发明的工作流程图；图2是本发明的结构示意图；图3是本发明的摄像头畸变校正工作流程图；图4是本发明图像预处理的工作流程图；图5是本发明一级分类器的流程图；图6是目标中心点到pc坐标映射示意图。图7是辅助排序的数据结构图具体实施方式下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。实施例如图2所示，一种基于模式识别的视觉投影交互系统，包括投影仪1、摄像头2、红外管3及pc机；所述摄像头2固定在支架上，支架垂直固定在水平地面上，红外管3安装在支架的底部，支架背后安装投影仪1，高于摄像头且与pc机连接，并且使pc机的显示画面投影在使用者和摄像头之间形成投影区域，使用者在使用本系统时，面向系统装置，脚尖指向系统装置所在的位置，便可在主动光源的探照下产生有效的脚部光斑，并在摄像头中成像。本实施例中红外管具体为一字线型红外管，摄像头的镜头后设置红外滤片，以降低背景复杂度和突出目标光斑。如图1、图3、图4、图5及图6所示，一种视觉投影交互的交互方法，包括如下步骤：s1对摄像头进行畸变校正，打开红外管，照射投影区域；使用matlab的标定工具箱获取摄像头的内参数矩阵以及误差矩阵，并进行相关畸变校正。s2摄像头采集在投影区域用户的脚部图像，对图像进行预处理提取二值化图的高亮连通域；具体为：本系统使用opencv图像库提供的api函数cvfindcontours实现目标光斑捕捉的功能。cvfindcontours函数可从二值图像中检索高亮连通域的轮廓，并返回轮廓的个数。该函数的输入参数有7个：1、指向需要进行处理的二值化图像的指针值；2、指向被捕捉出来的轮廓所存放的容器的指针值；3、指向首个被捕捉出来的轮廓结构的指针；4、轮廓结构体的大小；5、轮廓检索的方式；6、边缘描述的方式；7、轮廓点坐标的偏移量。以上的参数必须按顺序输入，使用该函数应注意以下几点：1、输入的图像必须是单通道图像，否则将计算出错；2、cvfindcontours处理后，输入的图像内容会被修改，变成只有边缘轮廓的二值图；3、必须创建一个内存空间保存被检索到的轮廓信息，否则检索后会出现内存泄漏。s3在高亮连通域中捕捉使用者的脚部目标光斑s4采用两级分类器对目标光斑进行分类，具体为：s4.1一级分类器具体为：求得脚部目标光斑的三个参数并滤波，得到粗略目标光斑，所述三个参数分别为：目标光斑圆形度、目标光斑的面积及目标光斑面积周长比；圆形度的计算方法如下：r1≤r≤r2(4)其中，r为圆形度，bi为光斑区域周长，ai为光斑区域的面积。通过对每个高亮光斑的圆形度进行限幅滤波，即可在形态学上区分脚部与非脚部的光斑：考虑到人脚的大小，其漫反射光斑面积既不能过大，亦不能过小，于是引入面积带通滤波：s1≤s≤s2(6)其中，s1和s2为光斑面积的上下边界值，上下边界值则是通过大量实验得到的经验值。再考虑到人脚光斑不具有狭长的形状特征。而狭长的光斑其面积周长比较小，于是本文又提出对光斑的面积周长比进行高通滤波：ai表示光斑的面积，bi表示光斑的周长，ratemin为面积周长比最小值。通过统计不同物体的上述3个形态学参数，得出如下统计表：物品名称测试数量(个)面积(像素点)面积周长比圆形度人体脚部100100～2503.0～4.50.4～0.8箱子100150～3002.0～4.00.3～0.7小纸团10030～802.0～2.50.8～1.1笔10040～900.90～1.200.1～0.2小刀100100～2001.2～2.50.2～0.6由上表可看出，通过将圆形度限制在0.4到0.8之间，可基本过滤小纸团和笔等杂物。但是，该方法对于箱子和小刀的过滤性能仍然不够理想。因此，在经过一级分类之后，仍然存在某些物品在面积、面积周长比以及圆形度的度量上混淆，无法做出精确的识别和分类。s4.2二级分类器具体包括如下步骤：s4.2.1首先提取粗略目标光斑的模板特征参数，具体为：首先找到光斑区域的最小外接矩形；将该最小外接矩形的长和宽等分成n等分，构成n×n个小区域，所述n为自然数；计算每个小区域中高亮点的占比，并将比值作为该小区域的特征值：其中，ri为每个小区域的特征值，sw为白像素点个数，sall为小区域的像素点总数。形成光斑区域的模板特征矩阵然后对其进行学习形成样本特征数据库，最后使用最小错误率贝叶斯判别计算待测样本的贝叶斯概率，得到精确目标光斑；bayes推断公式如下：其中，p(ωi|x)为待测样本对于第i类样本库的后验概率，p(ωi)为样本库的先验概率，p(x|ωi)为条件概率密度。其思想是，根据某类别的先验概率以及特征向量x在某类别特征空间中的概率密度，计算出x属于该类别的概率。由上述公式(10)分析，对于每个类别ωi而言，分母的值都是固定的。则判别特征向量x的后验概率可由：hi(x)＝p(x|ωi)p(ωi)(11)所决定。同时，容易从样本库中计算先验概率p(ωi)。因此，则只需要推导类条件概率密度p(x|ωi)即可形成有效的判别函数。p(x|ωi)可以通过正态分布来近似，如下所示：其中，x为n维特征向量，μ为n维均值向量，s＝e[(x-μ)(x-μ)t]为n维协方差矩阵。为简化计算，取hi(x)的对数作为判别函数，由公式(11)、公式(12)可得：其中，|si|、p(ωi)、s-1都可根据样本库数据进行计算。于是，从公式(13)可得出一个只关于未知变量x的判别函数。通过将待测样本作为x代入公式(13)中，并作以下计算：取最大的判别函数的值所对应的类别i为所求。s5计算精确目标光斑下半部的几何中心作为目标中心点，采用基于线性插值法的坐标映射方法，将目标光斑的坐标映射到pc机的鼠标坐标，进一步控制鼠标的动作。其中，计算精确目标光斑下半部的集中中心作为目标中心点，具体为：选取光斑区域下半部的几何中心作为目标中心点，计算方法如下：其中，xi和yi为光斑下半区域内每个高亮像素点的二维坐标。为了使中心点有效地代表人体脚部的前端，设置δy为中心点在y方向上的线性调整余量。另外，考虑到每帧图像之间存在电抖动而导致光斑区域最外延波动较大，于是从连通域的最外延向内收缩，再求取其几何中心。同时，在求取光斑下半区域的几何中心时，需要对光斑区域内大量的点进行排序，为降低时间复杂度，需要设计两个数据结构进行排序辅助。图7中，维护一个大小为10的最小二叉堆。通过最小二叉堆的调整，可在logm时间复杂度下使该最小二叉堆的根节点为最小值。每进行一次最小堆调整后，去掉根节点元素，从vector里面取一个新的高亮坐标点y值放进根节点，再进行下一轮的调整。直到vector中的点全部取完，此时最小二叉堆里面的10个点即为y值最大的10个点。使用公式(15)即可计算出光斑的中心点坐标。整个过程的时间复杂度为：o((n-m)logm)(16)当m远小于n时，上述方法的时间复杂度远小于直接对所有点快速排序的o(nlogn)。所述目标中心点到pc坐标的映射本发明设计了一种基于线性插值法的坐标映射方法，图6所示，四边形abcd代表投影区域在摄像头中的成像。可得a、b、c、d这4个边界点组成的4条边界方程：于是，由公式(17)、公式(18)、公式(19)、公式(20)和上一节计算得出的光斑目标中心点坐标(x0,y0)，便可依次计算出(x0,y1)、(x0,y2)、(x1,y0)、(x2,y0)。再利用线性插值的原理，可得到目标点在图像坐标下的坐标位置与pc坐标上的映射：其中，w和h分别为pc机显示器的分辨率的宽和高，于是，转换后的(x′0,y′0)为最终的映射结果。系统在投影区域内，形成一个近红外光源覆盖的平面。用户在区域内运动时，其脚部将产生漫反射光斑。同时，摄像头镜头添加红外滤光片以降低背景复杂度和突出目标光斑；其次，通过计算人体脚部红外光斑的面积、面积周长比以及圆形度等形态学参数并滤波，形成第一级粗粒度分类器；然后，使用模式识别方法中的最小错误率贝叶斯判别作为二级细粒度分类器。最后，将图像上的目标物坐标映射到pc机的鼠标坐标，进而实现对鼠标的控制，达到用户与系统交互的目的。上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。当前第1页12