一种基于场景态势感知的人机交互方法

文档序号:10569529
一种基于场景态势感知的人机交互方法
【专利摘要】本发明提供了一种基于场景态势感知的人机交互方法,属于人机交互领域。该基于场景态势感知的人机交互方法利用最小二乘法拟合平行线束,判断在平行线束内的物体距离直线的距离,根据该物体与虚拟手的距离来判断用户的操作意图,并且采用包围盒大小实现控制Z变量在合适的范围内变化,最终实现相向互动。本发明提出的基于包围盒大小来控制Z变量变化,得到很好的效果;在用户有目的的移动的情况下,拟合直线束预测用户想要操作的物体的正确率达87%以上。
【专利说明】
一种基于场景态势感知的人机交互方法
技术领域
[0001] 本发明属于人机交互领域,具体涉及一种基于场景态势感知的人机交互方法。
【背景技术】
[0002] 随着计算机科学技术的不断发展,智能化人机交互逐渐成为计算模式发展的主导 趋势。特别是Mark Weiser在20世纪90年代提出的"Ubicomp"(无所不在的计算)的概念之 后,这一趋势表现的更加明显。在交互过程中,为了减轻人的操作负荷和记忆负担,需要拓 展传统的交互方式,在显示人机交互的基础上融入隐式人机交互(impl ic it human computer interaction,IHCI)〇
[0003] 目前,隐式人机交互已经成为交互领域中的重要研究前沿。澳大利亚斯威本科技 大学的Kaiyan在1996年就提出了IHCI的概念,但并未深入。从2005年开始,美国、德国、中 国、奥地利等国内外大学和研究所,对IHCI理论和应用逐步开展了深入研究。德国卡尔斯鲁 厄大学的Schmidt在隐式交互的理论研究方面进行的较早,认为隐式交互的两要素是感知 和推理,并提出上下文信息对交互过程是极为重要的,同时基于XML语言,对交互过程进行 建模,并且介绍了下文对人机交互的益处。Young-Min Jang等人根据人的眼睛运动隐含的 意图开发了一个系统,该系统可以根据瞳孔大小变化以及位置来划分人的隐式输入意图。 而BojanBla2ica等则将隐式交互用到了照片采集管理系统上。在算法上,Hamid Mcheick 则提出了一种基于上下文感知模型,能够适应动态的环境和灵活与用户进行互动。在互联 网领域基于上下文信息的隐式交互也得到了应用,例如 :M.Khedr等人则利用上下文信息建 立了一个多代理的框架,用来维持本地和不同域之间的应用。
[0004]在我国,由清华大学陶霖密等人开发了自适应视觉系统,检测与理解用户行为,进 行隐式交互。同时,中国科学院软件研究所的田丰[1()]也从后WMP用户界面的角度,研究了 隐式交互的特性。王巍等人提出对于隐式人机交互过程,较多的使用用户上下文信息,包括 用户行为、情感状态(例如:Irina CRISTES⑶的情感化设计方法)和生理状态等,但也有一 些使用环境上下文信息,提供诸如基于位置的服务等在使用的传感器种类上,则主要集中 于三类:视觉传感器生理传感器和物理量传感器,其中的视觉传感器得到较为广泛的应用 在信号的连续性上,多为离散的检测方式,仅在对生理信号检测时采用连续检测方式。高隽 在图像语义分析与理解综述中归纳图像语义特征及上下文表示的基础上,全面阐述生成 法、判别法和句法描述法3种图像语义处理策略。岳玮宁等人提出了一种上下文感知和调度 的策略用于智能交互系统,从而提高了系统的智能型。而冯志全等人则将上下文信息用到 手势跟踪中,并取得了很好地效果。
[0005]然而,根据上下文信息的人机交互,大都使用在已经有明确的操作对象之后,一般 都是有一些预先定义好的语义指令。比如:动作A完成后,若用户做了动作B,计算机猜测用 户可能想要达到什么目的;若用户做了动作C,计算机则猜测用户想要达到其他的效果。这 样一个动作根据上下文就可以赋予不同的结果。可以大大减轻用户的操作负荷,使操作变 得更加人性化。在实验过程中,确定操作对象还是采用传统的PF跟踪和碰撞检测 [16]的方 法。虽然碰撞检测的精度高,但是碰撞检测的时间复杂较高,这对于虚拟场景比较复杂的情 况是很大的弊端。

【发明内容】

[0006] 本发明的目的在于解决上述现有技术中存在的难题,提供一种基于场景态势感知 的人机交互方法,。
[0007] 本发明是通过以下技术方案实现的:
[0008] -种基于场景态势感知的人机交互方法,利用最小二乘法拟合平行线束,判断在 平行线束内的物体距离直线的距离,以及该物体与虚拟手的距离来判断用户想要操作的意 图,并且采用包围盒大小实现控制Z变量在合适的范围内变化,最终实现相向互动。
[0009]所述方法包括:
[0010]第一步:对获取的一帧图像进行图像分割并将图像进行二值化;
[0011]第二步:求二值化后的图像的质心坐标,包围盒大小以及左上角坐标;
[0012]第三步:计算质心坐标差值向量并根据包围盒大小和坐标确定三维虚拟场景中人 手移动的方向和距离;
[0013] 第四步:使用opengl自带的函数glTranslatef (dx,dy,dz)移动虚拟环境中的三维 人手,若一个方向的改变量远大于另一个方向,那么只考虑主方向运动;
[0014]第五步:判断帧数是否大于给定值,若小于,则返回第一步;若等于,则采用最小二 乘法拟合直线,并求出相关系数,然后返回第一步,若大于,则计算当前质心到直线的距离h
(公式3:. 7)
[0016]其中k表示直线斜率,b表示截距,(xo,yo)表示当前质心坐标点,转入第六步;
[0017] 第六步:判断是否连续3帧图像获得的距离都大于设定值C0,若不是,则表明在规 定的直线束范围内,转入第七步,如果是,则重新拟合直线,返回第一步;
[0018] 第七步:判断该方向物体个数,若只有一个,则计算人手与物体的距离,然后转入 第八步;若有多于一个的物体,则通过高光显示提示用户是否相对该物体操作,若用户静止 不动,则表示不是该物体,若用户向前移动,则表示用户要对该物体操作,然后计算人手与 物体的距离,转入第八步;
[0019] 第八步:判断人手是否能够得到物体,若够不到,则将物体向人手移动到合适的位 置;若能够到,则判断人手与物体的距离是否小于给定值ho,最后,通过手势识别,对物体进 行其他操作。
[0020] 所述第一步中是根据肤色模型进行图像分割。
[0021] 所述第一步中的将图像进行二值化是这样实现的:如果图像中是肤色,则置为一, 否则置为零。
[0022]所述第二步是这样实现的:
[0023]根据求质心坐标公式求得二值化后的图像的质心坐标,包围盒大小以及左上角坐 标:
0 R ^ 0
[0025] 其中,(Xc,y。)表示质心坐标;% = {t n ,n^为图像的像素点的灰度,有为1, ? 1 R-255 无为〇;i表示行,j表示列;R是彩色图像RGB中的红色分量;Xl像素点的横坐标,^像素点的竖 坐标;
[0026] = max{(x,_y) | /(x,j;)矣 0,x,>' g iV.十且x<400,y<300}
[0027] X隱=min'{(x,3;) | /(x,_y)式 0,x,.v g且x<400,y<300}
[0028] >隨、=max{(x,j;) | /(.x,j,)矣 0,x,_>' e iVr+且x<400,y<300} J
[0029] ^,n = min{(x, v) | f(x,y) ^ 0,x, v g A/+^x<4〇〇,y<3〇o}
[0030]其中:
[0031] Xmax表示满足f(x,y)乒0,x,yGN+且x<400,y<300的横坐标的最大值
[0032] Xmin表示满足f(x,y)乒0,x,yGN+且x<400,y<300的横坐标的最小值
[0033] Ymax表示满足f(x,y)乒0,x,yGN+且x<400,y<300的纵坐标的最大值
[0034] Ymin表示满足f (x,y)乒0,x,yGN+且x<400,y<300的纵坐标的最小值,
[0035 ] f (x,y)辛0表示二值化图像中坐标点(x,y)的像素值不为0,x为像素点的横坐标,x 为0到400的正整数;y表示像素点的纵坐标,y为0到300的正整数;max为求最大值函数,min 为求最小值函数;
[0036] 包围盒宽度:L = Xmax-Xmin ;包围盒高度:W = Ymax-Ymin ;左上角坐标P ( X,y) = ( Xmin, Ymin) 〇
[0037]所述第三步是这样实现的:
[0038] 质七、坐?不差值:(5x,5y) 一 ( Xnow, y now ) - ( Xf ormer , Y former )万向:(_3x,_5y ) V.\-,为')*.3.0 (L,W)g.S\ ' (Sx,Sy)* 2.5 (L,W)gS2
[0039] 距离:h=丨、(知,6>)=* 2.0 (L,W)eS3 > (Sx,Sy)* 1.5 (L,W)eS4 〇y.vV>>)*l_0 (LW)eS5
[0040] Sl = {(L,ff) |210<L<285,180<ff<240}
[0041 ] S2={(L,ff) 1185<L<210,145<ff<180}
[0042] S3={(L,ff) 1150<L<185,120<ff<145}
[0043] S4={(L,ff) 1110<L<150,100<ff<120}
[0044] S5={(L,W) |97<L<110,85<W<100}。
[0045] 其中,L表示包围盒宽度;W表示包围盒高度,31,32,33,34,35表示包围盒大小€(1, W)是质心坐标差值的映射函数,(Sx,Sy)表示质心坐标差值所述第五步中的给定值为8。 [0046] 所述第六步中的C0 = 8。
[0047] 所述第八步中的ho = 0.4。
[0048]所述第八步中的其它操作包括:旋转,缩放,平移。
[0049]所述第八步中的手势识别采用基于Hausdorff距离的模板匹配算法来实现,即将 获得的特征与库文件分别计算Hausdorff?距离,距离越小,表示特征点匹配的越好。
[0050] 与现有技术相比,本发明的有益效果是:
[0051] 本发明提出了基于最小二乘法拟合直线束来预测用户的运动轨迹,从而确定用户 想要操作的物体,然后根据虚拟场景中人手与物体的距离来确定操作对象。本方法本身也 是利用基于上下文信息来实现的。实验表明,本发明提出的基于包围盒大小来控制Z变量变 化,得到很好的效果;在用户有目的的移动的情况下,拟合直线束预测用户想要操作的物体 的正确率达87%以上。
【附图说明】
[0052] 图1 opengl图像显示原理 [0053]图2摄像捕获图像示意图
[0054] 图3 matlab拟合直线束 [0055]图4本发明方法的步骤框图。
【具体实施方式】
[0056]下面结合附图对本发明作进一步详细描述:
[0057]基于上下文信息的隐式交互,在虚拟场景中得到了广泛的应用和研究。基于普通 摄像头下获得的二维平面图像很难控制虚拟场景中的三维人手的运动。在操作过程中,人 手对物体的选择大都采用碰撞检测,然而碰撞检测的时间复杂度很高,尤其是在场景较为 复杂的虚拟环境中。为了解决这个问题,本发明进行了以下创新:(1)提出了一种场景态势 感知的新方法;(2)利用最小二乘法拟合平行线束,判断用户想要操作的意图,并且采用包 围盒大小实现控制Z变量在合适的范围内变化。
[0058]本发明方法具体如下:
[0059] -,准备工作:
[0060] 1图像分割
[0061] 在图像分割之前首先要对图像进行滤波,去除噪声,当然也会使得原图变得平滑 (BP:模糊)。然后再对滤波后的图像进行分割。目前常用的图像分割的方法可以分为:阈值 分割法(请参考:唐好魁.基于双肤色模型的肤色分割方法的研究[D].山东大学,2009),边 缘检测法(请参考:路凯,李小坚,周金祥.基于肤色和边缘轮廓检测的手势识别[J].北方工 业大学学报,2006,03:12-15;张春雪.图像的边缘检测方法研究[D].江南大学,2011.)和区 域分割法以及结合定理工具的分割方法。此外还有屈晶晶(请参考:屈晶晶,辛云宏.连续帧 间差分与背景差分相融合的运动目标检测方法[J].光子学报,2014,07:219-226.)等人提 出的连续帧间差分与背景差分相融合的分割方法。本发明参照采用肤色模型(请参考:唐好 魁.基于双肤色模型的肤色分割方法的研究[D].山东大学,2009)(YCbCr)的将人手和背景 分割开来,并将图像二值化。
[0062] 2特征提取
[0063]特征提取的方法多种多样。陶桑彪等人(请参考:陶桑彪,焦国太.静态手势图像轮 廓特征提取算法研究[J].山西电子技术,2015,02:90-91)提出一种轮廓与肤色统计融合的 静态手势轮廓特征提取算法,先通过肤色将手势轮廓提取出来,然后再提取轮廓的信息。朱 继玉等提出了一种新颖的手势分割和整体及局部手势特征提取算法.用模糊集合来描述视 频流中空域和时域上的背景、颜色、运动等信息,通过对它们执行模糊运算,分割出人手;任 海兵(请参考:任海兵,徐光祐,林学阇.基于特征线条的手势识别[J].软件学报,2002,05: 987-993)等人通过融合颜色、运动和边缘等多种信息以提取能够反应人手结构特性的特征 线条,并将特征线条分割成小的曲线段,并跟踪这些曲线段的运动。冯志全(请参考:冯志 全,杨波,郑艳伟,徐涛,李毅,朱德良.基于特征点分布分析的手势特征检测方法[J].计算 机集成制造系统,2011,11:2333-2338+2340-2342)等人提出的手势特征点分离算法,将手 势外接圆半径等分成不同的区域,然后再提取特征。这种方法简单而且具有一定的旋转和 缩放不变性。本发明就采用文献(冯志全,杨波,郑艳伟,徐涛,李毅,朱德良.基于特征点分 布分析的手势特征检测方法[J].计算机集成制造系统,2011,11:2333-2338+2340-2342)的 方法,提取手势的特征点。
[0064] 3手势动作识别
[0065]手势识别的方法主要有:模板匹配法,统计识别法,模糊识别法和人工神经网络分 类法,以及形状匹配法。常用的形状匹配法有不变矩法、几何参数法、特征模表示法、边界方 向直方图法、小波重要系数法,以及我国学者研究发表的小波轮廓表示法等。本发明使用的 手势识别的方法是基于Hausdorff距离(请参考:张良国,吴江琴,高文,姚鸿勋.基于 Hausdorff距离的手势识别[J].中国图象图形学报,2002,11:43-49)的模板匹配算法。就是 将获得的特征与库文件分别计算Hausdorff?距离,距离越小,表示特征点匹配的越好。具体 算法如下:
[0066]设A,B为两个点集分别有N个和M个元素,则A,B间的Hausdorff距离H(A,B)定义为
[0067] H(A,B)=max{h(A,B),h(B,A)} (公式 1.1)
[0068] 代码如下: Temp-Cnt =0; I or I =0:N For J - 0:M
[0069] Temp = mi-n| |A.i-Bj'| |. Cnt=Max{temp, Cnt} 二 cnt
[0070] 同理,即可求出h(B,A),从而得到H(A,B)。
[0071] 二,场景建模
[0072] 1图像显示简介
[0073] 在虚拟环境中,由于OpenGL图像显示的原理,如图1所示。
[0074]不同的xy平面(Z = C的平面),移动相同的距离(D),在屏幕上显示物体的移动却不 同(即:离视点越近,在屏幕上移动的距离越大)。所以,对于虚拟场景中的不同物体(它们的 Z轴坐标可能并不相同),既不能采用相同的函数去移动它们。
[0075]而且,在普通摄像头下获得的二维图像,很难控制虚拟场景中三维手在三维空间 的移动。所以很多研究者都采用动画的方式来避免这么问题。本发明则利用距离摄像头越 近,获得的手势的包围盒越大这个原理如图2所示,将这一分量,用来控制Z轴坐标的变化。 [0076] 2确定映射关系
[0077]通过大量的实验,计算同一年龄段(20-26)每一个人的人手(区分男女)在距离摄 像头一定距离下(D),包围盒的大小。根据统计学中概率公式
(公式2. 1) (公式2. 2)
[0080]求出L和W。然后,统计不同距离范围下的包围盒的大小,得到表1:
[0082]表 1
[0083] DL = Px(包围盒起始点的横坐标),DR = 400-L-Px;
[0084] DU = Py(包围盒起始点的纵坐标),DW=300-W-Py;
[0085] 其中,DL为向左移动的距离,DR为向右移动的距离;DU为向上移动的距离,DW为向 下移动的距离。从而可以得到人手在这些区域可以移动的范围。
[0086]在已有的三维场景中,各个物体的三维坐标相对于虚拟人手初始位置的坐标都是 确定的。那么便可以根据包围盒的大小(因为包围盒一定的情况下,人手的可移动范围基本 不变)确定映射关系。 '1<\ * £1,5 c A2 * K2 , S ^ S2
[0087] f(5) = \ ' 一 (公式2. 3) M * A,4,6' g 54 15 ^ K5 , S- c 55 k6 ^ K6,5 c SQ 0.05,5 c SI 0.10,5 cS2 0.LH53 i
[0088] 從=n,7 c-C/1 (公式2.4) 0.17,5 c S4 0.20,5 c ^5 0.25,5^56
[0089] 其中
cU为人手可移动的距离;i = l,2-_6,kh-k6表示系数由实验确定, D表示虚拟人手距离物体的距离(是一个可以变化量),系统会根据包围盒的大小S(属于哪 个范围)来确定z坐标的该变量如SZ函数所示,并且确定虚拟人手的移动距离如f(S)函数所 不。
[0090] 三,基于场景态势感知的交互算法
[0091] 1基于最小二乘法拟合(请参考:武汉大学测绘学院.误差理论与测量平差基础 [M].武汉:武汉大学出版社,2003)运动轨迹(折线段)算法
[0092]根据一般(斜率存在情况下)直线方程:
[0093] y i = axi+b (i = l,2,...,n) (公式 3.1)
[0094]式中(Xi,yi)为测点坐标,a为直线的斜率,b为y轴的截距,a、b为待估参数,aQ、bo为 它们的近似值。令
[0095] a = ao+8a
[0096] b = bo+8b
[0097] 以y作为因变量,以x为自变量,误差方程为
[0098] ryi. = [r^l] ~ rs) (公式3:. 2) 例
[0099]误差方程矩阵表达式
[0100] A8x = l+V (公式 3.3)
[0101] 其中
[0103]按最小二乘法则
[0104] VTV=min (公式 3.4)
[0105] 艮p
[0106] ^ ax^b-y^ =min /:=1
[0107] 因变量残差
[0108] V=A8X-1 (公式 3.5)
[0109] 将实验获取的部分质心坐标,用MATLAB进行仿真得到仿真图,如图3所示。并求出 直线方程与算法代码所求的完全一致,证明了拟合直线算法的正确性。
[0110]如图3所示:中间的一条直线是根据前几帧的坐标点(图中正方形)拟合出的,红色 的点为预测后的点,根据该点距离拟合直线的距离是否小于Co来判断人手是否在平行线 内,进而预测人手移动的具体方向。该方法在离线的情况下,人有目的的移动时取得了很好 地效果。
[0111] 2场景态势感知与交互算法
[0112] 通过包围盒的大小以及每帧图像中人手的质心坐标,来控制虚拟环境中三维人手 的空间坐标。并且根据上下文(质心的位置)拟合直线,确定直线束,预测人手移动的方向, 并判断该方向是否有物体,以及三维人手与物体的距离。然后进行其他操作,具体算法如图 4所示,包括:
[0113] 第一步:对获取一帧图像,根据肤色模型进行图像分割并将图像进行二值化(是肤 色置为一,不是置为零)
[0114]第二步:根据求质心坐标公式(请参考:张孟忠.用数学归纳p法推导质心公式[J]. 九江师专学报,2002,05:46-47)
(公式3. 6)
[0116]求二值化后的图像的质心坐标,包围盒大小以及左上角坐标。
[0117]第三步:计算质心坐标差值向量(大小和方向)并根据包围盒大小和坐标确定三维 虚拟场景中人手移动的方向(dx,dy,dz)和距离
[0118] 第四步:使用opengl自带的函数glTranslatef (dx,dy,dz)移动虚拟环境中的三维 人手,若一个方向(假设为X轴方向)的改变量远大于另一个方向(Y轴方向),那么可以只考 虑主方向运动。
[0119] 第五步:
[0120] 判断帧数是否大于给定值(设为8)
[0121] 若小于,则返回第一步;
[0122] 若等于,则:采用最小二乘法拟合直线,并求出相关系数返回第一步。
[0123] 若大于,则:计算当前质心到直线的距离H
(公式3. 7)
[0125] 其中k表示直线斜率,b表示截距,(XQ,yQ)表示当前质心坐标点,执行第六步
[0126] 第六步:
[0127] 判断是否连续3帧图像获得的距离都大于设定值C0,若不是则表明在规定的直线 束范围内,执行第七步。如果是,那么重新拟合直线,返回第一步。
[0128] 第七步:
[0129] 判断该方向物体个数
[0130] 1)若只有一个则:计算人手与物体的距离,执行第八步
[0131] 2)若有多个物体,则:通过高光显示提示用户是否相对该物体操作,若用户静止不 动,则表示不是该物体,若用户向前移动,那么认为用户要对该物体操作,然后计算人手与 物体的距离,执行第八步。
[0132] 第八步:判断人手是否能够得到物体
[0133] 1)若够不到,则将物体想人手移动到合适的位置,方便对物体进行其他操作。
[0134] 2)若可以够着,判断人手与物体的距离是否小于给定值(手已在物体旁)
[0135] 最后,通过识别一系列的动作,对物体进行其他操作。例如:旋转,缩放,平移等等。
[0136] 下面通过实验来验证本发明方法的技术效果:
[0137] 让实验者(60人)在实验室环境光照恒定的环境下,完成抓取虚拟场景中的物体A, B,C,D,并进行其他简单操作的实验。首先,将实验人员划分为人数相等的两部分,分别记为 A队,B队。其次,明确告诉A队成员实验内容即:先朝哪个物体运动,运动的速度等等。待A队 成员全部熟悉实验环境和操作步骤后,做实验。并记录实验数据输出到文本文件中。第三, 统计分析根据实验数据(电脑获取的质心位置以及包围盒大小和预测的结果),调整直线束 的宽度C0,以及临界相关系数k^ks,…,k 6。然后经过反复多次实验,根据实验数据(有目的 性的),确定最终的系数为:〇) = 0.39,匕=0.375,1? = 0.31,1? = 0.29,1^4 = 0.275,1? = 0.26, k6 = 0.25〇
[0138] 最后,让B队实验人员在相同的实验环境下和灯光下,进行实验。等到实验者能够 比较熟练的完成一个实验时。将参数按照实验结果修改好,并且添加预测提示函数(根据系 统预测出想要操作的物体,在达到一定的距离时确认并弹出对话框提示给实验者)。接下来 就是验证算法的正确性了。
[0139] 在不告诉实验者怎样抓取,以及怎样移动人手(只要求自己有目的的抓取)的前提 下,让B组的实验人员做实验。每做完一次实验,让实验者填写实验提示是否正确并记录。每 个实验者完成抓取动作10次。并将每次的数据,放入MATLAB中作图,判断数据是否符合有目 的性,并对无效数据经行删除。
[0140]通过大量实验得到,将算法预测的结果的正确率,如表2所示
[0142] 表2
[0143] 实验表明:在实验者有目的性的抓取时,用最小二乘法拟合出的直线束来预测用 户想要操作的物体,正确率达87%。
[0144] 在实验者有目的性的抓取想要操作的物体时,采用最小二乘法拟合直线束来预测 实验者想要操作的物体,取得了良好的效果。大大减少了实验者的操作负荷,节约了操作时 间,尤其是在复杂的三维场景下。其次,通过包围盒的大小,来控制Z轴变量的在合适的范围 内变化,进而实现平面图像下的人手移动虚拟场景用的三维人手的目的。最终实现了更为 人性化的人机交互。
[0145] 上述技术方案只是本发明的一种实施方式,对于本领域内的技术人员而言,在本 发明公开了应用方法和原理的基础上,很容易做出各种类型的改进或变形,而不仅限于本 发明上述【具体实施方式】所描述的方法,因此前面描述的方式只是优选的,而并不具有限制 性的意义。
【主权项】
1. 一种基于场景态势感知的人机交互方法,其特征在于:所述方法利用最小二乘法拟 合平行线束,判断在平行线束内的物体距离直线的距离,根据该物体与虚拟手的距离来判 断用户的操作意图,并且采用包围盒大小实现控制Z变量在合适的范围内变化,最终实现相 向互动。2. 根据权利要求1所述的基于场景态势感知的人机交互方法,其特征在于:所述方法包 括: 第一步:对获取的一帧图像进行图像分割并将图像进行二值化; 第二步:求二值化后的图像的质心坐标,包围盒大小以及左上角坐标; 第三步:计算质心坐标差值向量并根据包围盒大小和坐标确定三维虚拟场景中人手移 动的方向和距离; 第四步:使用opengl自带的函数glTranslatef (dx,dy,dz)移动虚拟环境中的三维人 手,若一个方向的改变量远大于另一个方向,那么只考虑主方向运动; 第五步:判断帧数是否大于给定值,若小于,则返回第一步;若等于,则采用最小二乘法 拟合直线,并求出相关系数,然后返回第一步,若大于,则计算当前质心到直线的距离h其中k表示直线斜率,b表示截距,(XQ,yQ)表示当前质心坐标点,转入第六步; 第六步:判断是否连续3帧图像获得的距离都大于设定值C0,若不是,则表明在规定的 直线束范围内,转入第七步,如果是,则重新拟合直线,返回第一步; 第七步:判断该方向物体个数,若只有一个,则计算人手与物体的距离,然后转入第八 步;若有多于一个的物体,则通过高光显示提示用户是否相对该物体操作,若用户静止不 动,则表示不是该物体,若用户向前移动,则表示用户要对该物体操作,然后计算人手与物 体的距离,转入第八步; 第八步:判断人手是否能够得到物体,若够不到,则将物体向人手移动到合适的位置; 若能够到,则判断人手与物体的距离是否小于给定值ho,最后,通过手势识别,对物体进行 其他操作。3. 根据权利要求2所述的基于场景态势感知的人机交互方法,其特征在于:所述第一步 中是根据肤色模型进行图像分割。4. 根据权利要求3所述的基于场景态势感知的人机交互方法,其特征在于:所述第一步 中的将图像进行二值化是这样实现的:如果图像中是肤色,则置为一,否则置为零。5. 根据权利要求4所述的基于场景态势感知的人机交互方法,其特征在于:所述第二步 是这样实现的: 根据求质心坐标公式求得二值化后的图像的质心坐标,包围盒大小以及左上角坐标:其中,U,y。)表示质心坐标,mu为图像的像素点的灰度,有为1,无为 〇;i表示行,j表示列;R是彩色图像RGB中的红色分量;Xl像素点的横坐标,η像素点的竖坐 标;其中: Xmax表示满足f(x,y)乒0,x,yeN+且x<400,y<300的横坐标的最大值 Xmin表示满足f (x,y)乒0,x,yeN+且x<400,y<300的横坐标的最小值 Ymax表示满足f(x,y)乒0,x,yeN+且x<400,y<300的纵坐标的最大值 Ymin表示满足f (x,y)乒0,x,yeN+且x<400,y<300的纵坐标的最小值, f (X,y)辛0表示二值化图像中坐标点(X,y)的像素值不为0,X为像素点的横坐标,X为0 到400的正整数;y表示像素点的纵坐标,y为0到300的正整数;max为求最大值函数,min为求 最小值函数; 包围盒宽度:L = Xmax-Xmin;包围盒高度:W = Ymax-Ymin;左上角坐标P ( X,y ) = ( Xmin,Ymin )。 6 .根据权利要求5所述的基于场景态势感知的人机交互方法,其特征在于:所述第三步 是这样实现的: 质;Lj'丰不·直(δχ , 5y ) - ( Xnow , ynow) - ( Xformer , ?former )力.向:(_δχ,) ( Xnc)w,ync)w)当目|J 质心点坐标,(Xf _er,yf _er )上一帧图像质心点坐标距离 Sl = {(L,ff) |210<L<285,180<ff<240} S2={(L,ff) 1185<L<210,145<ff<180} S3={(L,ff) 1150<L<185,120<ff<145} S4={(L,ff) 1110<L<150,100<ff<120} S5={(L,W) |97<L<110,85<W<100}。 L表示包围盒宽度;W表示包围盒高度,31,32,33,34,35表示包围盒大小€(1^,1)是质心 坐标差值的映射函数,(Sxjy)表示质心坐标差值。7. 根据权利要求6所述的基于场景态势感知的人机交互方法,其特征在于:所述方法包 括:所述第五步中的给定值为8。8. 根据权利要求7所述的基于场景态势感知的人机交互方法,其特征在于:所述第六步 中的C0 = 8。9. 根据权利要求8所述的基于场景态势感知的人机交互方法,其特征在于:所述第八步 中的 ho = 0.4; 所述第八步中的其它操作包括:旋转,缩放,平移。10.根据权利要求9所述的基于场景态势感知的人机交互方法,其特征在于:所述第八 步中的手势识别采用基于Hausdorff距离的模板匹配算法来实现,即将获得的特征与库文 件分别计算Hausdorff距离,距离越小,表示特征点匹配的越好。
【文档编号】G06F3/01GK105929947SQ201610237410
【公开日】2016年9月7日
【申请日】2016年4月15日
【发明人】冯志全, 蔡萌萌, 栾敏
【申请人】济南大学
再多了解一些
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1