一种基于立体视觉的虚拟触摸板方法与流程

文档序号:14194908阅读:680来源:国知局
一种基于立体视觉的虚拟触摸板方法与流程

本发明属于计算机视觉交互,涉及一种基于立体视觉的虚拟触摸板方法。



背景技术:

近些年来,便携键盘和鼠标虽然能够完成大部分的交互任务,但需要完全占据用户的双手和注意力,在交互的自然性和灵活性方面存在很大的局限性。而基于视觉的人机交互通过成像设备获取交互场景中包含人的视频图像,采用视觉算法对人的行为和交互意图进行识别、理解和描述,提供一种以人为中心的自然的人机交互方式。

人类最习惯用双手与外界进行大部分交互操作,因此基于视觉的手势交互也受到了广泛的关注和研究。经过多年的研究,基于视觉的人机交互技术取得许多进展,但仍然存在许多困难和挑战。

基于穿戴视觉的手势交互系统允许用户自由运动到任何地方,也可以与计算机分享穿戴者的视觉体验,但穿戴环境下人机交互方式的自然性、多样性和人性化等因素都会对交互体验产生重要的影响。

专利“一种基于杂乱背景中的手势跟踪方法,申请号cn201510401525.0”,采用在luv色彩空间中对每一帧图像进行直方图分割,再将分割的不同区域按照肤色的可能性大小排序,通过计算当前帧的不同区域同前面帧中手势区域的距离大小以及对应的每个区域中的运动像素点的个数,确定当前帧的手势区域,并记录手势信息。

专利“指示手势的手指尖定位方法,申请号cn200910198196.9”,是根据指示手势行为中的指示手势的手部特征,自动确定指示手势的手指尖位置。采用背景差分法,提取指示手势对象,运用肤色分割方法,提取指示手势的手部区域,根据指示手势的手指尖位于指示手势的手部边沿轮廓且距离指示手势的手指区域重心最远处,自动确定手指尖点。

专利“手势操作方法、利用手势定位屏幕光标的方法及手势系统,申请号cn201510731772.7”,先获取用户的至少一个特征部位,以所述特征部位所在位置为参考,生成与所述特征部位的位置具有固定相对位置关系的虚拟操作空间,检测所述虚拟操作空间中的手势,并执行相应的操作。

上述前两个发明主要利用肤色特征先进行人手分割然后进行识别和跟踪,虽然基于颜色的人手跟踪算法简单易用,但是对光照条件的变化敏感,很难适应穿戴计算中多变的环境。

上述第3个发明虽然可以获取手势的三维信息,但需提前选定至少一个参照物,且无法区分穿戴者的行为意图。



技术实现要素:

本发明目的在于利用虚拟触摸板提供的空间约束,以一种自然的方式区分穿戴者的交互行为和随意行为,有效解决了视觉交互中无法区分穿戴者行为意图的问题。此外,针对穿戴环境下光照条件和背景变化的不确定性,提出了基于icondensation框架融合轮廓与lbp特征的cl-pgt算法实现指示手势的跟踪。

为解决上述技术问题,本发明采用如下的技术方案:一种基于立体视觉的虚拟触摸板方法,包括以下步骤:

s1,融合多条视觉线索实现指示手势的跟踪;

s2,结合深度信息和摄像机成像模型计算得到指尖的三维位置;

s3,给出虚拟触摸板的定义,并结合指尖的三维位置与虚拟触摸板的深度信息,实现人机交互操作。

进一步地,本发明的步骤s1中,是通过基于icondensation框架融合轮廓与lbp特征的cl-pgt(即contourandlbpbasedpointinggesturetracking)算法实现指示手势的跟踪。

icondensation框架是通过引入重要采样机制对condensation算法(出自论文condensation-conditionaldensitypropagationforvisualtracking,作者m.isard、a.blake,internationaljournalofcomputervision(ijcv),1998,29(1):5-28.)进行的扩展,而condensation算法实际上是粒子滤波器(出自论文novelapproachtonon-linearandnon-gaussionbayesianstateestimation,作者gordonn、salmondd,procofinstituteelectricengineering,1993,140(2):107-113.)的一种变形。

此跟踪算法同时采用运动模型和重要采样两种方式对粒子的状态进行预测,即综合考虑时空约束和基于深度线索的启发式信息来提高粒子采样的准确性和效率。

该策略采用两种线索进行粒子状态的预测,只有两种线索同时预测失败时才会导致跟踪错误。此外,重要采样技术可用于目标状态的重新初始化,为跟踪算法提供了一种从错误中自动恢复的机制。

进一步地,本发明的步骤s2中,利用指示手势的跟踪结果,获取指尖的二维位置,然后计算人手平面与指尖成像直线的交点。

其中,人手平面通过最小二乘法对手势分割所得到的三维离散点集进行拟合得到,而指尖点在成像平面的坐标,通过指示手势跟踪算法计算得到。

进一步地。本发明的步骤s3中,虚拟触摸板并不是实际的硬件,是定义在立体视觉机正前方一定距离且垂直于摄像机光轴的平面,无法被穿戴者看见,但能被穿戴者“触碰”到。

进一步地,本发明的步骤s3中,与虚拟触摸板的“触碰”操作的判定方式是判断手势指尖的深度值是否大于或等于虚拟触摸板到立体视觉机的距离。

其中,人机交互操作包括:指尖点击触摸板模拟鼠标的单击事件,指尖在触摸板上绘制笔划实现手写输入和指尖在触摸板上绘制封闭曲线实现区域的圈取操作。

以目标圈取为例,基于虚拟触摸板的交互概括为如下步骤:(1)将指示手势接触虚拟触摸板,(2)移动指示手势绘制封闭曲线圈取目标区域,(3)将指示手势移离虚拟触摸板结束图取。

本发明与现有技术相比具有以下的有益效果:

(1)本发明以一种自然的方式区分穿戴者的交互行为和随意行为,有效解决了视觉交互中无法区分穿戴者行为意图的问题;

(2)基于icondensation框架融合轮廓与lbp特征的cl-pgt算法实现指示手势的跟踪,解决了穿戴环境下光照条件和背景变化的不确定性。

附图说明

图1是本发明的总体方法流程图。

图2是指示手势的跟踪算法cl-pgt的方法流程图。

图3是计算指尖三维位置示意图。

图4是虚拟触摸板示意图。

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是,此处所描述的具体实施例仅用于解释本发明,而非对本发明的限定。

如图1所示,本发明的基于立体视觉的虚拟触摸板方法,包括以下步骤:

s1:如图2所示,通过基于icondensation框架融合轮廓和lbp特征的cl-pgt算法实现的指示手势的跟踪算法,具体实现步骤如下:

1、初始化

利用人工标注的正负样本训练得到lbp特征的svm分类器svmlbp,初始化粒子集合的状态。

2、粒子滤波跟踪

1)利用因子采样和重要采样产生新的粒子集合:对每个粒子n=1:n

a.产生均匀分布的随机数α∈[0,1);

b.如果满足α≤γ,采用因子采样,即通过基准粒子和运动模型产生新的粒子并令其中,γ是阈值,取值区间为(0,1),用以控制重要采样与因子采样的比例;t表示某个时刻;n表示粒子编号;表示基准粒子,通过对t-1时刻的第n个粒子以概率挑选生成;表示独立于目标状态的零均值高斯白噪声;

c.如果满足α>γ,采用重要采样,即根据重要函数gt(xt)产生新的粒子并令其中,重要函数的函数原型为g(p)=n(p,σ),n(·)表示高斯分布,σ是对应的协方差;状态序列xt={x1,…xt};

2)利用观测方程计算新产生粒子的权重:对每个粒子

a.提取目标区域的lbp特征,并利用如下式子

计算粒子的权重plbp,其中,d表示利用训练得到的svm分类器计算该特征点到分离超平面的距离;

b.利用轮廓线索和如下式子

计算粒子的权重pcon,其中,vm是手势曲线上控制点m与最近的边缘特征之间的距离,θm∈[0,π/2]是控制点m的法线方向与其匹配点梯度方向的夹角,μ,σ是类似于高斯分布的控制参数,m是手势曲线上控制点数目;

c.融合两种特征的粒子权重计算为

其中,αlbp和αcon为不同线索的权重,可以根据经验设定或者通过设置验证集合计算得到;用来保证当n→∞时重要采样函数不会影响粒子集合的一致性表示和后验概率的正确估计。

3)目标t时刻的最终状态可以由粒子集合估计得到

3、重复步骤2继续跟踪,或算法结束。

s2:如图3所示,根据指示手势的跟踪结果,能获取指尖的二维位置,进而可以通过深度图直接获得指尖的深度信息。但穿戴环境下交互场景和光照条件处于动态变化中,很容易导致深度图像的部分缺损,从而导致错误的计算结果。

为实现指尖三维位置的计算,将问题转化为计算人手平面1与指尖成像直线2的交点。

人手平面1可通过最小二乘法对手势分割所得到的三维离散点集进行拟合得到,将其标记为h:a1x+b1y+c1z+d1=0。

指尖成像直线2是代表光线从指尖点经摄像机光心3到达成像点4的过程,将其标记为l:a[r,t](x,y,z,1)t=λ(u,v,1)t,其中a为摄像机内参矩阵,r是旋转矩阵,t是平移矩阵,λ是常量。上述参数可以由摄像机的强标定过程确定。(u,v,l)表示指尖点在成像平面的坐标,可以通过指示手势跟踪算法计算得到。

s3:如图4所示,虚拟触摸板1定义为位于立体视觉机2正前方一定距离且垂直于摄像机光轴的平面。假设d表示虚拟触摸板1到立体视觉机2的距离,d表示手势指尖3的深度值,触碰事件转化为判断条件d≥d是否成立。因此,通过设置合适的距离阈值d即可实现触碰事件的可靠检测。

另外,为向穿戴者提供直观的视觉反馈,系统检测到指尖接触虚拟触摸板时自动在指尖图像位置显示一个绿色的十字。

以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1