一种基于深度相机偏离用户手势控制的标定方法和装置与流程

文档序号:24193241发布日期:2021-03-09 15:51阅读:来源:国知局

技术特征:
1.一种基于深度相机偏离用户手势控制的标定方法,包括1号坐标系和2号坐标系,当前空间坐标系中心是1号深度相机,z轴是深度相机深度方向;1号深度相机安装到屏幕前方任意位置,用于采集整个屏幕数据;其特征在于:所述方法包括以下步骤:步骤1、1号深度相机采集数据进行三维重建;步骤2、由屏幕4个特征点生成空间像素点;步骤3、将像素点模型pixobj点坐标投影到屏幕三维网格模型obj上,从而使得像素点模型点坐标替代屏幕像素点坐标;步骤4、1号深度相机采集屏幕三维网格模型obj数据,通过屏幕三维网格模型obj数据创建像素点模型pixobj数据,2号深度相机采集空间手势坐标,将1号深度相机坐标系下的像素点模型pixobj变换到2号深度相机坐标系下从而实现空间手势坐标、pixobj、屏幕像素坐标关系一一对应;步骤5、如果空间手势坐标提供指向方向,则空间手势坐标按照指向方向投影到像素点模型pixobj表面,寻找最近点,查询点编号即可得出对应的屏幕像素点坐标;如果空间手势坐标未提供指向方向,那么在空间直接寻找像素点模型pixobj最近点,查询点编号即可得出对应的屏幕像素点坐标。2.根据权利要求1所述的方法,其特征在于:所述步骤1具体为:步骤1.1、通过1号深度相机获取三维场景空间点;步骤1.2、通过手动方式或者自动方式选取特征点,特征点位置为屏幕4个角,顺序依次为左上角、右上角、右下角、左下角;步骤1.3、未被4个特征点所包含的三维场景空间点删除掉,删除前将4个特征点进行扩大处理防止误删;步骤1.4、剩余的三维场景空间点,采用delaunay三角剖分算法进行三角剖分,最终得出屏幕三维网格模型数据定义为obj。3.根据权利要求2所述的方法,其特征在于:在步骤2中,根据屏幕像素尺寸w,h;空间特征点坐标p1,p2, p3, p4;计算屏幕每一个像素点对应的像素点模型坐标,具体为:步骤2.1、计算p1(x1,y1,z1)与p2(x2,y2,z2)之间距离d:d= (1)步骤2.2、计算横向空间像素点之间距离d:d= (2)步骤2.3、p1沿着p2

p1方向按照距离d依次生成空间像素点坐标,此时不能按照x轴方向生成,因为p1与p2没有保证与x轴平行;步骤2.4、根据步骤2.1、步骤2.2、步骤2.3方法生成纵向空间像素点坐标;步骤2.5、生成的空间像素点坐标,每个点的索引值对应屏幕像素坐标值;步骤2.6、生成的空间像素点进行三角剖分得出像素点模型pixobj。4.根据权利要求3所述的方法,其特征在于:所述步骤3具体为:步骤3.1、确定投影方向,p1、p2、p3、p4,形成2组平面,p1p2p3形成a面,p3p4p1形成b面,a面向量与b面向量平均值得出投影向量: =
ꢀꢀ
x (3)

=
ꢀꢀ
x (4) =(5)步骤3.2、遍历像素点模型pixobj所有点,依次投影到屏幕三维网格模型obj表面,obj是由无数个三角面片组成的复杂曲面,像素点模型点按照向量向obj所有三角面片依次求交点得出新的投影点,更新像素点模型pixobj;步骤3.3、像素点模型pixobj投影到屏幕三维网格模型obj表面后会出现点间距不等问题,采用模型横向平滑与纵向平滑,平滑后再次执行步骤3.2;执行步骤3.3次数越多精度越高。5.根据权利要求4所述的方法,其特征在于:在1号深度相机与2号深度相机之间添加配准板,配准板正反面标有abc三个顶点,1号与2号深度相机采集到配准板数据后,通过手动标注,或者自动识别配准板上标签点来确定a、b、c三点空间坐标,利用a、b、c三点来实现两个坐标系变换的过程具体步骤如下:步骤4.1、1号深度相机在采集屏幕三维网格模型obj数据同时能够采集到配准板数据,标注点a1、b1、c1;步骤4.2、2号深度相机安装位置采集配准板数据,标注点a2、b2、c2;步骤4.3、1号深度相机采集数据进行缩放,计算缩放系数β;β1=(6)β2=(7)β3=(8)β=(9)步骤4.4、按照β对a1、b1、c1和像素点模型pixobj进行缩放;步骤4.5、采用icp算法计算出最优匹配参数r和t,误差函数e(r, t)为:e(r,t)=(10)其中n为最邻近点对的个数,表示目标点云p中的一点,表示源点云q中与对应的最近点,r为旋转矩阵,t为平移向量;将像素点模型pixobj按照r和t进行变换,完成pixobj变换到2号深度相机坐标系下,实现空间手势坐标与像素点模型在同一坐标系下。6.根据权利要求5所述的方法,其特征在于:所述如果空间手势坐标提供指向方向,则空间手势坐标按照指向方向投影到像素点模型pixobj表面,寻找最近点,查询点编号即可得出对应的屏幕像素点坐标,具体为:步骤5.1、空间手势坐标p按照手势指向方向n与pixobj进行投影,p点与pixobj所有三角面片求交点;步骤5.2、在pixobj寻找最近点m,获取m点序号n;步骤5.3、序号n转换像素坐标pix(x,y), w为屏幕像素宽,h为屏幕像素高;x=(11)
y=(12)。7.一种基于深度相机偏离用户手势控制的标定装置,其特征在于:所述装置由深度相机、托盘、1号伸缩杆、两个直角连接件、1号连接件、两个底座、两个垂直连接件、2号伸缩杆、2号连接件、3号伸缩杆和配准板组成;所述深度相机包括1号深度相机和2号深度相机,1号深度相机放置在托盘上,2号深度相机放置在屏幕上方,1号伸缩杆用于支撑托盘,所述1号伸缩杆的另一端与直角连接件连接,所述直角连接件的另一端与1号连接件连接,所述1号连接件的另一端与垂直连接件连接,所述垂直连接件还分别与2号伸缩杆和底座连接,所述2号伸缩杆的另一端与另一个垂直连接件连接,所述另一个垂直连接件还分别与2号连接件和另一个底座连接,所述2号连接件的另一端与另一个直角连接件连接,所述另一个直角连接件的另一端与3号伸缩杆连接,所述3号伸缩杆的另一端与配准板连接,所述装置放置于屏幕前方。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1