1、12。利用标定好的参数K1、K2、T1、R1，对采集的立体像对进行双目立体匹配，得到11、12两幅图像像素之间的匹配关系。利用匹配关系及参数K1、K2、T1、R1进行三维重建，这里第一摄像头的成像模型投影矩阵为Kl [I I O]，第一摄像头的成像模型投影矩阵为K2 [Rl I Tl]，故重建点云是建立在第一摄像头坐标系下的。利用设定好的人体部分点云的范围即距离摄像头的距离阈值，在重建点云中分割出人体部分的点云。
[0043]4)将步骤3)分割出的人体部分点云投影到步骤2)所采集的图像中，确定出人在图像中的区域，并在所述的区域中进行基于图像的人脸和人眼检测，将人体部分点云通过投影矩阵K1[I|0]反投回第一摄像头所拍图像Il中。对点云在图像中的投影点进行膨胀操作，确定出点云覆盖的图像区域F。在F中利用人脸检测算法和眼睛检测算法进行人脸和眼睛的检测。
[0044]所述的人脸检测算法和眼睛检测算法，是通过调用训练好的瀑布级联分类器cascade来进行模式匹配完成。
[0045]在进行基于图像的人脸和人眼检测时，为了检测人头部外斜状态，在图像检测不到人脸时，将图像间隔5?10度旋转，直至检测到人脸，或者将图像间隔第一右旋转角度大于90度为止。
[0046]5)判断是否检测到人脸和人眼睛的信息，如果没有检测到人脸，则无法判断，则返回步骤2)，有则进入步骤6);
[0047]6)如果检测到人脸，判断图像旋转角度是否大于设定阈值，如果图像旋转角度大于设定阈值(如30度)，则人头部不端正，头部歪斜，判定为姿态错误，输出姿态错误信息，返回步骤2)，否则进入步骤7);
[0048]7)判断是否检测到人眼，检测到则进入步骤8)，否则设定检测到的人脸区域中心为人眼位置，进入步骤8);
[0049]8)调入已标定的摄像头坐标系相对于垂直面的旋转变换R2，通过人眼附近的三维点云，计算出人眼到摄像头的垂直距离；所述的计算出人眼到摄像头的垂直距离，是由于重建点云建立在摄像头坐标系下，利用摄像头与垂直面的旋转变换将点云变换到垂直状态，点云沿垂直方向的坐标即为人眼到摄像头的距离。即，利用图像与点云的对应关系，在眼睛附近搜索离其最近的已重建点，并利用标定的第一摄像头与垂直面的旋转变换R2将该点变换到垂直方向，则变换后点云的y轴坐标值即为到第一摄像头中心的垂直距离。如果没有检测到眼睛，则将人脸区域中心认为是人眼位置，将离该位置最近的已重建点经过R2变换后，同样得到其到第一摄像头中心的垂直距离。
[0050]9)将设定的双目摄像头到桌面的距离与人眼到摄像头的距离相加，得出人眼到桌面的垂直距离；
[0051]10)判断步骤9)计算出的人眼到桌面的垂直距离是否大于设定的人眼到桌面的垂直距离阈值，是则判定姿态正确，返回步骤2)，否则判定人眼到桌面距离太近，姿态错误则输出错误结果，返回步骤2)。即，将人眼到第一摄像头中心的垂直距离加上摄像头到支架底部(即桌面)的距离，则得到眼睛到桌面的垂直距离L。如过L大于设定的阈值，则判定坐姿正确，否则，判定坐姿错误；返回继续下一次检测。
【主权项】
1.一种基于双摄像头的坐姿实时检测方法，其特征在于，是对设置在桌面上的由两个同款摄像头构成的双目摄像头所采集的图像进行处理，具体包括如下步骤: 1)进行摄像头内外参数标定； 2)通过双目摄像头采集人体坐姿立体图像； 3)对采集的立体图像对进行立体匹配，根据已标定的摄像头内外参数和匹配结果重建现场空间点云，并根据设定参数，对重建的现场三维点云，保留设定范围的点云作为潜在的人体部分点云； 4)将步骤3)分割出的人体部位点云投影到步骤2)所采集的图像中，确定出人在图像中的区域，并在所述的区域中进行基于图像的人脸和人眼检测； 5)判断是否检测到人脸，没有则返回步骤2)，有则进入步骤6); 6)判断图像旋转角度是否大于设定阈值，如果图像旋转角度大于设定阈值，则人头部不端正，判定为姿态错误，返回步骤2)，否则进入步骤7); 7)判断是否检测到人眼，检测到则进入步骤8)，否则设定检测到的人脸区域中心点为人眼位置，进入步骤8); 8)调入已标定的摄像头坐标系相对于垂直面的旋转变换R2，通过人眼附近的三维点云，计算出人眼到摄像头的垂直距离； 9)将设定的双目摄像头到桌面的距离与人眼到摄像头的距离相加，得出人眼到桌面的垂直距离； 10)判断步骤9)计算出的人眼到桌面的垂直距离是否大于设定的人眼到桌面的垂直距离阈值，是则判定姿态正确，返回步骤2)，否则判定人眼到桌面距离太近，姿态错误则输出错误结果，返回步骤2)。2.根据权利要求1所述的基于双摄像头的坐姿实时检测方法，其特征在于，所述的两个摄像头通过支架水平固定在桌面上，两个摄像头之间间隔为8.5?11.5cm，调节摄像头的仰角为能够将人体坐姿位于图像中部的角度。3.根据权利要求1所述的基于双摄像头的坐姿实时检测方法，其特征在于，步骤I)所述的摄像头标定，包括: (1)在摄像头前方0.5m?2m处设置棋盘格标定板； (2)利用双目摄像头同步拍摄若干组棋盘格标定板图像，利用基于平面的双目立体标定算法，标定出两个摄像头的内参数矩阵Kl和K2，及外参数即第二个摄像头相对第一个摄像头的平移Tl和旋转变换R1，设定第一个摄像头的外参数是单位阵I和〔0，0，0〕τ,则第二个摄像头的外参数是Rl和Tl ; (3)利用第一摄像头拍摄垂直摆放的棋盘格标定板，基于已标定内参数Kl和Κ2通过PnP算法，标定出摄像头坐标系相对于垂直面的旋转变换R2 ; (4)将所有标定出的参数存储到系统文件中。4.根据权利要求1所述的基于双摄像头的坐姿实时检测方法，其特征在于，步骤3)所述的设定参数，包括:设定人与摄像头之间的距离范围为0.5?1.5m ;人体部分点云范围，即长宽高均为0.7m的立方体范围内；摄像头位置到桌面的距离。5.根据权利要求1所述的基于双摄像头的坐姿实时检测方法，其特征在于，步骤4)中进行基于图像的人脸和人眼检测时，为了检测人头部歪斜状态，在图像检测不到人脸时，将图像间隔5?10度左右旋转，直至检测到人脸，或者将图像间隔左右旋转角度大于90度为止。6.根据权利要求1所述的基于双摄像头的坐姿实时检测方法，其特征在于，步骤4)所述的人脸和人眼检测，是通过调用训练好的瀑布级联分类器cascade来进行模式匹配完成。7.根据权利要求1所述的基于双摄像头的坐姿实时检测方法，其特征在于，步骤8)所述的计算出人眼到摄像头的垂直距离，是由于重建点云建立在摄像头坐标系下，利用摄像头与垂直面的旋转变换将点云变换到垂直状态，点云沿垂直方向的坐标即为人眼到摄像头的距离。
【专利摘要】一种基于双摄像头的坐姿实时检测方法：进行摄像头内外参数标定；通过双目摄像头采集人体坐姿立体图像；对采集的立体图像对进行立体匹配，保留设定范围的点云作为潜在的人体部分点云；将分割出的人体部位点云投影到所采集的图像中进行基于图像的人脸和人眼检测；判断是否检测到人脸；判断图像旋转角度是否大于设定阈值；判断是否检测到人眼；调入已标定的摄像头坐标系相对于垂直面的旋转变换R2，通过人眼附近的三维点云，计算出人眼到摄像头的垂直距离；将设定的双目摄像头到桌面的距离与人眼到摄像头的距离相加，得出人眼到桌面的垂直距离；判断人眼到桌面的垂直距离是否大于设定的垂直距离阈值。本发明实时自动检测人体的坐姿，对坐姿的正确与否给出判断。
【IPC分类】G06T17/00, G06T19/00, G06K9/00
【公开号】CN105139447
【申请号】CN201510486671
【发明人】史利民, 李峰
【申请人】天津中科智能技术研究院有限公司
【公开日】2015年12月9日
【申请日】2015年8月7日