专利名称：3d人体姿态捕捉模仿系统的制作方法
技术领域：
本发明涉及一种3D人体姿态捕捉模仿系统。
背景技术：
在很多应用场合，例如体育示教、行为监控、动作分析等，人体姿态希望能够被准确地呈现出来，这在2D空间是很难办到的，只有在3D空间才能实现无损地显示。人的动作丰富多彩，不同的动作往往代表不同的含义，如果能够实时地对人的动作进行识别，进而根据识别结果在3D空间中进行模仿显示，将能够更准确生动地展示、还原人体姿态，极大地方便对人体动作含义的认知与学习。从一幅场景中实时地提取出人体的动作一直是国内外学术界研究的热点，大多数研究是通过构建人体骨架几何模型，对人体关节点位置进行估计，然后利用误差最小原理进行匹配获得的。这样获取的人体姿态能在很大程度上反映人的活动，但是很少有人在三维空间显示获取的人体姿态，导致获取的人体姿态缺乏立体感，不能生动、形象地模仿人的动作。针对上述问题，本发明设计了一种集人体姿态捕捉与3D人体姿态模仿显示于一体的系统，更真实地反映了人的活动，展示效果生动、形象。这种3D人体姿态捕捉模仿系统可应用于很多领域，例如可以安装在车辆上获取驾驶员的驾驶动作，辅助车辆驾驶行为细节数据的获取，更好地服务于智能交通系统；可以安装在肢体病患者恢复中心，病患者可以做一些基本的恢复动作，然后观察三维立体显示器里显示的人体姿态，起到反馈的作用，从而对不规范的动作进行纠正，既能恢复身体健康又能娱乐身心；还可以在三维立体显示器中放映体操、武术、舞蹈等连贯动作，让人们从三维立体显示器中看到准确的姿态指导，达到规范学习的目的。
发明内容
本发明的目的是针对现有技术的需求，提供一种3D人体姿态捕捉模仿系统，能够进行实时人体动作捕捉，并在三维立体显示器中显示出来以模仿人体姿态；同时还能够按要求显示各种人体姿态，用于人体姿态展示。本发明的3D人体姿态捕捉模仿系统，包括人体动作捕捉模块、人体关节点识别和人体姿态处理模块、人体姿态显示模块；其中人体动作捕捉模块包括RGB摄像头、红外发射器、红外接收器；所述RGB摄像头负责采集摄像头环境信息，生成数据帧通过通讯模块传送给人体关节点识别和人体姿态处理模块进行处理，产生可见光图像；所述红外发射器负责发出固定模式的激光散斑；所述红外接收器负责接收红外光，生成红外光图像数据帧通过通讯模块传给人体关节点识别和人体姿态处理模块进行处理，产生红外光图像；将红外光图像每一个像素的散斑图案与标定用的红外光图像对应像素的散斑图案进行互相关运算，取标定用相关性最高的像素的深度值作为此像素的深度值，即得到场景深度图；在可见光图像中，利用人脸识别技术识别出人脸位置，然后利用人体骨架几何模型，估计人体位置，获取人体姿态轮廓图；所述人体姿态显示模块通过通讯模块与人体关节点识别和人体姿态处理模块连接，获取人体关节点识别和人体姿态处理模块的数据命令，按照人体关节点识别和人体姿态处理模块的指令实时显示人体姿态和动作其中人体关节点识别和人体姿态处理模块包括数据存储单元、工作模式选择单元、数据处理单元；工作模式选择单元中包括捕捉模仿人体姿态工作模式和模仿显示人体姿态工作模式，每种工作模式下人体姿态处理方式不同捕捉模仿人体姿态工作模式为人体关节点识别模块获得人体关节点空间分布信息，关节点的坐标是实际物理空间坐标，首先将实际物理坐标系中的人体关节点坐标转化为三维立体显示器中坐标系的空间坐标，将转换后的关节点连接起来以组成完整的人体骨架；获得人体骨架后，对人体骨架进行修饰、校正，使人体姿态更加生动形象；最后控制器对数据进行融合，按三维立体显示器显示所需的格式通过通讯模块发送人体姿态数据指令。模仿显示人体姿态工作模式为将要显示的人体姿态或者动作按照三维立体显示器能够显示的要求存储在存储空间或者数据文本中，人体关节点识别和人体姿态处理模块调用这些数据通过通讯模块发送给三维立体显示器进行显示。其中固定模式的激光散斑是光线通过一组衍射光栅后得到的，保证了即使空间任意两点的散斑图案不相同也能够对整个空间进行标记；用散斑图案记录整个空间，即进行光源标定；其中光源标定的方法为每隔一段距离，取一个参考平面，生成一幅红外光图像，图像上每一个像素都有散斑图案，同时对应地生成一幅深度图，深度图的每一个像素深度值与红外光图像对应像素的散斑图案对应。人体姿态显示模块包括三维立体显示器，该显示器由MXNXP个LED灯组成，每个LED灯分为点亮和熄灭两种状态，通过LED灯的点亮组成图案来显示人体姿态。
图I为本发明3D人体姿态捕捉模仿系统的控制流程框图；图2为本发明3D人体姿态捕捉模仿系统的摄像头安装布局示意图；图3为本发明3D人体姿态捕捉模仿系统的一种人体关节点分布示意图；图4为本发明3D人体姿态捕捉模仿系统的三维立体显示器的一种结构图；图中，I-红外发射器、2-RGB摄像头、3-红外接收器、4_人体关节点、5_第一个LED灯、6-第二个LED灯、7-第三个LED灯、8-第四个LED灯、9-第五个LED灯、10-第六个LED灯、11-第七个LED灯、12-第八个LED灯、13-三维立体显示器的电源接口、14-三维立体显示器的数据接口、15-三维立体显示器。
具体实施例方式下面结合附图，具体说明本发明的优选实施方式。本发明所述3D人体姿态捕捉模仿系统是一种能够实时捕捉人的动作，并且能够在三维立体显示器中进行显示以模仿人体姿态的仪器，具有实时监测人体关节点位置、展示人体姿态等功能。同时，为适应其他需要进行部分人体姿势识别的场合，可以对人体骨架几何模型中人体的关节点数量和位置进行调整，用于人体上肢动作的捕捉和模仿等。
本发明实施例中3D人体姿态捕捉模仿系统的控制流程框图如图I所示，包括控制器、红外发射器I、RGB摄像头2、红外接收器3、通讯模块和三维立体显示器15。所述控制器通过通讯模块分别与RGB摄像头2、红外接收器3相连。所述控制器通过通讯模块与三维立体显示器15相连，所述RGB摄像头2的像素是640 X 480，所述红外接收器3的像素是320X240。安装好摄像头和三维立体显示器15，打开仪器电源开关，所述RGB摄像头2采集摄像头环境信息，生成数据帧，通过通讯模块发送给控制器，生成可见光图像；所述红外发射器I发出棋盘图案的激光散斑，照射到场景中物体上。为了用散斑图案记录空间，需要对空间进行标定，这里只是实现距离RGB摄像头3 4米的空间标定， 测试进行的过程中，要求人站立在这个范围之内。在离RGB摄像头3 4米的空间取100个等分的参考平面，记录下来每个参考平面的红外光图像和深度图像，其中，红外光图像的每个像素都有散斑图案，深度图像的每个像素的深度值与红外光图像每个像素的散斑图案对应。所述红外接收器3接收红外光，生成数据帧，通过通讯模块发送给控制器，生成红外光图像。其次，将红外光图像每一个像素表示的散斑图案与标定用的红外光图像对应像素的散斑图案进行互相关运算，取相关性最大的标定用像素的深度值作为该像素的深度值，从而得到了场景深度图。在可见光图像中，利用人脸识别技术，识别出人脸的位置，然后利用人体骨架几何模型，估计人体位置，获取人体姿态轮廓图。3D人体姿态捕捉模仿系统的摄像头安装布局示意图如图2所示，红外发射器I、红外接收(3和RGB摄像头2共用一个以RGB摄像头中心为原点的三维空间立体坐标系O-XYZ。3D人体姿态捕捉模仿系统的一种人体关节点分布示意图如图3所示，包含有20个关节点，相关的关节点连接起来组成人体骨架。红外接收器3和RGB摄像头2共用一个三维立体空间坐标系0-XYZ，并且RGB摄像头2的像素与红外接收器3的像素是2X2的关系，因此，能够通过可见光图像中人体轮廓图求出场景深度图中的人体轮廓图。利用人体骨架几何模型、关节点位置和数量获取人体关节点在场景深度图中的位置，从而获得了人体关节点的分布和在三维立体空间坐标系O-XYZ中的物理坐标。3D人体姿态捕捉模仿仪的三维立体显示器的一种结构图如图4所示。其中，三维立体显示器由MXNXP个LED灯组成，每个LED灯有点亮和熄灭两种状态，LED灯的控制顺序是LED灯5到LED灯12。为了方便对三维立体显示器中每一个LED灯进行索引，建立了立体空间坐标系O-X' V I'，每个坐标轴上只取整数，代表LED灯的位置。因为获取的人体关节点的坐标是物理空间坐标，为了在三维立体显示器中进行显示，需要确立从坐标系O-XYZ到坐标系O-X' Y' V坐标变换关系，其中X到X'和Y到Y'、2到广的变换比例要求一致，才能使显示的人体姿态不变形。将获取的人体关节点的坐标变换到能在三维立体显示器中显示的点的坐标，然后将相关的关节点连接起来以组成完整的人体骨架，之后对人体骨架进行修饰和校正，使三维立体显示器中显示的人体姿态更加生动、形象。三维立体显示器15获取控制器的数据命令，按照控制器指令点亮或者熄灭LED灯，从而实时显示人体姿态和动作。
权利要求
1.3D人体姿态捕捉模仿系统，其特征在于包括人体动作捕捉模块、人体关节点识别和人体姿态处理模块、人体姿态显示模块；其中人体动作捕捉模块包括RGB摄像头、红外发射器、红外接收器；所述RGB摄像头负责采集摄像头环境信息，生成数据帧通过通讯模块传送给人体关节点识别和人体姿态处理模块进行处理，产生可见光图像；所述红外发射器负责发出固定模式的激光散斑；所述红外接收器负责接收红外光，生成红外光图像数据帧通过通讯模块传给人体关节点识别和人体姿态处理模块进行处理，产生红外光图像；将红外光图像每一个像素的散斑图案与标定用的红外光图像对应像素的散斑图案进行互相关运算，取标定用相关性最高的像素的深度值作为此像素的深度值，即得到场景深度图；在可见光图像中，利用人脸识别技术识别出人脸位置，然后利用人体骨架几何模型，估计人体位置，获取人体姿态轮廓图；所述人体姿态显示模块通过通讯模块与人体关节点识别和人体姿态处理模块连接，获取人体关节点识别和人体姿 态处理模块的数据命令，按照人体关节点识别和人体姿态处理模块的指令实时显示人体姿态和动作。
2.如权利要求I所示的3D人体姿态捕捉模仿系统，其特征在于其中人体关节点识别和人体姿态处理模块包括数据存储单元、工作模式选择单元、数据处理单元；工作模式选择单元中包括捕捉模仿人体姿态工作模式和模仿显示人体姿态工作模式，每种工作模式下人 体姿态处理方式不同 捕捉模仿人体姿态工作模式为人体关节点识别模块获得人体关节点空间分布信息，关节点的坐标是实际物理空间坐标，首先将实际物理坐标系中的人体关节点坐标转化为三维立体显示器中坐标系的空间坐标，将转换后的关节点连接起来以组成完整的人体骨架；获得人体骨架后，对人体骨架进行修饰、校正，使人体姿态更加生动形象；最后控制器对数据进行融合，按三维立体显示器显示所需的格式通过通讯模块发送人体姿态数据指令。
模仿显示人体姿态工作模式为将要显示的人体姿态或者动作按照三维立体显示器能够显示的要求存储在存储空间或者数据文本中，人体关节点识别和人体姿态处理模块调用这些数据通过通讯模块发送给三维立体显示器进行显示。
3.如权利要求I或2所示的3D人体姿态捕捉模仿系统，其特征在于其中固定模式的激光散斑是光线通过一组衍射光栅后得到的，保证了即使空间任意两点的散斑图案不相同也能够对整个空间进行标记；用散斑图案记录整个空间，即进行光源标定。
4.如权利要求3所示的3D人体姿态捕捉模仿系统，其特征在于其中光源标定的方法为每隔一段距离，取一个参考平面，生成一幅红外光图像，图像上每一个像素都有散斑图案，同时对应地生成一幅深度图，深度图的每一个像素深度值与红外光图像对应像素的散斑图案对应。
5.如权利要求I或2所示的3D人体姿态捕捉模仿系统，其特征在于人体姿态显示模块包括三维立体显示器，该显示器由MXNXP个LED灯组成，每个LED灯分为点亮和熄灭两种状态，通过LED灯的点亮组成图案来显示人体姿态。
6.如权利要求I或2所示的3D人体姿态捕捉模仿系统，其特征在于红外发射器、RGB摄像头、红外接收器封装在一起，共用一个三维立体空间坐标系0-ΧΥΖ，这样获取的人体关节点坐标是实际物体空间O-XYZ的物理坐标。
7.如权利要求5所示的3D人体姿态捕捉模仿系统，其特征在于每一个LED点亮代表一个关节点，保证人体姿态显示的实时更新。
全文摘要
本发明涉及一种3D人体姿态捕捉模仿系统，包括人体动作捕捉模块、人体关节点识别和人体姿态处理模块、人体姿态显示模块；人体动作捕捉模块包括RGB摄像头、红外发射器、红外接收器；RGB摄像头负责采集摄像头环境信息，生成数据帧通过通讯模块传送给人体关节点识别和人体姿态处理模块进行处理，产生可见光图像；红外发射器负责发出固定模式的激光散斑；所述红外接收器负责接收红外光，生成红外光图像数据帧通过通讯模块传给人体关节点识别和人体姿态处理模块进行处理，产生红外光图像；本发明可以进行实时的人体动作捕捉，并在三维立体显示器中显示，模仿人体姿态。
文档编号H04N13/00GK102622591SQ201210009368
公开日2012年8月1日 申请日期2012年1月12日 优先权日2012年1月12日
发明者吕宁一, 左亮, 曹沛晴, 杨毅, 王伟, 王若尧, 郑晓 申请人:北京理工大学