专利名称：互动投影系统及方法
技术领域：
本发明涉及人机互动领域，特别涉及一种互动投影系统及方法。
背景技术：
随着微电子技术的不断发展，计算机被广泛地应用到了人类社会的各个领域，各种人机互动设备与方法应运而生，主要完成以下的功能工业管理控制功能；辅助设计功能；显示输出功能；编辑文本数据、图像数据和流媒体数据的功能；影音、游戏等娱乐功能。 按照人机交互设备可以分成以下几类 1、通过传感器实现的交互主要包括生产线产品生产流程管理、产品质量控制、反向工程。
2、通过特定工具实现的交互主要包括通过手写笔和其他设备实现的计算机辅助设计。
3、通过鼠标和键盘实现的交互主要包括文字录入与编辑、图像数据和流媒体数据的编辑、计算所程序的编写等等。
上述方法在其本身所处的范围中能够很好地发挥作用，但在互动投影方面无法达到理想的效果。传统的键盘鼠标和工业传感器都无法捕捉到完整的人体运动和姿态信息。 而通过互动投影系统，可完全获取人体的运动和姿态信息，通过处理后的这些信息，控制投影系统做出不同的反应，表现出不同的影响效果。
随着近年来，计算机视觉技术的不断发展，我们可以通过图像处理的方法捕捉人体运动状态和当前姿态，该方法不仅具有实时高效的特点，兼具有非接触的特征，非常适合互动投影系统。
公开号为CN 101776952A的中国发明公开了一种互动投影系统，该系统实现了一种二维平面的人机交互投影。而二维投影往往只能涉及到物体的某个面，并不能把物体全面真实地展现在人们面前。理想的人机交互投影应当能够正确处理人体链状模型的姿态及其动作语义信息，并与三维虚拟世界物体进行实时交互. 而用于人体重构的人体链状模型以往的工作都是基于手工操作的，在得到特征点的运动序列之后，需要人工寻找运动序列中重构点数目满足要求的某一帧，然后手工标注出所有正确的特征点的名称。这样的操作方法，过程繁琐，效率低下；缺乏刚体间连线的提示信息，标注时很容易出现错误，同时由于重构时的错误发生并不能保证所有参与标注的特征点都是正确重构的特征点。所以，传统的人机交互投影无法实现人体动作导向的实时三维互动.
发明内容
为解决上述问题，本发明提供了一种三维的互动投影系统及方法，能够更全面真实的实现互动投影。通过图像处理技术，红外光投影技术，捕捉操作者的运动状态和当前姿态，将捕捉的运动状态进行图像处理，在图像处理中进行三维重构将其转换为控制信息，接着将控制信息传递给3D表现模块，最后表现模块根据控制信息展现出所对应的场景，从而提供一种互动投影系统，实现非接触方式的3D人机交互。
为了实现三维投影，本发明公开了一种互动投影系统，包括视频图像投影单元，图像采集单元，所述的互动投影系统还包括图像数据处理单元、通信单元及三维互动单元； 所述视频图像投影单元用于投影图像； 所述图像采集单元用于采集视频图像投影单元投影区域内的场景图像，并将采集到的场景图像传送给所述图像数据处理单元； 图像数据处理单元对接收到的场景图像进行背景和前景分离，标记运动物体轮廓在前景图像中的像素区域，对前景图像进行三维重构并对三维重构后的运动物体进行解析得到动作语义信息，将得到的图像三维坐标和动作语义信息传送给所述通信单元； 通信单元将接收到的图像三维坐标以及动作语义信息传送给所述三维互动单元； 三维互动单元自通信单元接收由图像数据处理单元捕捉到的图像三维坐标以及动作语义信息，根据所述图像三维坐标和语义信息输出相应的三维互动效果。
根据本发明提供的互动投影系统——优选技术方案是所述图像采集单元包括用于发射红外光的红外LED灯具阵组及及用于采集多目视觉图像多目视觉摄像头组。
根据本发明提供的互动投影系统——优选技术方案是所述图像采集单元还设有使摄像头自由旋转的旋转装置，同时设有过滤可见光的透红外亚克力薄板。
根据本发明提供的互动投影系统——优选技术方案是所述红外LED灯矩阵组的 LED灯向投影面倾斜一定角度；所述角度的范围为40至50度，最优角度为45度。
根据本发明提供的互动投影系统——优选技术方案是所述摄像头的镜头前设有一层红外带通滤波片，并采用红外广角摄像头。
根据本发明提供的互动投影系统——优选技术方案是所述图像数据处理单元包括 背景分离模块，用于将图像数据中的背景图像和前景图像进行分离； 运动捕捉模块，用于对分离模块分离的运动前景图像分析并标记运动区域； 三维重构模块，用于对运动捕捉模块标记的运动前景图像区域进行空间重构； 语义识别模块，利用动作语义数据库，对三维重构模块得到的人体链状模型和运动序列进行快速查询，确定运动序列中刚体所表示的意义。
根据本发明提供的互动投影系统——优选技术方案是所述背景分离模块包括 图像平滑模块，用于对摄像机所获取的图像数据进行高斯卷积，得到一张平滑后的图像数据。
前景提取模块，建立一个混合高斯模型平滑后的图像背景和前景进行分离，对一个背景图像，特定像素亮度的分布满足高斯分布，即对背景图像B，(x,y)点的亮度满足 IB (x, y) ~ N(u, d) 这样我们的背景模型的每个象素属性包括两个参数平均值u和方差d。
对于一幅给定的图像G，如果 EXp(-(IG(X，y)-u(X，y)r2/(2*cr2)) >T，认为(χ, y)是背景点，反之是前景点。
同时，随着时间的变化，背景图像也会发生缓慢的变化，这时我们要不断更新每个象素点的参数 u(t+l, χ, y) = a*u(t, χ, y) + (l-a)*I (χ, y) 这里，a称为更新参数，表示背景变化的速度，一般情况下，我们不更新方差d(实验中发现更不更新d，效果变化不大)。
使用K(基本为3到5个)个高斯模型来表征图像中各个像素点的特征，在新一帧图像获得后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，如果成功则判定该点为背景点，否则为前景点。对高斯模型中方差和均值两个参数的学习，采取不同的学习机制，将直接影响到模型的稳定性、精确性和收敛性。在学习的过程中对这两个参数实时更新。为提高模型的学习能力，改进方法对均值和方差的更新采用不同的学习率；为提高在繁忙的场景下，大而慢的运动目标的检测效果，引入权值均值的概念，建立背景图像并实时更新，然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类，最终实现背景和前景的分离。
根据本发明提供的互动投影系统——优选技术方案是所述运动捕捉模块包括 —轮廓标记模块，利用前景提取模块提取的前景图像，检索运动物体的轮廓，计算轮廓的数目并标记每个轮廓在前景图像中的像素区域。
一坐标计算模块，用于计算轮廓标记后的图像数据坐标，具体过程首先将每个轮廓所处的像素区域转换为图像纹理坐标范围，然后对每个轮廓的坐标范围进行计算，得到每个轮廓的中心位置坐标，最后记录下每个坐标，剔除一部分冗余数据，得到最终有效的坐标位置。
根据本发明提供的互动投影系统——优选技术方案是所述三维重构模块包括 一多目视觉校准模块，利用运动捕捉模块提取的轮廓，以及预先用标准棋盘网格校准的摄像机的内外参数反求轮廓的空间位置，同时提取所有轮廓的拓扑特征点； 一拓扑计算模块，利用预先采集的T字型拓扑模型，以及拓扑模型提供的人体链状结构对前景图像中各个刚体所包含的特征点进行名称确定，进而建立人体链状模型。
根据本发明提供的互动投影系统——优选技术方案是所述通信单元包括 坐标传输模块，用于传输图像三维坐标； 语义传输模块，用于传输动作语义信息。
根据本发明提供的互动投影系统——优选技术方案是所述三维互动单元包括 三维互动模块通过对通信单元传送三维图像坐标和动作语义进行分析，利用三维引擎更新三维物体各项属性。并提供各项可调的参数对三维物体的属性修改阈值和幅度进行设定。
三维渲染模块根据三维互动模块的相应参数和三维物体属性对三维物体进行真实感渲染。
本发明还提供了一种实现互动投影的方法，主要包括以下步骤 图像采集单元采集图像数据； 图像数据处理单元对所采集的图像数据进行背景和前景分离，标记运动运动物体轮廓在前景图像中的像素区域，对前景图像进行三维重构并对三维重构后的运动物体进行解析得到动作语义信息，得到图像的三维坐标数据和动作语义信息； 三维互动单元根据图像数据处理单元得到的三维坐标数据和动作语义信息进行三维渲染和三维互动。
根据本发明的优选实施例，所述三维重构进一步包括以下步骤 设定人体链状拓扑结构； 利用红外采集设备采集背景无关的人体运动序列并得到运动三维特征点序列； 利用运动三维特征点序列，自动划分出运动序列中各个刚体及每个刚体所包含的特征点； 利用拓扑模型，按照拓扑模型提供的人体链状结构对运动序列中各个刚体所包含的特征点进行名称确定； 标明每个特征点的ID，构建图像三维坐标。
根据本发明的优选实施例，所述所述运动序列通过水平集方法提取人体轮廓并获得三维特征点。
根据本发明的优选实施例，所述自动划分运动序列中各个刚体及每个刚体所包含的特征点包括以下步骤 构造运动序列中各三维特征点集之间距离变化的矩阵； 根据距离变化矩阵，采用谱聚类的方法得到运动序列中人体刚体的划分及各刚体所包含的特征点。
根据本发明的优选实施例，所述采用谱聚类的方法得到运动序列中人体刚体的划分及各刚体所包含的特征点包括以下步骤 采用谱聚类的方法将运动序列中的特征点划分为两个集合分别表示人体结构的上半身和下半身； 对人体上半身特征点集合采用谱聚类的方法划分为指定数目的特征点集合，每个特征点集合表示一个人体刚体； 对人体下半身特征点集合采用谱聚类的方法划分为指定数目的特征点集合，每个特征点集合表示一个人体刚体。
根据本发明的优选实施例，所述按照拓扑模型提供的人体链状结构对运动序列中各个刚体所包含的特征点进行名称确定包括以下步骤 根据拓扑模型的信息确定运动序列中该刚体所包含各个特征点的名称； 将已确定名称的特征点从特征点集合中去除； 根据拓扑模型提供的拓扑信息，寻找已确定名称的刚体与尚未确定名称的刚体之间所包含的公共点； 将公共点加入特征点集合中，利用谱聚类方法得到包含该公共点的刚体； 重复上述确定运动序列中该刚体所包含各个特征点的名称到上述将公共点加入特征集合的步骤，直到特征点集合为空。
根据本发明的优选实施例，所述根据拓扑模型的信息确定运动序列中该刚体所包含各个特征点的名称包括以下步骤 对拓扑模型和人体运动序列中同一刚体所包含的特征点进行点集调整操作； 在拓扑模型上，对该刚体所包含的经过点集调整后的特征点构造局部K维轴向二叉树； 根据拓扑模型中该刚体的局部K维轴向二叉树结构，构造运动序列中该刚体所包含的经过点集调整后的特征点的局部K维轴向二叉树结构； 利用局部K维轴向二叉树结构确定运动序列中该刚体所包含各个特征点的名称。
根据本发明的优选实施例，所述对运动物体进行解析得到动作语义信息包括以下步骤 对人体运动序列数据库进行基于层次化自组织映射的索引； 对上述三维重构得到的人体链状模型和运动序列，在数据库中基于索引进行快速查询； 将检索提取到的人体链状模型运动进行解析并将其动作语义信息发送到三维互动单元进行相应的渲染。
本发明的有益的技术效果是视频图像投影单元、近红外光场投影单元、视频图像采集单元、图像数据处理单元、通信单元以及三维互动单元组成的互动投影系统，通过应用计算机视觉技术自动建立，人物手势以及动作能够自动识别并根据语义数据库解析后与三维互动单元进行实时交互，从而实现实时的3D人机互动。
图1是互动投影系统连接示意图； 图2是互动投影系统的背景分离模块内部连接示意图； 图3是互动投影系统的运动捕捉模块内部连接示意图； 图4是互动投影系统的三维重构模块内部连接示意图； 图5是互动投影系统的三维互动模块内部连接示意图； 图6是按照本发明优选实施例三维重构的流程图； 图7-1是拓扑模型； 图7-2是建立的人体链状结构模型。
具体实施例方式下面结合
本发明的具体实施方式
。
视频图像投影单元1采用高流明、短焦投影仪。
为达精度与灵敏度的要求，视频图像投影单元1中的近红外光场投影采用主动轮廓技术，通过利用红外LED灯矩阵组建一个近红外光场的“墙”，感应红外光线的摄像机对着“墙”。
图像采集单元2对红外摄像机和“墙”之间的人体的运动和姿态信息进行采集。
图像采集单元2包含有以下设备，(1)带有旋转装置的摄像头，可使摄像头进行水平、垂直+/-90度角进行自由旋转；(2)与水平面成β角的红外LED灯矩阵组；(3)透红外亚克力簿板；(4)红外广角摄像头。
图像采集单元2中，红外LED灯矩阵组与水平面成β角，LED发出850nm波长的红外光。红外广角摄像头采用高分辨率高帧率摄像头处理芯片，并配上广角镜头，可视角度为120度，镜头前加一层850nm的透红外亚克力簿板Qnfrared CutFilter)，过滤可见光， 使摄像头的可视波段为850+/-20nm。图像采集系统的底部为一层具有漫反射功能的特殊材料。市面上常见的监控摄像头也带有红外LED，但是照射时会形成中心很亮，周围很暗的情况，即形成高亮光斑。而红外光照射不均勻，会影响摄像头采集数据的精确性。按照我们的布局架构图像采集单元，可使红外光均勻柔和的布满整个摄像头采集的区域，大幅度的提高摄像头采集的精确度。图像采集单元2的上部为旋转装置，可使摄像头进行自由旋转，这样就可以使图像采集单元2固定在任何表面，通过旋转来获取需要的采集区域。
摄像头采集的区域面积
权利要求
1.一种互动投影系统，包括视频图像投影单元(1)，图像采集单元(2)，其特征在于，所述互动投影系统还包括图像数据处理单元(3)、通信单元(4)及三维互动单元(5)；所述视频图像投影单元(1)用于投影图像；所述图像采集单元(2)用于采集视频图像投影单元(1)投影区域内的场景图像，并将采集到的场景图像传送给所述图像数据处理单元(3)；图像数据处理单元(3)对接收到的场景图像进行背景和前景分离，标记运动物体轮廓在前景图像中的像素区域，对前景图像进行三维重构并对三维重构后的运动物体进行解析得到动作语义信息，将得到的图像三维坐标和动作语义信息传送给所述通信单元(4)； 通信单元(4)将接收到的图像三维坐标以及动作语义信息传送给所述三维互动单元(5)；三维互动单元(5)自通信单元(4)接收由图像数据处理单元(3)捕捉到的图像三维坐标以及动作语义信息，根据所述图像三维坐标和语义信息输出相应的三维互动效果。
2.根据权利要求1所述的互动投影系统，其特征在于，所述通信单元(4)包括 坐标传输模块(41)，用于传输所述图像三维坐标；语义传输模块(42)，用于传输所述动作语义信息。
3.根据权利要求1所述的互动投影系统，其特征在于，所述图像采集单元(2)包括 用于发射红外光的红外LED灯具阵组；及用于采集多目视觉图像的摄像头组。
4.根据权利要求1所述的互动投影系统，其特征在于，所述图像采集单元(2)包括 使摄像头自由旋转的摄像头旋转装置；以及过滤可见光的透红外亚克力薄板。
5.根据权利要求1所述的互动投影系统，其特征在于，所述图像数据处理单元(3)包括背景分离模块(31)，用于将图像数据中的背景图像和前景图像进行分离；运动捕捉模块(32)，用于对分离模块(31)分离的运动前景图像分析并标记运动区域;三维重构模块(33)，用于对运动捕捉模块(32)标记的运动前景图像区域进行空间重构；语义识别模块(34)，利用动作语义数据库，对三维重构模块(33)得到的人体链状模型和运动序列进行快速查询，确定运动序列中刚体所表示的意义。
6.根据权利要求5所述的互动投影系统，其特征在于，所述背景分离模块(31)包括 图像平滑模块(311)，用于对摄像机所获取的图像数据进行高斯卷积，得到一张平滑后的图像数据；前景提取模块(312)，建立一个混合高斯模型对图像平滑模块(311)获得平滑图像的背景和前景进行分离，具体如下，对一个背景图像，特定像素亮度的分布满足高斯分布，即对背景图像B，(x,y)点的亮度满足 IB (X，y) N (u，d) u为平均值，d为方差，对于一幅给定的图像 G，如果 EXp(-(IG(X，y)-U(X，y)r2/(2*cr2)) >T，认为(x,y)是背景点，反之是前景点；利用公式u (t+Ι，X，y) = a*u (t，χ, y) + (l_a) *I (χ, y对变化的图像进行更新，这里a称为更新参数，表示背景变化的速度；使用K个高斯模型来表征图像中各个像素点的特征，在新一帧图像获得后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，如果成功则判定该点为背景点， 否则为前景点，采取不同的更新机制对高斯模型中方差和均值两个参数的更新，并引入权值均值的概念，建立背景图像并实时更新，然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类，最终实现背景和前景的分离。
7.根据权利要求6所述的互动投影系统，其特征在于，所述背景分离模块中的K取值范围为3到5。
8.根据权利要求5所述的互动投影系统，其特征在于，所述运动捕捉模块(32)包括 轮廓标记模块(321)，利用前景提取模块(312)提取的前景图像，检索运动物体的轮廓，计算轮廓的数目并标记每个轮廓在前景图像中的像素区域；坐标计算模块(322)，用于计算轮廓标记后的图像数据坐标，具体过程首先将每个轮廓所处的像素区域转换为图像纹理坐标范围，然后对每个轮廓的坐标范围进行计算，得到每个轮廓的中心位置坐标，最后记录下每个坐标，剔除一部分冗余数据，得到最终有效的坐标位置。
9.根据权利要求5所述的互动投影系统，其特征在于，所述三维重构模块(33)包括 多目视觉校准模块(331)，利用运动捕捉模块(32)提取的轮廓，以及预先用标准棋盘网格校准的摄像机的内外参数反求轮廓的空间位置，同时提取所有轮廓的拓扑特征点；拓扑计算模块(332)，利用预先采集的T字型拓扑模型，以及拓扑模型提供的人体链状结构对前景图像中各个刚体所包含的特征点进行名称确定，进而建立人体链状模型。
10.根据权利要求1所述的互动投影系统，其特征在于，所述三维互动单元(5)包括 三维互动模块(51)通过对通信单元(4)传送的三维图像坐标和动作语义信息进行分析，利用三维引擎更新三维物体各项属性，并提供各项可调的参数对三维物体的属性修改阈值和幅度进行设定；三维渲染模块(52)根据三维互动模块(51)的相应参数和三维物体属性对三维物体进行真实感渲染。
11.一种用于互动投影系统的互动投影方法，其特征在于，包括以下步骤 采集图像数据；对所采集的图像数据进行背景和前景分离，标记运动运动物体轮廓在前景图像中的像素区域，对前景图像进行三维重构并对三维重构后的运动物体进行解析得到动作语义信息，得到图像三维坐标数据和动作语义信息；根据图像数据处理单元得到的三维坐标数据和动作语义信息进行三维渲染和三维互动。
12.一种用于权利要求11所述的互动投影方法，其特征在于上述三维重构包括以下步骤设定人体链状拓扑结构；利用红外采集设备采集背景无关的人体运动序列并得到运动三维特征点序列； 利用运动三维特征点序列，自动划分出运动序列中各个刚体及每个刚体所包含的特征点；利用拓扑模型，按照拓扑模型提供的人体链状结构对运动序列中各个刚体所包含的特征点进行名称确定；标明每个特征点的ID，构建图像三维坐标。
13.一种用于权利要求12所述的互动投影方法，其特征在于所述运动序列通过水平集方法提取人体轮廓并获得三维特征点。
14.一种用于权利要求12所述的互动投影方法，其特征在于所述自动划分出运动序列中的各个刚体及每个刚体包括的特征点包括以下步骤构造运动序列中各三维特征点集之间距离变化的矩阵；根据距离变化矩阵，采用谱聚类的方法得到运动序列中人体刚体的划分及各刚体所包含的特征点。
15.一种用于权利要求14所述的互动投影方法，其特征在于所述采用谱聚类的方法得到运动序列中人体的划分及各刚体所包含的特征点包括以下步骤采用谱聚类的方法将运动序列中的特征点划分为两个集合分别表示人体结构的上半身和下半身；对人体上半身特征点集合采用谱聚类的方法划分为指定数目的特征点集合，每个特征点集合表示一个人体刚体；对人体下半身特征点集合采用谱聚类的方法划分为指定数目的特征点集合，每个特征点集合表示一个人体刚体。
16.一种用于权利要求12所述的互动投影方法，其特征在于按照拓扑模型提供的人体链状结构对运动序列中各个刚体所包含的特征点进行名称确定包括以下步骤根据拓扑模型的信息确定运动序列中该刚体所包含各个特征点的名称；将已确定名称的特征点从特征点集合中去除；根据拓扑模型提供的拓扑信息，寻找已确定名称的刚体与尚未确定名称的刚体之间所包含的公共点；将公共点加入特征点集合中，利用谱聚类方法得到包含该公共点的刚体；重复上述确定运动序列中该刚体所包含各个特征点的名称到上述将公共点加入特征集合的步骤，直到特征点集合为空。
17.一种用于权利要求16所述的互动投影方法，其特征在于根据拓扑模型的信息确定运动序列中该刚体所包含各个特征点的名称包括以下步骤对拓扑模型和人体运动序列中同一刚体所包含的特征点进行点集调整操作；在拓扑模型上，对该刚体所包含的经过点集调整后的特征点构造局部K维轴向二叉树结构；根据拓扑模型中该刚体的局部K维轴向二叉树结构，构造运动序列中该刚体所包含的经过点集调整后的特征点的局部K维轴向二叉树结构；利用局部K维轴向二叉树结构确定运动序列中该刚体所包含各个特征点的名称。
18.一种用于权利要求11所述的互动投影方法，其特征在于所述对运动物体进行解析得到动作语义信息包括以下步骤对人体运动序列数据库进行基于层次化自组织映射的索引；对上述三维重构得到的人体链状模型和运动序列，在数据库中基于索引进行快速查询；将检索提取到的人体链状模型运动进行解析并将其动作语义信息发送到三维互动单元进行相应的渲染。
全文摘要
本发明提供了一种能够全面真实地实现三维互动投影的系统及方法。通过摄像头组在一定的投影区域内采集人体以及其他物体的各个可视轮廓面，然后通过图像处理单元对采集的图像进行分离、校正、及三维重构，再通过通信单元传递给三维互动单元，在投影区域内实现三维的互动。根据本发明，人体链状模型通过应用计算机视觉技术自动建立，人物手势以及动作能够自动识别并根据语义数据库解析后与三维互动单元进行实时交互。
文档编号G03B15/05GK102184008SQ20111011221
公开日2011年9月14日 申请日期2011年5月3日 优先权日2011年5月3日
发明者田学文 申请人:北京天盛世纪科技发展有限公司