专利名称：基于增强现实的虚实碰撞检测及响应方法
技术领域：
本发明涉及的是一种增强现实虚实碰撞技术，具体地说是一种基于增强现实应用的单目视觉的任意形状虚拟物体对实际物体碰撞检测及响应的方法。
背景技术：
随着人们对交互体验的要求不断增强，增强现实(Augmented Reality，AR)应用已获得快速发展。而基于视觉的AR系统因为对硬件要求不高已成为应用主流。在增强现实系统及应用中，真实物体与虚拟对象进行交互，虚实碰撞问题无可避免。准确的虚实碰撞检测及响应能使AR应用更加自然、真实，从而使自由的虚实人机交互成为可能。早期的AR系统， 一般使用标记来帮助注册定位。因为自然交互的要求，无标记的AR系统已有很大发展。并且将AR应用移植到移动设备上已成流行趋势，这些都对虚实碰撞检测及其响应算法提出了更高的要求。对于碰撞检测研究，如中国专利其名称为“一种基于平衡二叉树的大规模虚拟场景碰撞检测方法”，申请号CN200910086719. 0 ；中国专利其名称为“面向复杂场景实时交互操作的并行碰撞检测方法”，申请号CN200710043743. 7 ；中国专利其名称为“一种在服务器端实现三维游戏碰撞检测的方法”，申请号CN200710117^6. 6。这些碰撞检测方法首先是针对大规模复杂的虚拟场景的碰撞检测方法，是虚拟物体对虚拟物体的碰撞检测方法，不适合虚拟物体对实际物体的碰撞检测。其次，这些碰撞检测方法依靠硬件实现，不适合于移植到移动设备的要求。中国专利其名称为“使用剪切的实时碰撞检测”，申请号 CN200780048182.8 ；中国专利其名称为“一种基于椭球体扫描的连续碰撞检测方法”；申请号CN200910087900. 3 ；中国专利其名称为“一种基于四叉包围盒树的柔性织物自碰撞检测方法”，申请号CN200910087902. 2 ；中国专利其名称为“一种基于剖分的并行碰撞检测方法”，申请号CN200810202774. 7。这些碰撞检测算法主要针对的是虚拟场景中的虚拟物体对虚拟物体的碰撞检测，不适合增强现实中的虚拟物体对实际物体的碰撞检测。目前，国内外还没有利用基于单目视觉的三维虚实碰撞碰撞检测及响应的研究和报道。上述专利及相关研究皆依靠硬件设备，或者仅针对虚拟现实进行研究，并未使用廉价的单摄像头进行虚实碰撞研究。即使虚实碰撞的研究成果，也仅针对二维的情况，并且难以扩展到三维环境。
发明内容
鉴于以上所述现有技术存在的问题和不足，本发明的目的在于提供一种基于增强现实的虚实碰撞检测及响应方法，该方法能通过单摄像头拍摄实际画面，通过简单的图像分割、 特征点提取，获得实际物体平面特征点坐标。再计算虚拟物体质心到碰撞平面的距离进行碰撞检测，最终估计出下一帧虚拟物体的运动。该方法能够通过简单的单一摄像头处理三维虚实碰撞问题。为达到上述目的，本发明采用下述技术构思根据摄影原理、计算机视觉技术和光学技术，将实时获取实际物体的数据进行分析，将虚实物体进行对位，处理虚拟物体与实际物体碰撞三维问题。
根据上述技术构思，本发明采用以下技术方案一种基于增强现实的虚实碰撞检测及响应方法，其特征在于操作步骤为①对摄像头获得的实际物体进行预处理，②进行实际物体姿势估计和运动估计，③根据虚拟物体质心到碰撞平面的位置关系进行虚实碰撞检测，④根据检测结果进行虚实碰撞响应，⑤修改虚拟图形并渲染输出。上述步骤原理如下
①、通过摄像头获得实际物体的关键帧图像，通过基于肤色的图像分割、并通过根据手掌掌纹进行特征点提取，获得屏幕坐标系中特征点的坐标
J1為、A2. A1,这些特征点数量为4点，分布规律呈正方形。②、通过世界坐标系到屏幕坐标系的转换公式计算世界坐标系中的对应点 B" B” 5,、Ba。世界坐标系与屏幕坐标系坐标转换公式如下
其中，rw是世界坐标系(Xlt,，K.，Zu.)到摄像头坐标系(Xr ,Yr, Zr )的变换
矩阵。在Tcti中I^3x3为选择矩阵，为平移矩阵。在获得特征点后，通过获得碰撞平面
的法向量 ζ ；获得Bp B2、B3、B4后，计算出质心C >t，Zc )。则求得t时刻的
实际物体的运动向量
权利要求
1.一种基于增强现实的虚实碰撞检测及响应方法，其特征在于，操作步骤为①对摄像头获得的实际物体进行预处理，②进行实际物体姿势估计和运动估计，③根据虚拟物体质心到碰撞平面的位置关系进行虚实碰撞检测，④根据检测结果进行虚实碰撞响应，⑤修改虚拟图形并渲染输出。
2.根据权利要求1所述基于增强现实的虚实碰撞检测及响应方法，其特征在于所述步骤①，对摄像头获得的实际物体预处理过程是对关键帧进行图像分割、特征点提取，获得屏幕坐标系中特征点的坐标集；具体步骤操作步骤如下(1)、通过单目摄像头获取实际物体的关键帧图像；(2)、输入捕获的图像；(3)、对图像进行肤色检测；(4)、对步骤(3)处理结果进行连通域检测；(5)、计算连通域面积并去除小面积的区域；(6)、通过掌纹的特征，进行四个矩形分布的特征点提取；(7)、预处理过程结束。
3.根据权利要求1所述基于增强现实的虚实碰撞检测及响应方法，其特征在于，所述步骤②进行实际物体姿势估计和运动估计的方法是通过计算世界坐标系到屏幕坐标系的变换矩阵，获得对应点的坐标，计算碰撞平面法向量进行实际物体姿势估计，并对当前时刻的实际物体进行运动估计；具体操作步骤如下(8)、实际物体的姿势估计和运动估计过程开始；(9)、根据步骤①获得的特征点，计算变换矩阵；(10)、计算特征点在世界坐标系中的坐标；(11)、计算特征点构成的碰撞平面的单位法向量S；；(12)、根据步骤(10)获得结果，计算碰撞平面的质心；(13)、根据碰撞平面的质心计算实际物体的运动向量实；(14)、实际物体的姿势估计和运动估计过程结束。
4.根据权利要求1所述基于增强现实的虚实碰撞检测及响应方法，其特征在于，所述步骤③中进行虚实碰撞检测的方法是将虚拟物体近似为一个球体，虚拟物体与实际物体碰撞近似为球与平面的碰撞；虚拟物体球的质心到碰撞平面的距离即是质心到特征点的向量在平面法向量上的投影，此时虚实碰撞检测的前提条件就是此距离不大于球的半径；如不满足前提条件即可判定不产生虚实碰撞，当满足此条件，则计算出质心在碰撞平面的投影，并且判断其是否在特征点所围成的碰撞区域内部；如果满足条件，则碰撞点在碰撞区域内部，未满足条件则计算此质心投影到碰撞区域边缘的距离是否小于等于球的半径；如果不满足条件，则不发生虚实碰撞，如满足条件，则计算虚拟物体的质心的位置是否在两特征点之间；满足条件则碰撞点的位置在碰撞区域边缘，如不满足条件，则继续计算虚拟物体的质心到任意四个特征点之一的距离是否小于等于球的半径；满足条件，则发生碰撞，碰撞点位置在此特征点上，不满足则不产生虚实碰撞；具体操作步骤如下(15)、碰撞检测过程开始；(16)、虚拟物体质心到碰撞平面的距离d是否满足条件d≤τΓ？如果满足，则转步骤(17)，否则转步骤(22)；(17)、计算虚拟物体质心在碰撞平面的投影G’是否在四个特征点围成的碰撞区域内？ 如果是在碰撞区域内，则转步骤(21 )，否则转步骤(18)；(18)、计算步骤(17)所得投影G’到碰撞区域边缘的距离d1是否满足条件d1≤τr ？如果满足，则转步骤(19)，否则转步骤(22)；(19)、虚拟物体的质心，在任意两特征点组成的碰撞边缘线上的投影，是否在两特征点之间？是则转步骤(21)，否则转步骤(20)；(20)、虚拟物体的质心到任意四个特征点之一的距离d2是否满足条件d2≤τr？是则转步骤(21)，否则转步骤(22)；(21)、发生了虚实碰撞；(22)、碰撞检测过程结束。
5.根据权利要求1所述基于增强现实的虚实碰撞检测及响应方法，其特征在于，所述步骤④中的虚实碰撞响应的方法是如未发生虚实碰撞，则下一帧虚拟物体的运动向量与此帧虚拟物体的运动向量相同；如发生了虚实碰撞，计算碰撞平面的法向量与虚拟物体的运动向量夹角是否在90°到180°间，在此区间则下一帧虚拟物体的运动向量等于虚拟物体运动向量在碰撞平面法向量上的投影向量、虚拟物体运动向量与冲量之和；不在区间内则下一帧虚拟物体的运动向量为此刻虚实物体运动向量之和；具体操作步骤如下(23)、碰撞响应过程开始；(M)、计算虚拟物体的运动向量
6.根据权利要求1所述基于增强现实的虚实碰撞检测及响应方法，其特征在于，所述步骤⑤修改虚拟图形并渲染输出是根据虚实碰撞响应结果，计算虚拟物体的运动，根据增强现实技术进行虚拟物体注册，最后进行渲染输出。
全文摘要
本发明公开了一种基于增强现实的虚实碰撞检测及响应方法。该方法的操作步骤为①对摄像头获得的实际物体进行预处理；②进行实际物体姿势估计和运动估计；③根据虚拟物体质心到碰撞平面的位置关系进行虚实碰撞检测；④根据检测结果进行虚实碰撞响应；⑤修改虚拟图形并渲染输出。该方法仅计算实际物体四个特征点的三维碰撞检测方法，就能获得较真实的三维虚实碰撞响应效果，计算复杂度较低，实现了基于单目视觉的三维虚实碰撞检测与响应。
文档编号G06T17/00GK102194248SQ20111011497
公开日2011年9月21日 申请日期2011年5月5日 优先权日2011年5月5日
发明者凌晨, 张文俊, 陈明 申请人:上海大学