专利名称：一种实体投影虚实配准装置及方法
技术领域：
本发明具体涉及一种实体投影虚实配准装置及方法。
背景技术：
实体投影是指在不规则表面上均勻、实时投影，如用投影机将汽车的贴图照射到汽车模型，使汽车具有华丽的外表，且可以使其颜色、光泽、装饰随时发生变化；用投影机将立体广告照射在没有内容的广告模型上，可以使广告的内容随时变化。因此具有强大的视觉震撼力，且可以节约展示成本。实体投影与展示现场人的动作结合在一起，将展示现场的真实场景与计算机构建的虚拟场景有机融合在一起，通过真实场景中人的动作识别，使虚拟场景发生变化，展现各种虚实结合的场面。主要用于各种新产品发布会、各种展览会，全方位展示现有的或将来会有的产品的外形、内部结构、动态运行状况。实现实体投影，关键技术是如何将投影机投出的影像与现场的实体模型完全吻合，也就是解决实体投影虚实配准问题。虚实配准问题在学术界已经有较多的研究，属于增强现实技术领域中的一个核心问题。在国外，2006年，Andel Miroslavl等人基于带摄像头的手机，开发了一个基于移动电话的交互式面对面的增强现实软件。用户可以手持手机，走在未装修的房间里，可以体验手机屏幕上展现的虚拟装修效果。该软件系统通过手机摄像头对房间关键点图像识别， 渲染虚拟装修效果，让用户体验所见即所得。但目前该技术仅停留在研究室应用，并没有推向市场。2007年，Reifinger等人提出了一种基于红外跟踪系统的自动区分静态和动态手势识别方法。红外目标安装在用户的拇指和食指上，系统捕获到信息后，通过距离分类器提取静态手势，通过统计模型提取动态手势。采用此种手势识别方法完成任务要快于键盘、鼠标，但是手部舒适性稍差。2008年，Xu等人基于预先拍摄的参考图像和当前帧的三视图约束计算摄像机运动参数，提出了一种适用于自然场景的实时追踪六自由度摄像机姿态的方法。2009年，Abbate等人提出一种耐用的实时人体动作捕捉系统的架构。将智能惯性测量传感器单元分布于人体关键部位上，设定一个单片机收集来自传感器的数据，采用卡尔曼滤波方法实现定位。同年，Zhang等人也采用类似Abbate的方法实现定位，不同的是，将收集到的来自传感器的数据通过USB接口传输给计算机；同年，Lu等人采用基于图形处理器(GPU)实时计算方法，利用从捕获的立体影像中获取信息来确定物体在真实场景中的深度，来设定虚拟物体与真实物体之间的相互位置；法国增强现实技术供应商Total Immersion已经研发出一款增强现实软件DFusion，用于高端影视后期、独立的图像处理的特效合成，但是该软件平台非常昂贵，每次作品打包费10万以上，制作费更高，价位不适合当前市场需求。关于增强现实的研究，国内的研究起步要晚于国外。2006年，北京理工大学王涌天教授等人采用带位置追踪器的可穿戴式增强现实系统实现了圆明园增强现实展示；随后， 陈靖、王涌天等人提出了一种基于自然特征点的实时跟踪注册算法。在已知场景中的3D模型以及少量已标定关键帧图像的基础上，选择与当前图像最为匹配的关键帧，利用基于关键帧的图像匹配方法实时获取摄像机的运动参数估计。2007年，吉林大学的邓树国等人进行了红外摄像复杂背景下人体识别方法研究。 首先进行预处理，利用主动式红外摄像机采集红外图像；采用中值滤波，去除图像噪声；用边界对比度自适应直方图均衡化方法，对图像进行增强；开运算，去除与人体相粘连的图像毛刺；采用Prewitt边缘检测的方法，提取图像的轮廓；综合法确定图像的灰度阈值，对图像进行二值化处理。然后，采用链码跟踪方法进行人体模式识别。针对人体轮廓的特点，先搜索人头图像，再搜索人肩膀图像，最后搜索人的手臂和人腿的图像；2008年，浙江大学陈成钱等人以投影仪为显示设备，以红外摄像机为光学传感器，设计出基于投影仪、红外摄像机的多点触控系统，采用手、手指、其他物体等投影在桌面的信息进行交互。首先，建立帧缓存和摄像机图像空间中投影区域的几何映射关系，将拍摄到的图像变换计算到帧缓存的几何空间下。然后，采用背景减除法分割变换后的图像，标记连通成分，分别提取各个连通成分的轮廓及方向包围盒，并实时跟踪。接着，根据肤色模型，从连通成分中提取掌心的几何位置，利用轮廓点和掌心的距离关系，根据数学知识和手指构造，在轮廓图中提取手指的长、宽、指尖的展角、手指间的夹角等特征信息。最后，采用神经网络识别手指。2009年，上海大学的陈一民等提出并实现了一种基于增强现实和异型屏的多人实时互动的系统。首次提出了在展览展示领域融合应用AR技术与多异型屏技术，研究并实现了 AR系统多人实时互动相关技术，设计了 AR交互系统的渲染平台、交互平台和网络通信平台；同年，电子科技大学的杜凤仪等采用基于标示物的视觉跟踪方法，采用了符合人手操作的方式，利用图形学的多种图形绘制与渲染技术来完成各种文物模型及虚拟信息交互。2010年，上海交通大学的刘一然、杨旭波等人研究了基于多投影及移动投影的增强现实技术，采用一台相机采样环境数据和投影仪参数，采用多台投影仪来共同显示。
发明内容
本发明的目的在于提供一种实体投影虚实配准装置及方法，其可简单而完美地实现在不规则实体表面上均勻、实时投影的效果。本发明是这样实现的，一种实体投影虚实配准装置，包括实体模型、若干光电传感器、计算机及投影仪；所述光电传感器嵌入实体模型内，将感应电信号输入到计算机；计算机设定实体模型三维纹理图像，产生一组照射到实体模型上的黑白灰度格雷码图像，采集光电传感器对格雷码图像的感应信息并分析处理，获取每个光电传感器对应实体模型特征点的二维坐标，结合对应实体模型特征点的三维坐标，计算出投影变换矩阵，对实体模型三维虚拟图像进行投影变换；投影仪将投影变换后的三维虚拟图像投射到实体模型上。本发明将光电传感器嵌入实体模型上，由计算机根据光电传感器信号动态生成投影矩阵，对生成的虚拟三维图像进行投影变换后，通过投影仪精准的投射到实体模型上，产生虚实合一的精美三维实体。其中，所述的计算机包含有
实体模型三维纹理图像生成单元，用于设定实体模型三维纹理，生成实体模型的三维纹理图像；格雷码图像生成单元，用于按照格雷码扫描算法产生一组照射到实体模型上的黑白灰度的格雷码图像；投影变换矩阵生成单元，用于根据实体模型上的光电传感器感应光导入产生的电信号获得的每个光电传感器对应实体模型特征点的二维坐标，结合对应实体模型特征点的三维坐标，计算出投影变换矩阵；投影变换单元，用于根据所述投影变换矩阵对所述实体模型的三维纹理图像进行投影变换。所述光电传感器通过电缆线连接到所述计算机。所述实体模型的每个特征点对应一个光电传感器，光电传感器光纤末端设在所述实体模型的特征点位置。所述光电传感器为4只或8只。所述光电传感器的光纤直径为1mm。一种实体投影虚实配准方法，包括以下步骤设定实体模型三维纹理，生成实体模型的三维纹理图像；按照格雷码扫描算法产生一组黑白灰度的格雷码二值图像；运用投影仪将所述格雷码二值图像照射到所述实体模型表面；根据光电传感器产生的电信号获得每个光电传感器对应实体模型特征点的二维坐标，结合对应实体模型特征点的三维坐标，计算出投影变换矩阵；根据所述投影变换矩阵对所述实体模型的三维纹理图像进行投影变换后投射到实体模型表面。本发明将光电技术与计算机技术结合，快速而准确地完成实体投影中的虚实配准工作，其通过格雷码扫描算法和光电传感器，获得每个光电传感器对应实体模型特征点的二维坐标，结合对应实体模型特征点的三维坐标，计算投影变形矩阵，根据投影变换矩阵对实体模型的三维纹理图像进行投影变换后投射到实体模型表面，从而实现在不规则实体表面上均勻、实时投影，达到虚实合一的精美三维实体效果。
图1是本发明实施例提供的实体投影虚实配准装置的结构示意图；图2是本发明实施例提供的实体投影虚实配准方法的程序框图；图3是本发明实施例提供的光电传感器接口线路板的示意4是本发明实施例提供的格雷码图像序列图；图5是本发明实施例提供的实体投影虚实配准的方法的流程图；图6是本发明实施例提供的实体投影虚实配准的效果图。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。 参见图1所示，一种实体投影虚实配准装置，包括实体模型、若干光电传感器、计算机及投影仪；所述光电传感器嵌入实体模型内，将感应电信号输入到计算机；计算机设定实体模型三维纹理图像，产生一组照射到实体模型上的黑白灰度格雷码图像，采集光电传感器对格雷码图像的感应信息并分析处理，获取每个光电传感器对应实体模型特征点的二维坐标，结合对应实体模型特征点的三维坐标，计算出投影变换矩阵，对实体模型三维虚拟图像进行投影变换；投影仪将投影变换后的三维虚拟图像投射到实体模型上。
其中，所述光电传感器通过电缆线连接到所述计算机。所述实体模型的每个特征点对应一个光电传感器，光电传感器光纤末端设在所述实体模型的特征点位置。所述光电传感器为4只或8只。所述光电传感器的光纤直径为1mm。参见图2，所述的计算机包含有实体模型三维纹理图像生成单元、格雷码图像生成单元、投影变换矩阵生成单元以及投影变换单元。为了便于说明，此处仅仅示出了与本发明有关的部分。实体模型三维纹理图像生成单元，用于设定实体模型三维纹理，生成实体模型的三维纹理图像；在进行实体投影之前，首先通过计算机内置的实体模型三维纹理图像生成单元设定实体模型的三维纹理，存储设定好的三维纹理图像备用；格雷码图像生成单元，按照格雷码扫描算法产生一组照射到实体模型上的黑白灰度的格雷码图像；所述格雷码图像是一系列的灰度二值图像，每一个图像由黑白条纹组成， 这些条纹将投影区交替地分割开来；投影变换矩阵生成单元，根据实体模型上的光电传感器感应光导入产生的电信号获得的每个光电传感器对应实体模型特征点的二维坐标，结合实体模型特征点的三维坐标，计算出投影变换矩阵；将所述格雷码图像照射到所述实体模型表面后，光经光电传感器的光纤导入，光电传感器产生一组电信号，经放大后输入到所述的计算机，计算机根据输入的电信号进行分析处理，获取每个光电传感器对应实体模型特征点的二维坐标，结合实体模型特征点的三维坐标，并据此计算出投影变换矩阵；为了求出实体模型各特征点的位置，在实体模型内嵌入4个或8个光电传感器，每个特征点对应一个光电传感器。参见图3所示，该图示出了光电传感器接口线路板的线路示意图，光电传感器1的光信号通过光纤3导入，将光纤末端2用一小的电子器件包装后放在实体模型的特征点位置，在实体模型中所暴露的面积很小，如果不仔细观看，很难发现， 不影响观看效果。光电传感器接口线路板固定在实体模型里面，通过线缆口 4连接到计算机。光纤3用来引导在实体模型表面每个特征点接收到的光信号传输到光电传感器 1，由光电传感器1转换为电信号并放大后经线缆口 4再传递给计算机。因为每根光纤的直径仅1mm，允许使用一个小的电子器件将其包装并放置在一个方便的位置，使得光纤头在实体模型表面的物理存在达到最小。当所述格雷码图像被作为一个序列投射时，这些格雷码图像唯一标识出每个像素的位置。光电传感器检测每个阶梯上投射光的存在或缺失，然后产生位序列，解码，求出与每个传感器位置匹配的像素的χ、y坐标。在格雷码图像中只包含黑、白两种颜色的条纹，且黑、白两种颜色分别对应于二进制数中的0和1。为了区别每一条单像素条纹，需要使用log2n幅二进制格雷码编码图像来区分出每一条条纹。其中η为格雷码图像的分辨率。例如，为了区别出1024分辨率的每一条条纹，则需要绘制log21024 = 10幅格雷
码编码图像。为了求取实体模型特征点的空间坐标信息，需对格雷码条纹进行解码。对一条格雷码条纹进行解码，需要根据η幅图像的时间序列来唯一地确定一个η位的二进制解码序列。参见图4，对条纹格雷码解码的对应关系可由表1中所示的格雷码码值来对应。
根据表1中的码值可知，图4中Linel的解码序列为11111......，Line2的解码序列为
10011......，Line3 的解码序列为 01001.......
权利要求
1.一种实体投影虚实配准装置，包括实体模型、若干光电传感器、计算机及投影仪；所述实体模型为没有图案的物体；所述光电传感器嵌入实体模型内，用于将感应电信号输入到所述计算机；所述计算机用于设定实体模型三维纹理图像、产生一组照射到实体模型上的黑白灰度的格雷码图像以及对所述光电传感器对图像感应输入的电信号分析处理，获取每个光电传感器对应实体模型特征点的二维坐标，结合对应实体模型特征点的三维坐标， 计算投影变换矩阵，对所述实体模型三维虚拟图像进行投影变换；所述投影仪用于将格雷码图像和所述投影变换后的三维虚拟图像投射到所述实体模型上。
2.根据权利要求1所述的实体投影虚实配准装置，其特征在于，所述的计算机包含有实体模型三维纹理图像生成单元，用于生成实体模型的三维纹理图像；格雷码图像生成单元，用于按照格雷码扫描算法产生一组照射到实体模型上的黑白灰度的格雷码图像；投影变换矩阵生成单元，用于根据实体模型上的光电传感器感应光导入产生的电信号获得的每个光电传感器对应实体模型特征点的二维坐标，结合对应实体模型特征点的三维坐标，计算出投影变换矩阵；投影变换单元，用于根据所述投影变换矩阵对所述实体模型的三维纹理图像进行投影变换。
3.根据权利要求1所述的实体投影虚实配准装置，其特征在于，所述光电传感器通过电缆线连接到所述计算机。
4.根据权利要求1所述的实体投影虚实配准装置，其特征在于，所述实体模型的每个特征点对应一个光电传感器，光电传感器光纤末端设在所述实体模型的特征点位置。
5.根据权利要求1或4所述的实体投影虚实配准装置，其特征在于，所述光电传感器为 4只或8只。
6.根据权利要求4所述的实体投影虚实配准装置，其特征在于，所述光电传感器的光纤直径为1mm。
7.一种实体投影虚实配准方法，其特征在于，包括以下步骤设定实体模型的三维纹理，生成实体模型的三维纹理图像；按照格雷码扫描算法产生一组黑白灰度的格雷码二值图像；运用投影仪将所述格雷码二值图像照射到所述实体模型表面；根据光电传感器产生的电信号获得每个光电传感器对应实体模型特征点的二维坐标， 结合对应实体模型特征点的三维坐标，计算出投影变换矩阵；根据所述投影变换矩阵对所述实体模型的三维纹理图像进行投影变换后投射到实体模型表面。
全文摘要
本发明公开了一种实体投影虚实配准装置及方法，包括实体模型、若干光电传感器、计算机及投影仪；所述光电传感器嵌入实体模型内，将感应电信号输入到计算机；计算机设定实体模型三维纹理图像，产生一组照射到实体模型上的黑白灰度格雷码图像，采集光电传感器对格雷码图像的感应信息并分析处理，获取每个光电传感器对应实体模型特征点的二进制坐标，结合对应实体模型特征点的三维坐标，计算出投影变换矩阵，对实体模型三维虚拟图像进行投影变换；投影仪将投影变换后的三维虚拟图像投射到实体模型上。本发明将光电传感器嵌入实体模型上，由计算机根据光电传感器信号动态生成投影矩阵，对生成的虚拟三维图像进行投影变换后，通过投影仪精准的投射到实体模型上，产生虚实合一的精美三维实体。
文档编号G06F3/14GK102306088SQ20111017085
公开日2012年1月4日 申请日期2011年6月23日 优先权日2011年6月23日
发明者王辉柏, 蔡兴泉, 郭林, 韦欢 申请人:北京北方卓立科技有限公司