一种交互式图像投影方法和装置制造方法
【专利摘要】本发明公开了一种交互式图像投影方法和装置，包括投影第一图像至投影桌面，形成投影区域；检测投影区域是否有物体进入，当有物体进入投影区域时，根据所述物体在投影区域的位置确定所述物体在第一图像内的物体投影轮廓；将需要显示在所述物体表面上的第二图像添加至所述第一图像内的所述物体投影轮廓中，以使所述第二图像投影到所述物体表面上。本发明将第二图像根据物体表面的大小和位置进行投影，从而基于交互方式，能够单独将第二图像能够投影到投影桌面以外的物体表面上。
【专利说明】一种交互式图像投影方法和装置
【技术领域】
[0001] 本发明涉及图像处理领域，尤其是一种交互式图像投影的方法和装置。
【背景技术】
[0002] 图像投影是利用数字光处理技术将图像投射到投影平面上，从而使得用户能够在 投影面上看到图像，并能够调节用户看到的图像的大小、颜色、清晰度等，该投影平面一般 为一个实体平面。
[0003] 目前的图像投影技术中，将图像投射到投影平面上时投影出来的画面为二维图 像，如实践中利用图像投影技术进行的纸牌游戏，将纸牌场景投射到投影桌面上，所有玩家 的纸牌都是背面朝上的，这样一来，所有玩家都不能互相看到对方的纸牌；满足了保密性的 要求。
[0004] 但是，现有的图像投影技术中，用户看到的是一个投影平面，当输入图像发生变化 时，显示在二维投影平面上的投影图像同时发生变化，这样所有的用户都能够看到该变化， 例如在上述纸牌游戏中，有玩家想要查看自己的纸牌，在同一个投影平面上查看的话其纸 牌也会暴露给其他的玩家。因此，现有的二维图像投影技术仅能将输入图像投影到一个投 影平面上，无法基于交互方式将部分图像单独显示到另外的投影平面上。
[0005] 综上，现有的图像投影技术中，将整个图像投影到同一个二维投影面上，无法满足 单独将部分图像显示到另外的投影平面的要求。
【发明内容】
[0006] 本发明提供一种交互式图像投影的方法和装置，用以解决现有的二维图像投影技 术中，不能基于交互方式将部分图像单独显示在另外的投影平面的问题。
[0007] 本发明实施例提供的一种交互式图像投影方法包括：
[0008] 投影第一图像至投影桌面，形成投影区域；
[0009] 检测投影区域是否有物体进入，当有物体进入投影区域时，根据物体在投影区域 的位置确定物体在第一图像内的物体投影轮廓；
[0010] 将需要显示在物体表面上的第二图像添加至所述第一图像内的物体投影轮中，以 使第二图像投影到物体表面上。
[0011] 进一步地，根据下列方式确定投影区域：在投影设备和投影桌面之间任取一个平 行于投影桌面的平面；将投影桌面和平面之间的投影范围作为投影区域。
[0012] 进一步地，根据下列方式确定有物体进入投影区域：判断是否有物体与投影区域 存在交线；若存在交线，则确定有物体进入投影区域；否则，确定没有物体进入投影区域。
[0013] 进一步地，根据物体在投影区域的位置确定物体在第一图像内的物体投影轮廓， 包括：将物体投射到投影桌面，得到物体在投影桌面的桌面投影轮廓；根据第一图像在投 影桌面上的桌面投影和第一图像之间的映射关系，确定桌面投影在第一图像内的物体投影 轮廓。
[0014] 进一步地，根据下列方式确定投影区域：将投影设备和投影桌面之间的投影范围 作为投影区域。
[0015] 进一步地，根据下列方式确定有物体进入投影区域：在投影设备和投影桌面之间 任取N个平行于投影桌面的平面；判断是否有物体与N个平面中的任一平面在所述投影区 域内存在交线，若存在交线，则确定有物体进入投影区域；否则，确定没有物体进入投影区 域。
[0016] 进一步地，根据物体在投影区域的位置确定物体在第一图像内的物体投影轮廓， 包括：获取物体与N个平面中每个平面在所述投影区域内的交点的坐标；根据N个平面中 的每个平面和第一图像之间的映射关系，确定所述交点的坐标映射到第一图像中的交点的 坐标；将映射到第一图像中的交点的坐标组成的区域作为物体在第一图像中的物体投影轮 廓。
[0017] 进一步地，将需要显示在物体表面上的第二图像放置到确定的物体投影轮廓中之 前，包括：确定物体在第一图像内的物体投影轮廓的最大内接矩形；根据最大内接矩形的 大小和位置，调整需要显示在物体表面上的第二图像的大小和位置。
[0018] 本发明还提供一种交互式图像投影装置，包括：
[0019] 投影单元，用于投影第一图像至投影桌面，形成投影区域；
[0020] 轮廓确定单元，用于检测投影区域是否有物体进入，当有物体进入投影区域时，根 据物体在投影区域的位置确定物体在第一图像内的物体投影轮廓，其中第一图像为当前被 投影设备投射到投影桌面的图像；
[0021] 图像调整单元，用于将需要显示在物体表面上的第二图像添加至所述第一图像内 的物体投影轮中，以使第二图像投影到物体表面上。
[0022] 进一步地，轮廓确定单元根据下列方式确定投影区域：在投影设备和投影桌面之 间任取一个平行于投影桌面的平面；将投影桌面和平面之间的投影范围作为投影区域。
[0023] 进一步地，轮廓确定单元具体用于：判断是否有物体与投影区域存在交线；若存 在交线，则确定有物体进入投影区域；否则，确定没有物体进入投影区域。
[0024] 进一步地，轮廓确定单元具体用于：将物体投射到投影桌面，得到物体在投影桌面 的桌面投影轮廓；根据第一图像在投影桌面上的桌面投影和第一图像之间的映射关系，确 定桌面投影在第一图像内的物体投影轮廓。
[0025] 进一步地，轮廓确定单元根据下列方式确定投影区域：将投影设备和投影桌面之 间的投影范围作为投影区域。
[0026] 进一步地，轮廓确定单元具体用于：在投影设备和投影桌面之间任取N个平行于 投影桌面的平面；判断是否有物体与N个平面中的任一平面在所述投影区域内存在交线， 若存在交线，则确定有物体进入投影区域；否则，确定没有物体进入投影区域。
[0027] 进一步地，轮廓确定单元具体用于：获取物体与N个平面中每个平面在所述投影 区域内的交点的坐标；根据N个平面中的每个平面和第一图像之间的映射关系，确定所述 交点的坐标映射到第一图像中的交点的坐标；将映射到第一图像中的交点的坐标组成的区 域作为物体在第一图像中的物体投影轮廓。
[0028] 进一步地，图像调整单元还用于：将需要显示在物体表面上的第二图像放置到确 定的物体投影轮廓中之前，确定物体在第一图像内的物体投影轮廓的最大内接矩形；根据 最大内接矩形的大小和位置，调整需要显示在物体表面上的第二图像的大小和位置。
[0029] 本发明实施例提供的交互式图像投影方法和装置，将第二图像投影到另外的物体 表面上，并且根据物体表面的位置和大小对第二图像进行调整，使得第二图像能够根据物 体表面进行投影，避免了二维图像投影时，无法基于交互方式单独将第二图像显示到另外 的投影平面的问题。
【专利附图】
【附图说明】
[0030] 图1为本发明实施例提供的一种交互式图像投影的方法的具体流程示意图；
[0031] 图2为投影机将多人纸牌场景投射到投影桌面上的具体结构示意图；
[0032] 图3为本发明实施例提供的以多人纸牌场景为例的一种交互式图像投影方法的 具体流程示意图；
[0033] 图4为本发明实施例提供的以多人纸牌场景为例的另一种交互式图像投影方法 的具体流程示意图；
[0034] 图5为本发明实施例提供的一种交互式图像投影装置的具体结构示意图；
[0035] 图6为本发明实施例提供的另一种交互式图像投影装置的具体结构示意图。
【具体实施方式】
[0036] 本发明实施例中根据物体表面的位置和大小对第二图像进行调整，将第二图像添 加至第一图像的对应区域内，使得第二图像能够投影到另外的物体表面上，从而实现了在 另外的物体表面上单独显示第二图像的效果。
[0037] 为了使本发明所解决的技术问题、技术方案以及有效果更加清楚明白，以下结合 附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解 释本发明，并不用于限定本发明。
[0038] 实施例一
[0039] 图1是本发明实施例提供的一种交互式图像投影的方法的具体流程示意图。如图 1所示，一种交互式图像投影的方法包括下列步骤：
[0040] 步骤101，投影第一图像至投影桌面，形成投影区域；
[0041] 步骤102,检测投影区域是否有物体进入，当有物体进入投影区域时，根据物体在 投影区域的位置确定物体在第一图像内的物体投影轮廓，其中第一图像为当前被投影设备 投射到投影桌面的图像；
[0042] 步骤103,将需要显示在物体表面上的第二图像添加至所述第一图像内的物体投 影轮中，以使第二图像投影到物体表面上。
[0043] 其中，投影桌面为一个实体平面，能够显示出图像的投影，实际应用中可以为桌 面、墙面、投影屏幕等。进入投影区域的物体为人体或其他表面能够显示图像投影的物体， 例如，可以将人手作为单独显示部分图像的投影平面，判断人手进入输入图像投影区域后， 检测到用户做出启动动作时，如人手的挥舞、推动等动作，则根据人手在投影区域内的位置 得到人手在第一图像内的投影轮廓，然后将第二图像添加至人手在第一图像内的投影轮廓 中，此时，第一图像投影的画面中，第二图像所对应的内容正好能够投射到投影区域内的人 手表面上。
[0044] 其中，第二图像可以是第一图像中选取的部分图像，包括第一图像中在桌面的投 影被物体所遮挡的部分图像，也可以是全部第一图像，或者是其它预先设定的图像，本发明 实施例提供的交互式图像投影方法能够应用于多种场景，例如当在手上显示第二图像时， 可以是在人手上浏览信息、电影、游戏界面等，也可以是将人手表面作为触控界面对应用程 序进行控制。
[0045] 较佳地，本发明实施例可以根据下列方式确定投影区域：在投影设备和投影桌面 之间任取一个平行于投影桌面的平面；将投影桌面和平面之间的投影范围作为投影区域。 采用该方式确定投影区域之后，根据下列方式确定是否有物体进入投影区域：判断是否有 物体与投影区域存在交线；若存在交线，则确定有物体进入投影区域；否则，确定没有物体 进入投影区域。
[0046] 假设投影桌面到投影设备之间具有一定的距离L，在投影设备和投影桌面之间任 取一个平行于投影桌面的平面，该平面到纸牌场景图像的距离为L'，L'的值应当小于等于 L的值。
[0047] 本发明实施例判断是否有物体与投影区域存在交线，可以通过下列方法：选取物 体表面的至少三个特征点，根据各个特征点的空间坐标得到物体表面的平面方程；将投影 桌面和平面之间的投影范围作为投影区域时，能够得到投影区域在这两个平面上的各个顶 点，根据各个顶点的空间坐标得到投影区域的各个侧面的平面方程；将得到的物体表面的 平面方程和各个侧面的平面方程联立，判断物体表面的平面方程和各个侧面的平面方程之 间是否有交线，从而判断是否有物体与投影区域存在交线。
[0048] 其中，根据物体在投影区域的位置确定物体在第一图像内的物体投影轮廓，包括： 将物体投射到投影桌面，得到物体在投影桌面的桌面投影轮廓；根据第一图像在投影桌面 上的桌面投影和第一图像之间的映射关系，确定桌面投影在第一图像内的物体投影轮廓。 [0049] 其中，还可以根据下列方式确定投影区域：将投影设备和投影桌面之间的投影范 围作为投影区域。采用该方式确定投影区域之后，根据下列方式确定有物体进入投影区域： 在投影设备和投影桌面之间任取N个平行于投影桌面的平面；判断是否有物体与N个平面 中的任一平面在所述投影区域内存在交线，若存在交线，则确定有物体进入投影区域；否 贝1J，确定没有物体进入投影区域。
[0050] 假设投影桌面到投影设备具有一定的距离L，在投影设备和投影桌面之间任取N 个平行于投影桌面的平面，任取的这N个平面到纸牌场景图像的距离为L/、L2'、L3' · · *Ln'， L/、L2'、L3，· · .LN，的值应当小于等于L的值。
[0051] 其中，判断是否有物体与N个平面中的任一平面在所述投影区域内存在交线，可 以采用下列方法：选取物体表面的至少三个特征点，根据各个特征点的空间坐标得到物体 表面的平面方程；同理在N个平面上分别选取至少三次特征点，根据各个特征点的空间坐 标分别得到N个平面的平面方程，将得到的物体表面的平面方程和N个平面的平面方程联 立，判断物体表面和N个平面中的任一平面在所述投影区域内是否有交线，若根据获得的 交线的空间方程，能够确定该交线的一部分点在投影区域内，则确定物体与N个平面中的 任一平面在投影区域内存在交线。
[0052] 其中，根据物体在投影区域的位置确定物体在第一图像内的物体投影轮廓，包括： 获取物体与N个平面中每个平面在所述投影区域内的交点的坐标；根据N个平面中的每个 平面和第一图像之间的映射关系，确定每个平面的上述交点的坐标映射到第一图像中的交 点的坐标；将映射到第一图像中的交点的坐标组成的区域作为物体在第一图像中的物体投 影轮廓。
[0053] 其中，将需要显示在物体表面上的第二图像放置到确定的物体投影轮廓中之前， 包括：确定物体在第一图像内的物体投影轮廓的最大内接矩形；根据最大内接矩形的大小 和位置，调整需要显示在物体表面上的第二图像的大小和位置。
[0054] 其中，根据最大内接矩形的大小和位置，调整需要显示在物体表面上的第二图像 的大小和位置，可以首先根据最大内接矩形的大小，将选取的第二图像进行缩小或放大，使 得第二图像的大小小于或等于最大内接矩形；然后根据最大内接矩形的位置，求取第二图 像到最大内接矩形的旋转矩阵和平移矩阵，将第二图像经过旋转矩阵和平移矩阵的变化， 放置到最大内接矩形内。
[0055] 实施例二
[0056] 本发明实施例提供的方法可以应用于例如多人纸牌游戏、多人麻将游戏、教学演 示等多种场景，下面以多人纸牌游戏为例对本发明提供的一种交互式图像投影方法进行详 细介绍。
[0057] 在实际应用中，图像的投影由投影机完成，而进入投影区域的物体的位置信息可 以由摄像机进行检测，具体实施时摄像机可以采用深度摄像机、RGB摄像机中的一种或多 种，以完成位置信息的采集。而图像中物体投影轮廓的计算以及图像的调整等图像处理过 程，可以由专用的处理器或者计算机完成。根据不同的实施方式，可以将处理器集成于投影 机内作为一个独立的投影设备，也可以将计算机与投影机组合作为一个投影系统，从而实 现图像的处理。
[0058] 如图2所示，投影机210将多人纸牌场景的图像投射到投影桌面220上的区域2A 中，形成投影画面。此时多人纸牌场景的图像就作为第一图像，第一图像中纸牌的图像投射 到投影桌面上的区域2B内形成纸牌的画面。当其中的一个用户希望查看自己的一张纸牌 时，该希望被查看的一张纸牌就作为第二图像，用户可以用一只手做出拖动纸牌的动作，从 而启动系统对人手动作进行跟踪识别。将一张纸牌显示到人手表面的一种交互式图像投影 方法如图3所示：
[0059] 步骤301，将纸牌场景图像通过投影设备投射到投影桌面上，得到纸牌场景图像 在投影桌面上的纸牌场景桌面投影；
[0060] 步骤302,在投影设备和投影桌面之间任取一个平行于投影桌面的平面δ ;
[0061] 其中，投影桌面到投影设备具有一定的距离L，任取的一个平面δ到投影设备的 距离为L'，L'的值应当小于等于L的值。
[0062] 步骤303,将投影桌面和平面δ之间的投影范围作为纸牌场景图像的投影区域；
[0063] 其中，将纸牌场景投射到桌面上，选取桌面投影的三个特征点的空间坐标（Xl， yi， 、（X2，y2，z2)、（x3，y 3，z3),根据这三个特征点的空间坐标得到桌面的平面方程为Ax+By+Cz =〇 ；
[0064] 同理，选取平面δ上的三个特征点的空间坐标（χ/，y/，Zl'）、（χ 2'，y2'，z2'）、 〇^'，3^，23'），根据这三个特征点的空间坐标得到平面6的平面方程为4'1+8' 7+(：'2 = 〇 ；
[0065] 截取投影桌面和平面δ之间的纸牌场景投影范围，可以得到投影范围在投影桌 面的四个顶点以及在平面S上的四个顶点；连接着八个顶点能够得到一个四棱锥，根据得 到的这八个顶点的空间坐标得到四棱锥的四个侧面的平面方程，该四棱锥即是由两个平面 截取得到的投影区域。
[0066] 步骤304,判断是人手与投影区域存在交线，若存在交线，则确定人手进入投影区 域；否则，确定人手没有进入投影区域；
[0067] 其中，选取人手表面上的三个特征点的空间坐标（xD1, yD1, zD1)、（xD2, yD2, zD2)、（xD3, yD3, zD3),根据这三个特征点的空间坐标得到人手表面的平面方程为ADx+BDy+C Dz = 0 ;
[0068] 将人手表面的平面方程ADx+BDy+CDz = 0与步骤203中得到的四棱锥的四个侧面 的平面方程联立求解，判断人手表面和四棱锥的四个侧面是否存在交线，若存在交线，则认 为人手进入投影区域。
[0069] 步骤305,将人手投射到投影桌面，得到人手在纸牌场景桌面投影中的桌面投影轮 廓；
[0070] 步骤306,根据纸牌场景桌面投影和纸牌场景图像之间的映射关系，由人手在纸牌 场景桌面投影中的桌面投影轮廓，确定人手在纸牌场景图像中的人手投影轮廓；
[0071] 其中，纸牌场景桌面投影与纸牌场景图像之间具有一定的映射关系Μτ，
[0072] 若纸牌场景图像中的点的二维坐标（u，v)，则纸牌场景图像中的点可以表示为
【权利要求】
1. 一种交互式图像投影方法，其特征在于，包括： 投影第一图像至投影桌面，形成投影区域； 检测投影区域是否有物体进入，当有物体进入投影区域时，根据所述物体在投影区域 的位置确定所述物体在第一图像内的物体投影轮廓； 将需要显示在所述物体表面上的第二图像添加至所述第一图像内的所述物体投影轮 廓中，以使所述第二图像投影到所述物体表面上。
2. 如权利要求1所述的方法，其特征在于，根据下列方式确定投影区域： 在所述投影设备和投影桌面之间任取一个平行于所述投影桌面的平面； 将所述投影桌面和所述平面之间的投影范围作为投影区域。
3. 如权利要求2所述的方法，其特征在于，根据下列方式确定有物体进入投影区域： 判断是否有物体与所述投影区域存在交点； 若存在交点，则确定有物体进入所述投影区域；否则，确定没有物体进入投影区域。
4. 如权利要求2或3所述的方法，其特征在于，所述根据所述物体在投影区域的位置确 定所述物体在第一图像内的物体投影轮廓，包括： 将所述物体投射到所述投影桌面，得到所述物体在所述投影桌面的桌面投影轮廓； 根据所述第一图像在所述投影桌面上的桌面投影和所述第一图像之间的映射关系，确 定所述桌面投影在所述第一图像内的物体投影轮廓。
5. 如权利要求1所述的方法，其特征在于，根据下列方式确定投影区域： 将所述投影设备和所述投影桌面之间的投影范围作为投影区域。
6. 如权利要求5所述的方法，其特征在于，根据下列方式确定有物体进入投影区域： 在所述投影设备和所述投影桌面之间任取N个平行于所述投影桌面的平面； 判断是否有物体与所述N个平面中的任一平面在所述投影区域内存在交线，若存在交 线，则确定有物体进入所述投影区域；否则，确定没有物体进入投影区域。
7. 如权利要求5或6所述的方法，其特征在于，所述根据所述物体在投影区域的位置确 定所述物体在第一图像内的物体投影轮廓，包括： 获取所述物体与所述N个平面中每个平面在所述投影区域内的交点的坐标； 根据所述N个平面中的每个平面和所述第一图像之间的映射关系，确定所述交点的坐 标映射到所述第一图像中的交点的坐标； 将映射到所述第一图像中的交点的坐标组成的区域作为所述物体在第一图像中的物 体投影轮廓。
8. 如权利要求1所述的方法，其特征在于，所述将需要显示在所述物体表面上的第二 图像放置到确定的所述物体投影轮廓中之前，包括： 确定所述物体在所述第一图像内的物体投影轮廓的最大内接矩形； 根据所述最大内接矩形的大小和位置，调整所述需要显示在所述物体表面上的第二图 像的大小和位置。
9. 一种交互式图像投影装置，其特征在于，包括： 投影单元，用于投影第一图像至投影桌面，形成投影区域； 轮廓确定单元，用于检测投影区域是否有物体进入，当有物体进入投影区域时，根据所 述物体在投影区域的位置确定所述物体在第一图像内的物体投影轮廓，其中所述第一图像 为当前被投影设备投射到投影桌面的图像； 图像调整单元，用于将需要显示在所述物体表面上的第二图像添加至所述第一图像内 的所述物体投影轮中，以使所述第二图像投影到所述物体表面上。
10. 如权利要求9所述的装置，其特征在于，所述轮廓确定单元具体用于，根据下列方 式确定投影区域： 在所述投影设备和投影桌面之间任取一个平行于所述投影桌面的平面； 将所述投影桌面和所述平面之间的投影范围作为投影区域。
11. 如权利要求10所述的装置，其特征在于，所述轮廓确定单元具体用于： 判断是否有物体与所述投影区域存在交线； 若存在交线，则确定有物体进入所述投影区域；否则，确定没有物体进入投影区域。
12. 如权利要求10或11所述的装置，其特征在于，所述轮廓确定单元具体用于： 将所述物体投射到所述投影桌面，得到所述物体在所述投影桌面的桌面投影轮廓； 根据所述第一图像在所述投影桌面上的桌面投影和所述第一图像之间的映射关系，确 定所述桌面投影在所述第一图像内的物体投影轮廓。
13. 如权利要求9所述的装置，其特征在于，所述轮廓确定单元具体用于，根据下列方 式确定投影区域： 将所述投影设备和所述投影桌面之间的投影范围作为投影区域。
14. 如权利要求13所述的装置，其特征在于，所述轮廓确定单元具体用于： 在所述投影设备和所述投影桌面之间任取N个平行于所述投影桌面的平面； 判断是否有物体与所述N个平面中的任一平面在所述投影区域内存在交线，若存在交 线，则确定有物体进入所述投影区域；否则，确定没有物体进入投影区域。
15. 如权利要求13或14所述的装置，其特征在于，所述轮廓确定单元具体用于： 获取所述物体与所述N个平面中每个平面在所述投影区域内的交点的坐标； 根据所述N个平面中的每个平面和所述第一图像之间的映射关系，确定所述交点的坐 标映射到所述第一图像中的交点的坐标； 将映射到所述第一图像中的交点的坐标组成的区域作为所述物体在第一图像中的物 体投影轮廓。
16. 如权利要求9所述的装置，其特征在于，所述图像调整单元还用于 将需要显示在所述物体表面上的第二图像放置到确定的所述物体投影轮廓中之前，确 定所述物体在所述第一图像内的物体投影轮廓的最大内接矩形； 根据所述最大内接矩形的大小和位置，调整所述需要显示在所述物体表面上的第二图 像的大小和位置。
【文档编号】H04N5/74GK104052977SQ201410261670
【公开日】2014年9月17日 申请日期:2014年6月12日 优先权日:2014年6月12日
【发明者】王震, 张培龙, 许敏 申请人:海信集团有限公司