本发明属于异形投影领域，具体涉及一种智能异形投影非接触式交互系统和方法。
背景技术：
随着科技的发展，各种投影技术得到较大的发展，其中大型异形投影技术使得投影画面能够与异形面完美贴合，给人一种异形面本上在发光的视觉感受，能够展示出美轮美奂的异形效果，增强了体验者的沉溺感，因而得到广泛的发展。与一般的平面投影不同，异形面的投影技术可以在各种异形面上进行投影，如汽车、人体模型、艺术墙体、立体沙盘等。在教育、娱乐、虚拟现实、商业宣传、军事沙盘等方面都有较为广泛的应用。异形面的投影需要考虑异形面的结构特征，否则投影出来的影像可能与异形面无法对齐，出现漏光、错位等现象，无法达到预期效果。为了解决这个问题常用的方法及时在投影异形面上生成网格，然后人工在异形面上拖动网格实现影像对齐的效果，但是这种方法缺少自动化的能力，需要耗费较大的人力，特别是对于较大的异形面进行投影时，比如对大型立体沙盘进行投影。
较大的异形面进行投影时需要多投影仪进行联动投影。每个投影仪直接的拼接如果采用硬拼接，即一个投影仪的投影范围和其它投影仪的投影范围相邻但不叠加，投影面上会出现投影缝隙，而且投影仪位置的摆放难以操作；如果各投影仪之间存在重叠的投影区域，重叠的投影区域会出现高亮和重影现象；通常的解决方式是对重叠高亮区域对各投影仪进行亮度融合，但是该方法操作较为复杂。
在一些特定的应用中可能需要为用户提供一定的交互能力。目前，在与投影技术相结合个交互技术通常为触摸式，如红外线式触控交互技术，这种交互技术具有交互区域为平面、交互区域有限等要求。但是对于大型的异形面进行投影交互时，触摸式的交互技术无法满足需求。因此，大型异形面的投影，如何突破接触式交互技术的局限，解决非接触式交互技术成为急需解决的课题。
技术实现要素：
为了解决现有技术中的上述问题，即为了解决异形面投影的非接触式交互问题，本发明的一方面，提出了一种智能异形投影非接触式交互系统，包括投影模块、图像采集模块、影像制作模块、异形投影标定模块、交互模块；所述投影模块包括至少一个投影仪；所述图像采集模块包括至少一个摄像机；
所述异形投影标定模块包括摄像机标定、投影仪标定、摄像机和投影仪同时标定；所述摄像机标定用于获得摄像机内参；所述投影仪标定用于获得摄像机内参；所述摄像机和投影仪同时标定用于获得摄像机和投影仪的外参、以及投影仪在摄像机坐标系下的位置；
所述影像制作模块，用于根据投影仪在摄像机坐标系中的位置，制作对应投影仪需要投影的视频和异形面上对应的交互区域图；所述影像制作模块中，影像制作过程中虚拟摄像机的参数和位置依据所述异形投影标定模块返回的投影仪内参、外参、位置进行配置；
所述投影模块，用于进行视频投影，并在交互投影初始化时根据所述交互区域图生成交互区域索引图；
所述图像采集模块，用于实时采集交互区域的图像；
所述交互模块，用于检测所采集的交互区域的图像中是否具有触控斑点，并以此为依据选择对应的投影影像发送投影仪进行投影播放。
进一步地，所述摄像机标定，其方法为：
将棋盘格固定到标定板上，在摄像机视场范围内改变标定板的位置或角度，每次改变标定板位置稳定后且各角点均能被完全正确检测时，摄像机采集标定图像；
获取各标定图像中检测出来的角点和各角点的物理位置；
根据各标定图像中检测出来的角点和各角点的物理位置标定摄像机的内参。
进一步地，所述投影仪标定，其方法为：
通过投影仪在摄像机标定所采用的标定板上投影棋盘格；通过摄像机获取所投影的棋盘格中角点的物理三维坐标，并发送给该投影仪进行内参标定。
进一步地，所述摄像机和投影仪同时标定，其方法为：
采用摄像机标定所采用的标定板，固定标定板的位置与角度，执行一次所述投影仪标定，获得摄像机和投影仪的选择矩阵分别为Rc、 Rp，摄像机和投影仪的平移向量分别为Tc、Tp，计算投影在摄像机坐标系中的位置
进一步地，所述“通过投影仪在摄像机标定所采用的标定板上投影棋盘格；通过摄像机获取所投影的棋盘格中角点的物理三维坐标，并发送给该投影仪进行内参标定”，包括如下步骤：
步骤A1，投影仪在摄像机视场内的标定板上投影白色图像，当标定板上的棋盘格角点能被完全正确检测时，摄像机采集图像B，该图像B中包含摄像机标定时的棋盘格，检测图像B图像中的角点，标定获得摄像机的外参；
步骤A2，保持标定板角度与位置不变，投影仪在摄像机视场内的标定板上投影棋盘格图像，摄像机采集图像I，获取只包含投影棋盘格上的前景图像F＝I－B；
步骤A3，当图像F中的棋盘格角点能被完全正确检测时，使用摄像机的内参、外参，获得各角点的物理三维坐标，保存到角点物理位置信息集中；
步骤A4，改变标定板的角度和/或位置，重复步骤A1-A3，到达设定次数，使用角点物理位置信息集中保存的角点物理三维坐标和投影图像中角点对应的图像信息，标定投影仪的内参。
进一步地，所述“制作对应投影仪需要投影的视频和异形面上对应的交互区域图”，其方法为：
对各投影仪，生成交互区域图，像素值均为0；
根据各投影仪在摄像机坐标系中的位置，设定各虚拟摄像机的位置；各摄像机拍摄其视场内异形面的图像，将该图像中异形面上需要投影仪投影的对应位置转换到投影仪虚拟视场中进行渲染；
虚拟摄像机中需要渲染的场景影像包括播放影像和交互区域图；所述播放影像用于在异形面上播放，多台投影仪重叠的区域选择其中一台进行渲染，其余投影仪在的该重叠的区域投影的画面为黑色；所述交互区域图用于交互初始化，所述交互区域图中的交互区域渲染成白色，其余区域保持像素值为0不变。
进一步地，所述“在交互投影初始化时根据所述交互区域图生成交互区域索引图”，其方法为：
步骤B1，定义交互区域索引图默认为全黑图像，像素值为 0；
步骤B2，各投影仪之间协调投影，按照先投影大区域后投影小区域的原则，依次将所述交互区域图投影到摄像机视场内的异形面上，摄像机拍摄异形面图像；
步骤B3，对摄像机采集的图像依次进行灰度化、二值化操作、寻找最大连通域；
步骤B4，设定图像像素的最大取值为Max，异形面的交互区域数量为N，当前区域为n，则更新交互索引图中当前最大连通域对应位置的像素值为AreadIndex＝n*Max/N。
进一步地，所述“检测所采集的交互区域的图像中是否具有触控斑点，并以此为依据选择对应的投影影像发送投影仪进行投影播放”，其方法为：
摄像机实时检测视场内异形面的图像，对每一帧图像进行灰度化、二值化处理后查询最大连通域，若最大连通域大于设定的阈值就判断为用户交互的斑点落在该连通域内；
按照最大连通域的位置读取交互索引图中该位置上的像素值AreadIndex，若AreadIndex＝n*Max/N，则将AreadIndex作为当前帧的索引依次保存在交互区域索引队列中；
统计当前索引列表中出现索引次数最大的交互区域索引，并将该交互区域索引编号发送至投影模块中对应的投影仪进行交互影像的投影播放。
进一步地，所述交互区域索引队列的长度根据人机交互界面窗口进行设定。
本发明的另一方面，提出了一种智能异形投影非接触式交互方法，其特征在于，基于上述的智能异形投影非接触式交互系统，包括以下步骤：
步骤S1，初始化交互区域索引图；
步骤S2，读取摄像机实时采集的交互区域的图像；
步骤S3，检测所采集的交互区域的图像中是否具有触控斑点，如没有则继续播放当前影像，如有则执行步骤S4；
步骤S4，依据所检测到的触控斑点，选择对应的投影影像发送投影仪进行投影播放。
本发明的有益效果如下：
本发明采用机器视觉的原理实现非接触式交互功能，能够实现对大型异形投影长距离交互投影播放，用户可以随心所欲的交互展示特定区域，能够更好的应用在教育、科普以及大型军用沙盘等实例中；
本发明采用摄像机和投影仪的同时标定，返回投影仪的位置作为影像制作时虚拟摄像机的位置，因此大型异形面的投影不需要通过类似网格贴图的方式进行影像与异形物体构建的对齐，具有更高的自动化程度；
本发明中在相关投影仪影像制作环节能够提供虚拟影像的具体位置，因此不需要对多个投影仪的投影仪重叠部分进行图像亮度融合。
附图说明
图1是本发明一种实施例的智能异形投影非接触式交互系统结构示意图；
图2(a)是投影仪标定过程中，投影仪向贴有棋盘格的标定板打全白图像的示意图；
图2(b)是投影仪标定过程中，投影仪向贴有标定板的棋盘格打投影仪棋盘格的示意图；
图2(c)是通过摄像机背景建模获得的用于投影仪标定的棋盘格示意图；
图3由摄像机标定投影仪的关系示意图；
图4由摄像机采集的图像到虚拟摄像机渲染被投影仪投影的图像；
图5(a)、5(b)、5(c)分别为制作模块制作的交互区域图示例；
图6由投影仪投影交互区域图后，通过摄像机采集初始化得到的交互区域索引图；
图7本发明实例程序实现流程示意图。
附图标记说明：贴在标定板上的棋盘格101、投影仪打在标定板上的全白图像102、投影仪打在标定板上的棋盘格图像103、摄像机建模获得的背景图像104、背景建模图像上的棋盘格105、摄像机106、投影仪107。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明提出的智能异形投影非接触式交互系统，为用户提供了更加智能的交互功能，同时可以使用多个投影仪实现大型异形面的联动投影，从根本上解决了投影仪之间的融合问题。
本发明一种实施例的智能异形投影非接触式交互系统，如图 1所示，包括投影模块、图像采集模块、影像制作模块、异形投影标定模块、交互模块。
1、投影模块
投影模块，用于进行视频投影，并在交互投影初始化时根据所述交互区域图生成交互区域索引图。
投影模块包括一个或多个投影仪；在多个投影仪的情况下，每个投影仪和其它投影仪设置有投影重叠区域，投影重叠区域不小于该投影仪投影区域的10％。
本实施例中，在交互投影初始化时根据所述交互区域图生成交互区域索引图，即为交互区域索引图的初始化，其方法为：
步骤B1，定义交互区域索引图默认为全黑图像，像素值为 0；
步骤B2，各投影仪之间协调投影，按照先投影大区域后投影小区域的原则，依次将所述交互区域图投影到摄像机视场内的异形面上，摄像机拍摄异形面图像；
步骤B3，对摄像机采集的图像依次进行灰度化、二值化操作、寻找最大连通域；
步骤B4，设定图像像素的最大取值为Max，异形面的交互区域数量为N，当前区域为n，则更新交互索引图中当前最大连通域对应位置的像素值为AreadIndex＝n*Max/N。
2、图像采集模块
图像采集模块，用于实时采集交互区域的图像。
图像采集模块包括一个或多个摄像机；若采用多个摄像机，则各摄像机之间的视场有重叠，摄像机与在其视场内进行投影的投影仪投影区域有重叠，投影交互区域在摄像机的视场内。
3、异形投影标定模块
异形投影标定模块包括摄像机标定、投影仪标定、摄像机和投影仪同时标定；所述摄像机标定用于获得摄像机内参；所述投影仪标定用于获得投影仪内参；所述摄像机和投影仪同时标定用于获得摄像机和投影仪的外参、以及投影仪在摄像机坐标系下的位置。
(1)摄像机标定，其方法为：
将棋盘格固定到标定板上，在摄像机视场范围内改变标定板的位置或角度，每次改变标定板位置稳定后且各角点均能被完全正确检测时，摄像机采集标定图像；摄像机采集标定图像根据用户需求设定，一般不少于3张；
获取各标定图像中检测出来的角点和各角点的物理位置；
根据各标定图像中检测出来的角点和各角点的物理位置标定摄像机的内参，该方法为现有技术，此处不再赘述，可以参考：Zhengyou Zhang,A flexible new technique for camera calibration.IEEE Transactions on Pattern Analysis and Machine Intelligence,Volume:22,Issue:11,Nov 2000。
(2)投影仪标定，可以看作摄像机标定的逆过程，其方法为：
投影仪在摄像机标定时所采用的标定板上投影棋盘格；通过摄像机获取所投影的棋盘格中角点的物理三维坐标，并发送给该投影仪进行内参标定。
本实施例中，投影仪标定可以分为以下步骤：
步骤A1，投影仪在摄像机视场内的标定板上投影白色图像 (如图2(a)所示)，当标定板上的棋盘格角点能被完全正确检测时，摄像机采集图像B，该图像B中包含摄像机标定时的棋盘格，检测图像B 图像中的角点，标定获得摄像机的外参；
步骤A2，保持标定板角度与位置不变，投影仪在摄像机视场内的标定板上投影棋盘格图像(如图2(b))，摄像机采集图像I，获取只包含投影棋盘格上的前景图像F＝I－B(如图2(c))；
步骤A3，当图像F中的棋盘格角点能被完全正确检测时，使用摄像机的内参、外参，获得各角点的物理三维坐标，保存到角点物理位置信息集中；
步骤A4，改变标定板的角度和/或位置，重复步骤A1-A3，到达设定次数，一般不少于3次。使用角点物理位置信息集中保存的角点物理三维坐标和投影图像中角点对应的图像信息，标定投影仪的内参，该方法为现有技术，此处不再赘述，可以参考：Zhengyou Zhang,A flexible new technique for camera calibration.IEEE Transactions on Pattern Analysis and Machine Intelligence,Volume:22,Issue:11,Nov 2000。
摄像机标定投影仪的关系示意图如图3所示。
(3)摄像机和投影仪同时标定，投影仪和摄像机同时标定的过程与投影仪的标定类似，不同之处在于此时标定板的角度与位置在标定过程中不变，其具体方法为：
采用摄像机标定所使用的标定板，固定标定板的位置与角度，执行一次所述投影仪标定，获得摄像机和投影仪的旋转矩阵：Rc、Rp以及，摄像机和投影仪的平移向量：Tc、Tp，计算投影仪在摄像机坐标系中的位置，该方法为现有技术，此处不再赘述，可以参考：Richard Hartley,Andrew Zisserman,Multiple View Geometry in Computer Vision,Cambridge University Press,2004.3。
4、影像制作模块
影像制作模块，用于根据投影仪在摄像机坐标系中的位置，制作对应投影仪需要投影的视频和异形面上对应的交互区域图；所述影像制作模块中，影像制作过程中虚拟摄像机的参数和位置依据所述异形投影标定模块返回的投影仪内参、外参、位置进行配置。
本实施例中，制作对应投影仪需要投影的视频和异形面上对应的交互区域图的方法为：
对各投影仪，生成交互区域图，像素值均为0；
根据各投影仪在摄像机坐标系中的位置，将其设定为各虚拟摄像机的位置；各摄像机拍摄其视场内异形面的图像，将该图像中异形面上需要投影仪投影的影像，变换到所述虚拟相机的视场内进行渲染；
虚拟摄像机中需要渲染的场景影像包括播放影像和交互区域图：
(1)播放影像用于在异形面上播放，多台投影仪重叠的区域选择其中一台进行渲染，其余投影仪在的该重叠的区域投影的画面为黑色；
(2)交互区域图用于交互初始化，所述交互区域图中的交互区域渲染成白色，其余区域保持像素值为0不变。
图4示出了由摄像机采集的图像到虚拟摄像机渲染被投影仪投影的图像的示例。
图5(a)、5(b)、5(c)为制作模块制作的交互区域图示例。
图6为投影仪投影交互区域图后，通过摄像机采集初始化得到的交互区域索引图。
5、交互模块
交互模块用于检测所采集的交互区域的图像中是否具有触控斑点，并以此为依据选择对应的投影影像发送投影仪进行投影播放。
本实施例的智能异形投影非接触式交互系统，其投影播放模式包括播放模式、交互模式；系统默认为播放模式，播放模式下各投影仪协调投影，在异形面上播放特定影像资料；交互模式下，系统提供交互功能，允许用户通过激光笔等点击特定交互区域进行交互。
在交互模式下，交互模块中的判断和播放控制方法为：
(1)摄像机实时检测视场内异形面的图像，对每一帧图像进行灰度化、二值化处理后查询最大连通域，若最大连通域大于设定的阈值就判断为用户交互的斑点落在该连通域内；
(2)按照最大连通域的位置读取交互索引图中该位置上的像素值AreadIndex，若AreadIndex＝n*Max/N，则将AreadIndex作为当前帧的索引依次保存在交互区域索引队列中；
(3)统计当前索引列表中出现索引次数最大的交互区域索引，并将该交互区域索引编号发送至投影模块中对应的投影仪进行交互影像的投影播放。
本发明实施例的交互区域索引队列的长度可以根据需要，从人机交互界面窗口进行设定。
本发明一种实施例的智能异形投影非接触式交互方法，基于上述的智能异形投影非接触式交互系统，如图7所示，包括以下步骤：
步骤S1，初始化交互区域索引图；
步骤S2，读取摄像机实时采集的交互区域的图像；
步骤S3，检测所采集的交互区域的图像中是否具有触控斑点，如没有则继续播放当前影像，如有则执行步骤S4；
步骤S4，依据所检测到的触控斑点，选择对应的投影影像发送投影仪进行投影播放。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的方法的具体工作过程及有关说明，可以参考前述系统实施例中的对应内容，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块、或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。