智能异形投影非接触式交互系统和方法与流程

技术特征：

1.一种智能异形投影非接触式交互系统，其特征在于，包括投影模块、图像采集模块、影像制作模块、异形投影标定模块、交互模块；所述投影模块包括至少一个投影仪；所述图像采集模块包括至少一个摄像机；

所述异形投影标定模块包括摄像机标定、投影仪标定、摄像机和投影仪同时标定；所述摄像机标定用于获得摄像机内参；所述投影仪标定用于获得摄像机内参；所述摄像机和投影仪同时标定用于获得摄像机和投影仪的外参、以及投影仪在摄像机坐标系下的位置；

所述影像制作模块，用于根据投影仪在摄像机坐标系中的位置，制作对应投影仪需要投影的视频和异形面上对应的交互区域图；所述影像制作模块中，影像制作过程中虚拟摄像机的参数和位置依据所述异形投影标定模块返回的投影仪内参、外参、位置进行配置；

所述投影模块，用于进行视频投影，并在交互投影初始化时根据所述交互区域图生成交互区域索引图；

所述图像采集模块，用于实时采集交互区域的图像；

所述交互模块，用于检测所采集的交互区域的图像中是否具有触控斑点，并以此为依据选择对应的投影影像发送投影仪进行投影播放。

2.根据权利要求1所述的智能异形投影非接触式交互系统，其特征在于，所述摄像机标定，其方法为：

将棋盘格固定到标定板上，在摄像机视场范围内改变标定板的位置或角度，每次改变标定板位置稳定后且各角点均能被完全正确检测时，摄像机采集标定图像；

获取各标定图像中检测出来的角点和各角点的物理位置；

根据各标定图像中检测出来的角点和各角点的物理位置标定摄像机的内参。

3.根据权利要求2所述的智能异形投影非接触式交互系统，其特征在于，所述投影仪标定，其方法为：

通过投影仪在摄像机标定所采用的标定板上投影棋盘格；通过摄像机获取所投影的棋盘格中角点的物理三维坐标，并发送给该投影仪进行内参标定。

4.根据权利要求3所述的智能异形投影非接触式交互系统，其特征在于，所述摄像机和投影仪同时标定，其方法为：

采用摄像机标定所采用的标定板，固定标定板的位置与角度，执行一次所述投影仪标定，获得摄像机和投影仪的选择矩阵分别为Rc、Rp，摄像机和投影仪的平移向量分别为Tc、Tp，计算投影在摄像机坐标系中的位置

5.根据权利要求3所述的智能异形投影非接触式交互系统，其特征在于，所述“通过投影仪在摄像机标定所采用的标定板上投影棋盘格；通过摄像机获取所投影的棋盘格中角点的物理三维坐标，并发送给该投影仪进行内参标定”，包括如下步骤：

步骤A1，投影仪在摄像机视场内的标定板上投影白色图像，当标定板上的棋盘格角点能被完全正确检测时，摄像机采集图像B，该图像B中包含摄像机标定时的棋盘格，检测图像B图像中的角点，标定获得摄像机的外参；

步骤A2，保持标定板角度与位置不变，投影仪在摄像机视场内的标定板上投影棋盘格图像，摄像机采集图像I，获取只包含投影棋盘格上的前景图像F＝I－B；

步骤A3，当图像F中的棋盘格角点能被完全正确检测时，使用摄像机的内参、外参，获得各角点的物理三维坐标，保存到角点物理位置信息集中；

步骤A4，改变标定板的角度和/或位置，重复步骤A1-A3，到达设定次数，使用角点物理位置信息集中保存的角点物理三维坐标和投影图像中角点对应的图像信息，标定投影仪的内参。

6.根据权利要求1所述的智能异形投影非接触式交互系统，其特征在于，所述“制作对应投影仪需要投影的视频和异形面上对应的交互区域图”，其方法为：

对各投影仪，生成交互区域图，像素值均为0；

根据各投影仪在摄像机坐标系中的位置，设定各虚拟摄像机的位置；各摄像机拍摄其视场内异形面的图像，将该图像中异形面上需要投影仪投影的对应位置转换到投影仪虚拟视场中进行渲染；

虚拟摄像机中需要渲染的场景影像包括播放影像和交互区域图；所述播放影像用于在异形面上播放，多台投影仪重叠的区域选择其中一台进行渲染，其余投影仪在的该重叠的区域投影的画面为黑色；所述交互区域图用于交互初始化，所述交互区域图中的交互区域渲染成白色，其余区域保持像素值为0不变。

7.根据权利要求1所述的智能异形投影非接触式交互系统，其特征在于，所述“在交互投影初始化时根据所述交互区域图生成交互区域索引图”，其方法为：

步骤B1，定义交互区域索引图默认为全黑图像，像素值为0；

步骤B2，各投影仪之间协调投影，按照先投影大区域后投影小区域的原则，依次将所述交互区域图投影到摄像机视场内的异形面上，摄像机拍摄异形面图像；

步骤B3，对摄像机采集的图像依次进行灰度化、二值化操作、寻找最大连通域；

步骤B4，设定图像像素的最大取值为Max，异形面的交互区域数量为N，当前区域为n，则更新交互索引图中当前最大连通域对应位置的像素值为AreadIndex＝n*Max/N。

8.根据权利要求7所述的智能异形投影非接触式交互系统，其特征在于，所述“检测所采集的交互区域的图像中是否具有触控斑点，并以此为依据选择对应的投影影像发送投影仪进行投影播放”，其方法为：

摄像机实时检测视场内异形面的图像，对每一帧图像进行灰度化、二值化处理后查询最大连通域，若最大连通域大于设定的阈值就判断为用户交互的斑点落在该连通域内；

按照最大连通域的位置读取交互索引图中该位置上的像素值AreadIndex，若AreadIndex＝n*Max/N，则将AreadIndex作为当前帧的索引依次保存在交互区域索引队列中；

统计当前索引列表中出现索引次数最大的交互区域索引，并将该交互区域索引编号发送至投影模块中对应的投影仪进行交互影像的投影播放。

9.根据权利要求8所述的智能异形投影非接触式交互系统，其特征在于，所述交互区域索引队列的长度根据人机交互界面窗口进行设定。

10.一种智能异形投影非接触式交互方法，其特征在于，基于权利要求1-9任一项所述的智能异形投影非接触式交互系统，包括以下步骤：

步骤S1，初始化交互区域索引图；

步骤S2，读取摄像机实时采集的交互区域的图像；

步骤S3，检测所采集的交互区域的图像中是否具有触控斑点，如没有则继续播放当前影像，如有则执行步骤S4；

步骤S4，依据所检测到的触控斑点，选择对应的投影影像发送投影仪进行投影播放。