一种新型互动投影系统的制作方法

专利名称：一种新型互动投影系统的制作方法
专利说明一种新型互动投影系统 技术领域：
本发明涉及非接触式人机交互领域，特别涉及一种新型互动投影系统。
背景技术：
随着微电子技术的不断发展，计算机被广泛地应用到了人类社会的各个领域，各种人机互动设备与方法应运而生，主要完成以下的功能文字、图像和视频编辑功能；影音娱乐功能；工业控制功能；辅助学习功能；显示输出功能。按照人机交互设备可以分为以下几类 1、通过鼠标和键盘实现的交互主要包括文字录入与编辑、图像和视频编辑、计算机程序编写以及网络应用； 2、通过传感器实现的交互主要包括生产线产品生产流程管理、产品质量控制、反向工程； 3、通过特定工具实现的交互主要包括通过手写笔和其他设备实现的计算机辅助设计。
上述方法在其本身所处的范围中能够很好地发挥作用，但在互动投影方面无法达到理想的效果。互动投影主要指通过人体的运动和姿态来控制投影系统，使其发出相应，表现出不同的影像。传统的键盘鼠标和工业传感器无法获取人体的运动和姿态信息。
随着计算机视觉技术的不断发展，我们可以通过图像处理的方法获取人体的运动和姿态，该方法不但具有实时快速的优点，兼具有非接触的特征。非常适合互动投影系统。

发明内容
本发明的目的在于针对目前通过键盘、鼠标或传感器实现的互动投影系统存在的对硬件传感器的依赖，通过红外光投影技术和图像处理技术，获取并识别操作者输入的控制信息，将控制信息传递给表现模块，实现非接触方式的人机互动，提供一种新型互动投影系统。
为了达到上述目的，本发明提供的一种新型互动投影系统，包括用于投射互动数据的视频图像投影单元；用于采集图像数据的图像采集单元；用于将采集的图像数据进行畸变校正和透视变换以及将采集的图像数据中的背景图像与运动图像分离，更新背景图像，并对运动图像进行分割、跟踪的图像数据处理单元；用于将跟踪的图像数据坐标输送至Flash互动单元的通信单元；及用于根据跟踪捕获到的运动图像、输出相应的Flash互动效果的Flash互动单元；所述视频图像投影单元、图像采集单元分别与图像数据处理单元连接，所述图像数据处理单元、通信单元、Flash互动单元和视频图像投影单元依次连接。
根据本发明提供的新型互动投影系统一优选技术方案是所述图像采集单元包括红外LED灯具阵组及设置于红外LED灯具阵组中心位置的摄像头；所述图像采集单元顶部设有摄像头旋转装置，底部设有透红外亚克力薄板。
根据本发明提供的新型互动投影系统一优选技术方案是所述红外LED灯矩阵组的LED灯向矩阵组中心倾斜一定角度；所述角度的范围是40至50度，最优角度为45度。
根据本发明提供的新型互动投影系统一优选技术方案是所述摄像头的镜头前设有一层红外带通滤波片。
根据本发明提供的新型互动投影系统一优选技术方案是所述摄像头采用红外广角摄像头。
根据本发明提供的新型互动投影系统一优选技术方案是所述图像数据处理单元包括用于对摄像头采集的图像数据进行径向校正的摄像头校正模块；用于完成视频图像投影单元的投影区范围到图像采集单元采集区域的透视变换的图像透视变换模块；用于提取将透视变换后的图像数据中的运动前景，并更新背景的背景更新模块；及用于将运动前景图像进行分割，标记分割区域，并对分割后的运动前景图像进行跟踪的运动分割跟踪模块；所述摄像头校正模块、图像透视变换模块、背景更新模块和运动分割跟踪模块依次连接。
根据本发明提供的新型互动投影系统一优选技术方案是所述摄像头校正模块包括叠加模1块，将摄像头对标定板N个角度拍摄的N幅图像进行叠加，得到矩阵方程(1) 其中(x*，y*)为校正后的图像坐标，(x，y)为校正前的图像坐标，k1，k2为径向畸变系数，(u*，v*)为校正后的像素坐标，(u，v)为校正前的像素坐标，N≥9； 矩阵变换模块，与叠加模块连接，用于将方程(1)变换为方程(2) Sk＝d(2) 其中，S为N*N的矩阵，k为径向畸变参数，d为为N*1的列向量；及 径向畸变参数求解模块，与矩阵变换模块连接，用于根据公式(3)得到摄像头的径向畸变参数k；将图像采集单元采集到的图像数据通过径向畸变参数k进行径向校正。
k＝(STS)-1STd(3) 根据本发明提供的新型互动投影系统一优选技术方案是所述图像透视变换模块通过公式(4)，将校正后的数据图像的像素点变换成与投影区域矩形对应的矩形图像； 其中，[x，y，1]为摄像机采集的二维图像上任意像素点的坐标，

为3×3变换矩阵，

为变换后图像上点的坐标。
根据本发明提供的新型互动投影系统一优选技术方案是所述背景更新模块包括前景提取模块，用于通过累计3至6帧图像，计算每帧图像的绝对差图像，将不同的彩色通道的图像按照公式(5) 转换成一个背景的统计模型，将待分析帧的图像与背景模型图像进行差分，通过选取适当的阈值，对差分后的图像进行阈值分割，将图像变换成二值化图像，使运动前景图像从背景中分离出来；及前景腐蚀及膨胀模块，用于通过图像腐蚀运算和图像膨胀运算除去运动前景图像中的离散噪声。
根据本发明提供的新型互动投影系统一优选技术方案是所述运动分割跟踪模块包括运动分割模块，用于利用金字塔光流模型对运动前景图像进行分割，具体过程通过对图像进行连续的降采样，得到一个图像集合，该集合中所有的图像都来源于同一幅图像，从金字塔的第i层(Fi)生成第i+1层(Fi+1)，首先对Fi进行卷积，删除卷积结果中所有偶数行和基数列，产生的新图像的面积是源图像面积的四分之一，通过上诉的方法对输入的图像Fi循环执行操作，并对得到的每层金字塔图像进行优化，就生成了整个分割金字塔，建立完图像金字塔之后，在第Fi层的像素和第Fi+1层的像素建立映射关系，通过这种方式，对每层图像进行分割，并标记分割区域；及运动跟踪模块，用于跟踪分割后的图像数据，具体过程首先将图像金字塔方法分割后的区域范围内的所有像素都设置为当前的系统时间，随着矩形区域的运动，新的轮廓被获取并被下一系统时刻分割出的轮廓覆盖，较早被分离出的运动部分被置为历史图像，并用较暗的矩形描绘；其次，设置一个时间阈值，记录在这一时间内记录的分割后的运动区域，若记录轮廓超过了系统设定的时间阈值，则较早记录的分割出的区域图像将被删除；最后，对时间阈值范围内i时刻的分割域计算运动轮廓定义为Gi，i+Δt时刻的分割域计算运动轮廓定义为Gi+1，通过Gi和Gi+1计算出在Δt时间内的梯度，即在Δt时间内，分割范围内的局部运动方向。
本发明的有益的技术效果是克服目前通过键盘、鼠标或传感器实现的互动投影系统存在的对硬件传感器的依赖，通过红外光投影技术和图像处理技术，获取并识别操作者输入的控制信息，将控制信息传递给表现模块，实现非接触方式的人机互动。
说明书附图


图1本发明新型互动投影系统结构框图； 图2本发明新型互动投影系统的图像采集单元结构图； 图3本发明新型互动投影系统的摄像头校正模块结构图； 图4本发明新型互动投影系统的背景更新模块结构图； 图5本发明新型互动投影系统的运动分割跟踪模块结构图； 图6本发明新型互动投影系统的应用场景示意图； 图7本发明新型互动投影系统的实现非接触方式的人机互动的流程图； 图8本发明新型互动投影系统的三角形的平面标定板结构图； 图9本发明新型互动投影系统的三角形的平面标定板各不同角度示意图； 图10a本发明新型互动投影系统的投影单元与摄像头覆盖区域示意图； 图10b本发明新型互动投影系统的投影单元光轴和摄像头光轴示意图； 图11a本发明新型互动投影系统的投影单元的投影区实际形状； 图11b本发明新型互动投影系统的投影单元的投影区透视变换后的形状； 图12本发明新型互动投影系统的用3×4矩形棋盘格为核的示意图； 图13本发明新型互动投影系统的核的一个具体应用示意图； 图14本发明新型互动投影系统的图像金字塔示意图； 图15本发明新型互动投影系统的运动图像的矩形区域描绘示意图； 图16本发明新型互动投影系统的根据时间阈值删除较早记录的分割出的区域图像的示意图。
具体实施方式

下面结合附图及具体实施例对本发明做详细说明。
请参照图1，本实施例中的新型互动投影系统，包括视频图像投影单元100、通信单元200、图像采集单元300、图像数据处理单元400、Flash互动单元500；所述图像数据处理单元400包括摄像头校正模块410、图像透视变换模块420、背景更新模块430及运动分割跟踪模块440。
请参照图2，所述图像采集单元300包括红外LED灯具阵组302及设置于红外LED灯矩阵组302中心位置的摄像头304；所述图像采集单元300顶部设有摄像头旋转装置301，底部设有透红外亚克力薄板303；所述红外LED灯矩阵组302的LED灯向矩阵组中心倾斜一定角度；所述角度为45度；所述摄像头304的镜头前设有一层红外带通滤波片；所述摄像头304采用红外广角摄像头。
请参照图3，所述摄像头校正模块410包括叠加模块411、矩阵变换模块412及径向畸变参数求解模块413。
请参照图4，所述背景更新模块430包括前景提取模块431和前景腐蚀及膨胀模块432。
请参照图5，所述运动分割跟踪模块440包括运动分割模块441和运动跟踪模块442。
请参照图6，本发明实施例的一个应用场景，图中，300是红外视频采集系统(图像采集单元)，700是运动物体，600是投影玻璃，100是背面投影装置(视频图像投影单元)。
请参照图7，结合上述新型互动投影系统的结构对本发明做进一步阐述。
第一步、视频图像投影所述视频图像投影单元100采用高流明、短焦投影仪，使得在252cm距离的情况下，投影出233mm×259mm面积的标准矩形。
第二步、近红外光场投影为达精度与灵敏度的要求，系统采用主动轮廓技术，即利用红外LED灯矩阵组创建一个近红外光场的“墙”，将感应红外光线的摄像机对着“墙”，这样就可以获取红外摄像机和“墙”之间的人体的运动和姿态。
第三步、视频图像采集所述图像采集单元300采用图2结构。其特点是1)摄像头旋转装置，可使摄像头进行水平、垂直+/-90°角进行自由旋转；2)与水平面成β角的红外LED灯矩阵组；3)具有漫反射功能的特殊材料；4)红外广角摄像头。
图像采集单元中，红外LED灯矩阵组与水平面成β角，LED发出850nm波长的红外光。红外广角摄像头采用高分辨率高帧率摄像头处理芯片，并配上广角镜头，可视角度为120°，镜头前加一层850nm的红外滤波片(Infrared CutFilter)，过滤可见光，使摄像头的可视波段为850±20nm。图像采集系统的底部为一层具有漫反射功能的特殊材料。市面上常见的监控摄像头也带有红外LED，但是照射时会形成中心很亮，周围很暗的情况，即形成hot spot。红外光照射不均匀，会影响摄像头采集数据的精确性。加上这一层具有漫反射功能的特殊材料，会消除hot spot现象，将红外光均匀柔和的布满整个摄像头采集的区域，大幅度的提高摄像头采集的精确度。图像采集系统的上部为旋转装置，可使摄像头进行水平、垂直+/-90°角进行自由旋转，这样就可以使图像采集系统固定在任何表面，通过旋转来获取需要的采集区域。
摄像头采集到的区域面积
红外LED灯矩阵组照射到的区域面积

由于

故S2＞S1， 即红外LED灯矩阵组照射到的区域面积大于摄像头采集到的区域面积，这样可以使摄像头的可视区域布满柔和均匀的850nm红外光。
其中α表示红外摄像头的可视角度，h表示红外摄像头到水平地面的高度，x表示图像采集系统的长度，y表示图像采集系统的高度。
第四步、摄像头校正首先将标定板垂直摄像机放置，对标定板进行拍摄，然后标定板的位置并让其与摄像机光轴产生0～90°的不同角度，为保证标定精度，拍摄不少于9幅图像(如图9)。考虑到精确的三维标定物体难于加工，系统采用绘有直角三角形的平面标定板模式(如图8)。通过下述数学模型求解每幅标定板图像中每个三角形顶点的级坐标，之后通过(上述公式)最下二乘方法求出径向畸变系数矩阵。具体数学模型如下 由于本发明中为了获取较大的场景，采用了广角摄像机镜头，对于这种镜头，光线在远离透镜中心的地方要比靠近中心的地方更加弯曲，产生径向畸变。对于径向畸变，成像仪器光心的畸变为0，随着向边缘移动，畸变越来越严重。可以用以下方程表示 x*＝x+x[k1(x2+y2)+k2(x2+y2)2] y*＝y+y[k1(x2+y2)+k2(x2+y2)2] 其中(x*，y*)为校正后的图像坐标，(x，y)为校正前的图像坐标，k1，k2为径向畸变系数，可以由上式观察得到，由于透镜中心对称性，所以x，y方向上的径向畸变率相同。将上式用像素坐标表示 u*＝u+(u-u0)[k1(x2+y2)+k2(x2+y2)2] v*＝v+(v-v0)[k1(x2+y2)+k2(x2+y2)2] 其中，(u*，v*)为校正后的像素坐标，(u，v)为校正前的像素坐标。对N幅图像进行处理，以方程形式对处理结果进行叠加(叠加模块)，可以得到 通过矩阵变换可以得到(矩阵变换模块) Sk＝d 采用线性最小二乘法对径向畸变参数进行求解(径向畸变参数求解模块)，可以得到 k＝(STS)-1STd 通过角点分析的地方法计算图8中圆圈标记的角点坐标。
第五步、图像透视变换所诉图像透视变换模块主要完成投影模块投影区范围到摄像机模块采集区域的透视变换。如图10所示， 投影仪光轴和摄像机光轴如图10(b)所示，投影仪光轴与y轴重合，光心位于图10(b)所示坐标系的原点，x，y轴分别于图10(b)所示的世界坐标系的x，y轴重合，摄像机光轴与投影仪光轴在x，y，z方向的夹角分别为α，β，γ。这三个夹角的不同组合，会导致在摄像机成像面上对投影仪投影区的矩形产生透视变换，使其变换成不同的形状，如图11所示。
由于在电脑上输出的图像或应用程序的窗口和摄像机成像的窗口都是矩形，所以，在摄像机成像面上采集到的不规则的投影区域需要通过透视变换的方法转变成相应的矩形区域。要完成上述的变换，需要对图像进行相应的几何操作。这些操作包括以不同方式和角度实现的拉伸、包括一致性缩放和非一致性缩放。由于系统变换的是二维像面，有两种方法可以实现上述映射变换一是基于2×3矩阵进行的变换；另一种是基于3×3矩阵进行的变换。第一种方法可以将矩形转变成平行四边形，也可以将矩形旋转或按比例缩放。第二种方法可以将任意形状的区域变成矩形或平行四边形，因此具有更广泛的适应性，更适合系统的应用范围。具体理论模型如下 定义摄像机采集的二维图像上任意像素点的坐标为[x，y，1]，变换关系为 其中

为3×3变换矩阵。
在摄像机采集的二维图像上以四点方式确定一个区域YABCD，再过四点方式确定一个要映射到的矩形区域YA′B′C′D′，通过上述两个映射区域的坐标，求解出上面的变换矩阵，定义映射后图像上点的坐标为

通过下面的数学模型求解 将摄像机获取的每帧图像上的像素点通过上式进行变换，就可以得到以投影区域矩形对应的矩形图像。
第六步、背景更新所诉背景更新模块和运动分割跟踪模块主要完成对场景中的人体运动和姿态的检测。
背景更新模块主要包括两部分前景提取和背景更新。前景提取时从静止的背景当中提取出运动的前景(人体运动)目标。具体模型是计算映射后区域的每个像素的平均值和标准差 其中x为每个像素点的均值，σ为每个像素的标准差。
未达到节省运算时间，提高系统实时性的目睹，模块将上述两方程进行合并，得到 这样在求解方差的时候，仅需要一次遍历图像。
累计3至6帧图像，计算每帧图像的绝对差图像，将不同的彩色通道的图像按照上述标准差的方法转换成一个背景的统计模型。将待分析帧的图像与背景模型图像进行差分，通过选取适当的阈值，对差分后的图像进行阈值分割，将图像变换成二值化图像，使运动的人体从背景中分离出来，由于反射的光线经过空间和摄像机镜头的调制，产生了一些我们不需要的散粒噪声，在对图像进行二值化之后，还要对图像进行形态学的处理，包括图像的腐蚀和图像膨胀，两者都是对整个图像或图像的某个区域与定义的核进行卷积运算。核可以是任意的形状与大小，具有一个特殊定义的参考像素位置。综合分析系统要处理的图像的各方面条件，选取3×4的矩形棋盘格作为核，如图12所示。图12中的四角星表示核的指定参考点所在的位置。
图像腐蚀运算就是求局部最小值的操作，该核与图像进行卷积运算，并计算核覆盖像素点的最小值，把运算得到的最小值赋给核中指定的参考点的像素位置。这样就会使经过二值化的图像的背景区域减少，去掉被误认为运动前景的噪声，消除高亮度的孤立噪声点，并且可以保留图像内的较大区域的形状。
图像膨胀运算就是求局部最大的操作，主要完成由于图像腐蚀运算引起的运动人体轮廓的缺失。该核与图像进行卷积运算，计算核覆盖区域像素点的最大值，把运算得到的最大值赋给核中指定的参考点的像素位置。通过膨胀恢复由于缩小引起的人体运动轮廓的缺失。
其中Erode(i，j)为腐蚀后对应像素点的强度值，为核上对应像素点的强度值，P(m，n)为图像上对应像素点的强度值。
其中Dilate(i，j)为胀后对应像素点的强度值，I(m，n)为核上对应像素点的强度值，P(m，n)为图像上对应像素点的强度值。
如图13所示，要计算一个特定点的卷积，首先要将核的参考点定位到图像上的特定点，一般选取图像的起始像素点，核的其他元素覆盖图像中其相对应的像素点。相对一个核点，可以得到其对应的核点的值和图像上对应的值。将这些值相乘逐和，结果放在与输入图像参考点对应的位置。
其中，I(x，y)为像素点的值，K(i，j)为核点的值，J(x，y)为卷积结果，(ai，bj)为图像点上与核点相对应的值。
第七步、运动分割通过上述方法获取运动人体图像后，对运动的人体图像进行分割，采用金字塔光流模型。该模型基于三个前提条件 图像亮度恒定。即图像的场景中目标的像素在每帧图像之间运动时外观上保持恒定不变。可以适应灰度图像和彩色图像。
时间上的连续性和运动上的连贯性。即图像上运动的变化在时间上是连续的，这样目标在连续帧上的变化比较小。
空间上的一致性。同一场景中同一表面上临近点具有相似和运动，在图像面上的投影也在临近区域。
前提1图像亮度恒定，指对被跟踪部分像素不随时间变化 f(i，t)≡I(i(t)，t)≡I(i(t+dt)，t+dt) 也可以用导数形式表示 前提2时间上的连续性和运动上的连贯性，也就是可以假设运动的变化时对时间的导数。从上述等式开始，将亮度的定义f(i，t)用I(i(t)，t)替换，再应用链式规则，可以得到 其中

为图像对应点的偏导数，

是速度，

为图像随时间变化的导数，讨论一维空间的情况，速度的等式为 以下是对运动分割和运动跟踪的描述 图像金字塔分为下降采样和向上采样的方法，综合分析系统特性，采用向下采样的方式对图像进行分割。采用金字塔i方法对图像进行分割基本步骤是通过对图像进行连续的降采样，得到一个图像集合，该集合中所有的图像都来源于同一幅图像，如图14所示 要从金字塔的第i层(Fi)生成第i+1层(Fi+1)，首先对Fi进行卷积，删除卷积结果中所有偶数行和基数列。产生的新图像的面积是源图像面积的四分之一。通过上诉的方法对输入的图像Fi循环执行操作，并对得到的每层金字塔图像进行优化，就生成了整个分割金字塔。
建立完图像金字塔之后，在第Fi层的像素和第Fi+1层的像素建立映射关系，通过这种方式，对每层图像进行分割，并标记分割区域。
运动跟踪 图15所示的白色区域为通过图像金字塔法分割后的物体轮廓，白色表示所有像素都被设置为最新的系统时间的浮点数值，随着矩形区域的运动，新的轮廓被获取并被下一系统时刻分割出的轮廓覆盖，如图(B)所示，较早被分离出的运动部分被置为历史图像，并用较暗的矩形描绘。设置一个时间阈值，记录在这一时间内记录的分割后的运动区域。若记录轮廓超过了系统设定的时间阈值，则较早记录的分割出的区域图像将被删除，如图16所示。为提高图像的处理速度，此处采用单通道图像。对时间阈值范围内i时刻的分割域计算运动轮廓，定义为Gi， i+Δt时刻的分割域计算运动轮廓，定义为Gi+1，通过Gi和Gi+1计算出在Δt时间内的梯度，即在Δt时间内，分割范围内的局部运动方向。
第八步、通信所有的数据处理完成后，通过TUIO方式把这些消息标明为”touchID”，每个事件都携带着touchID和x，y坐标值，通过这些touchID和坐标值，系统就区分目前所有的触点及其位置，还记录着目前每个触点的移动和加速度，把这些采集到的信息传给Flash(Flash互动单元)，Flash表现层就会在相应的位置表现出不同的效果。
以上内容是结合优选技术方案对本发明所做的进一步详细说明，不能认定发明的具体实施仅限于这些说明。对本发明所属技术领域的普通技术人员来说，在不脱离本发明的构思的前提下，还可以做出简单的推演及替换，都应当视为本发明的保护范围。
权利要求
1.一种新型互动投影系统，其特征在于，所述新型互动投影系统包括用于投射互动数据的视频图像投影单元(100)；用于采集图像数据的图像采集单元(300)；用于将采集的图像数据进行畸变校正和透视变换以及对所采集图像中的背景图像与运动图像分离，更新背景图像，并对运动图像进行分割、跟踪的图像数据处理单元(400)；用于将跟踪的图像数据坐标输送至Flash互动单元(500)的通信单元(200)；及用于根据跟踪捕获到的运动图像、输出相应的Flash互动效果的Flash互动单元(500)；所述视频图像投影单元(100)、图像采集单元(300)分别与图像数据处理单元(400)连接，所述图像数据处理单元(400)、通信单元(200)、Flash互动单元(500)和视频图像投影单元(100)依次连接。
2.根据权利要求1所述的新型互动投影系统，其特征在于，所述图像采集单元(300)包括红外LED灯具阵组(302)及设置于红外LED灯具阵组(302)中心位置的摄像头(304)；所述图像采集单元(300)顶部设有摄像头旋转装置(301)，底部设有透红外亚克力薄板(303)。
3.根据权利要求2所述的新型互动投影系统，其特征在于，所述红外LED灯矩阵组(302)的LED灯向矩阵组中心倾斜一定角度；所述角度的范围为40至50度，最优角度为45度。
4.根据权利2所述的新型互动投影系统，其特征在于，所述摄像头(304)的镜头前设有一层红外带通滤波片。
5.根据权利2所述的新型互动投影系统，其特征在于，所述摄像头(304)采用红外广角摄像头。
6.根据权利要求1所述的新型互动投影系统，其特征在于，所述图像数据处理单元(400)包括用于对摄像头采集的图像数据进行径向校正的摄像头校正模块(410)；用于完成视频图像投影单元(100)的投影区范围到图像采集单元(300)采集区域的透视变换的图像透视变换模块(420)；用于提取将透视变换后的图像数据中的运动前景，并更新背景的背景更新模块(430)；及用于将运动前景图像进行分割，标记分割区域，并对分割后的运动前景图像进行跟踪的运动分割跟踪模块(440)；所述摄像头校正模块(410)、图像透视变换模块(420)、背景更新模块(430)和运动分割跟踪模块(440)依次连接。
7.根据权利要求6所述的新型互动投影系统，其特征在于，所述摄像头校正模块(410)包括
一叠加模块(411)，用于将摄像头(304)对标定板N个角度拍摄的N幅图像进行叠加，得到如下矩阵方程
其中(x*，y*)为校正后的图像坐标，(x，y)为校正前的图像坐标，k1，k2为径向畸变系数，(u，v)为校正后的像素坐标，(u，v)为校正前的像素坐标，N≥9；
一矩阵变换模块(412)，用于将方程(1)变换为方程(2)
Sk＝d (2)
其中，S为N*N的矩阵，k为径向畸变参数，d为N*1的列向量；及
一径向畸变参数求解模块(413)，用于根据公式(3)
k＝(STS)-1STd(3)
得到摄像头(304)的径向畸变参数k；将图像采集单元(300)采集到的图像数据通过径向畸变参数k进行径向校正。
8.根据权利要求6所述的新型互动投影系统，其特征在于，所述图像透视变换模块(420)通过公式(4)
将校正后的数据图像的像素点变换成与投影区域矩形对应的矩形图像；其中，[x，y，1]为摄像机采集的二维图像上任意像素点的坐标，
为3×3变换矩阵，
为变换后图像上点的坐标。
9.根据权利要求6所述的新型互动投影系统，其特征在于，所述背景更新模块(430)包括
一前景提取模块(431)，用于通过累计3至6帧图像，计算每帧图像的绝对差图像，将不同的彩色通道的图像按照公式(5)
转换成一个背景的统计模型，将待分析帧的图像与背景模型图像进行差分，通过选取适当的阈值，对差分后的图像进行阈值分割，将图像变换成二值化图像，使运动前景图像从背景中分离出来；及
一前景腐蚀及膨胀模块(432)，用于通过图像腐蚀运算和图像膨胀运算除去运动前景图像中的离散噪声。
10.根据权利要求6所述的新型互动投影系统，其特征在于，所述运动分割跟踪模块(440)包括
一运动分割模块(441)，用于利用金字塔光流模型对运动前景图像进行分割，具体过程通过对图像进行连续的降采样，得到一个图像集合，该集合中所有的图像都来源于同一
幅图像，从金字塔的第i层(Fi)生成第i+1层(Fi-1)，首先对F1进行卷积，删除卷积结果中所有偶数行和基数列，产生的新图像的面积是源图像面积的四分之一，通过上诉的方法对输入的图像Fi循环执行操作，并对得到的每层金字塔图像进行优化，就生成了整个分割金字塔，建立完图像金字塔之后，在第Fi层的像素和第Fi-1层的像素建立映射关系，通过这种方式，对每层图像进行分割，并标记分割区域；及
一运动跟踪模块(442)，用于跟踪分割后的图像数据，具体过程首先将图像金字塔方法分割后的区域范围内的所有像素都设置为当前的系统时间，随着矩形区域的运动，新的轮廓被获取并被下一系统时刻分割出的轮廓覆盖，较早被分离出的运动部分被置为历史图像，并用较暗的矩形描绘；其次，设置一个时间阈值，记录在这一时间内记录的分割后的运动区域，若记录轮廓超过了系统设定的时间阈值，则较早记录的分割出的区域图像将被删除；
最后，对时间阈值范围内i时刻的分割域计算运动轮廓定义为Gi，i+Δt时刻的分割域计算运动轮廓定义为Gi+1，通过Gi和Gi+1计算出在Δt时间内的梯度，即在Δt时间内，分割范围内的局部运动方向。
全文摘要
本发明公开了一种新型互动投影系统。包括用于投射互动数据的视频图像投影单元；用于采集图像数据的图像采集单元；用于将采集的图像数据进行畸变校正和透视变换以及将背景图像与运动图像分离，更新背景图像，并对运动图像进行分割、跟踪的图像数据处理单元；用于将跟踪的图像数据坐标输送至Flash互动单元的通信单元；及用于根据跟踪的图像数据坐标、输出相应的Flash互动效果的Flash互动单元；本发明通过红外光投影技术和图像处理技术，获取并识别操作者输入的控制信息，并传递给表现模块，实现非接触方式的人机互动；采用与传统模式不同的校正模板，视频校正有大幅改善；图像场景变换采用高效透视变换技术，使得整个互动过程操作方便，高效快速。
文档编号G02B13/06GK101776952SQ201010300910
公开日2010年7月14日 申请日期2010年1月29日 优先权日2010年1月29日
发明者林岚, 田全, 王浩, 王帅, 臧影 申请人:联动天下科技(大连)有限公司