本发明涉及一种沉浸式互动投影系统。
背景技术：
目前，在现有投影技术中一般使用投影设备直接将投影投放到一个平面上，但这样的投影结构和方法只能完成一个平面的投放，无法做到将投影图像分割后再由多面的投放投影，无法实现环绕式的投影，随着人们对投影的效果需求增加，单面式的投影无法满足人们的需要。
技术实现要素：
本发明为了解决现有技术的上述不足，提出了一种沉浸式互动投影系统。
为了解决上述技术问题，本发明采用以下技术方案：一种沉浸式互动投影系统，包括长方体状的投影机体，所述投影机体的四个端面和顶面上都设有投影镜头组，所述投影镜头组包括主镜头和副镜头，且投影镜头组连接于一个主控制器，所述主控制器连接有投影处理单元和数据通讯单元，所述数据通讯单元包括数据传输串口、GPRS通讯模块和无线路由模块，该数据通讯单元连接于投影源输入端，所述的投影处理单元包括投影输出驱动模块、投影输出外放模块、投影分割模块和互动动作捕捉模块，所述投影分割模块将所述投影源输入端的投影图像分割成多个投影面，进而通过端面上的投影镜头组投放，所述的互动动作捕捉模块通过捕捉观影者的动作控制投影源输入端输出的投影图像。
优选地，所述的投影源输入端包括手机应用APP和计算机应用。
其中，在投影分割是所使用到的投影分割方法，包括以下步骤：
1)启动投影分割模块的视频采集系统，采集投影视频的序列；
2)采集完成后，初始化背景为前N帧图像的平均值；
3)计算当前帧图像与背景图像的结构相似图；
4)对于结构相似背景进行背景建模；
5)最后再通过多模态特征融合进行前景分割，进而完成投影分割。
上述的结构相似背景建模运动目标检测方法，它的特点在于视场中物体结构对光照变化具有很高的鲁棒性，利用结构相似图和环境变化系数动态反馈更新背景模型，在此基础上利用多模态特征融合策略从背景中检测出运动物体。
在步骤3)结构相似图的具体操作步骤如下：
(1)计算灰度图像Y2对于灰度图像Y1的亮度失真Sm(Y1,Y2)和对比度失真Sv(Y1,Y2)：
其中μ1和μ2分别是Y1和Y2的区域均值，σ1和σ2分别是Y1和Y2的区域方差，σ1,2是Y1和Y2的区域协方差，c1和c2为常数。可根据以下方法获取这些矩阵：
其中gaus表示窗口大小为w的高斯滤波器，表示卷积运算。
(2)求出Y2和Y1的结构相似图SSIM(Y1,Y2)：
SSIM(Y1,Y2)＝Sm(Y1,Y2)·Sv(Y1,Y2)
(3)为提高系统对结构失真的辨识能力，根据步骤3)所得的结构相似图，当前帧Yt和当前背景YBt的结构相似系数ssmt(x,y)定义为：
ssmt(x,y)＝(SSIM(Yt,YBt))γ
其中γ为常数。
所述步骤4)结构相似背景建模具体操作步骤如下：
(1)运动区域反馈系数：
dt＝(1-α)dt-1+α·(1-ssmt)
其中dt表示当前运动区域反馈系数，dt-1为上一时刻运动区域反馈系数，α表示学习率。
(2)当前模糊反馈系数βt表示为：
(3)根据模糊背景更新原理，结构相似背景建模为：
Bt(x,y)＝(1-βt·α)Bt-1(x,y)+βt·α·It(x,y)
其中It(x,y)表示当前帧，Bt(x,y)表示当前背景，Bt-1(x,y)为上一时刻背景。
步骤5)多模态特征融合前景分割的具体操作步骤如下：
(1)将当前帧It(x,y)和当前背景Bt(x,y)从RGB色彩空间转换到YUV色彩空间，计算当前帧亮度Yt(x,y)相对于当前背景亮度YBt(x,y)的变化
lft(x,y)＝|Yt(x,y)-YBt(x,y)|
计算当前帧色度Ut、Vt相对于当前背景色度UBt、VBt的变化
cft(x,y)＝|Ut(x,y)-UBt(x,y)|+|Vt(x,y)-VBt(x,y)|
计算当前帧相对于当前背景的结构的变化
tft(x,y)＝ssmt(x,y)
(2)亮度变化前景模板mlt(x,y)，
其中Tlft(x,y)为当前亮度变化阈值估计，阈值调整参数lcs是一个常数。
其中αT为阈值更新率。
色度变化前景模板mct(x,y)的求解过程与亮度变化前景模板相同。
(3)结构变化前景模板mtt(x,y)为
μtft(x,y)为tft(x,y)的平均值。
(4)多模态前景模板融合
cmaskt(x,y)＝mtt(x,y)&(mlt(x,y)|mct(x,y))
(5)前景模板后处理
在cmaskt逻辑为1的像素周围窗口范围为w内的像素，如果其亮度变化和色彩变化均大于阈值，则该像素被重新划分为前景像素，最终得到前景模板maskt(x,y)。
工作原理如下：
结构相似图鲁棒于光照变化，能有效减少单纯纹理差异形成的孔洞。利用结构相似图可以稳定的获取当前帧图像与背景模型之间的差异情况，其差异值为[0,1]区间范围内的连续数值，这使得利用结构相似图进行模糊反馈背景建模可行。根据这一原理，我们设计了背景更新模型：
Bt(x,y)＝(1-βt·α)Bt-1(x,y)+βt·α·It(x,y)
其中，It(x,y)表示当前帧，Bt(x,y)表示当前背景，Bt-1(x,y)为上一时刻背景，α表示一级学习率，βt表示二级学习率。α由视频帧率、视场中物体运动速度等因素来决定，通常设定为一个固定的经验值。βt表示为：
其中，dt(x,y)＝(1-α)dt-1(x,y)+α·(1-ssmt(x,y))
ssmt(x,y)表示当前帧和当前背景的结构相似图，其值落在[0,1]区间，ssmt(x,y)的值越大表示当前帧在(x,y)位置与背景模型相似度越高，即该位置为前景的概率越低，背景更新速度应被提高。dt(x,y)表示当前运动区域反馈系数，其值落在[0,1]区间，dt(x,y)的值越大，则表示对应位置(x,y)的存在波动或是新的背景物，此时，该位置的背景更新速度应加快。dt-1(x,y)为上一时刻运动区域反馈系数。
上述的投影分割方法通过引入模糊反馈背景建模方法，利用当前帧和背景模型的结构相似系数，构造双重学习率对背景模型进行更新，有效抑制了前景对背景模型的影响，解决了现有背景建模方法存在的在更新背景过程中快速引入前景特征的问题。融合亮度、色彩、纹理特征对前景进行分割，有效解决了其他方法中存在的阴影误判为前景、伪装误判为背景、前景空洞等问题。本发明的方法简便、灵活、易实现。
与现有技术相比，本发明能够将投影源客户端输入的投影图像分割成多块，并通过并将分割后的图像视频投影投放在四周的多个面上，形成了环绕式的投影，并且能够捕捉观影者的手势动作，方便了投影投放和人之间的互动，可运用于互动游戏中。
附图说明
图1为本发明的结构示意图。
具体实施方式
下面结合附图和实施例对发明进行详细的说明。
如图1所示，本发明提出的沉浸式互动投影系统，包括长方体状的投影机体，所述投影机体的四个端面和顶面上都设有投影镜头组，所述投影镜头组包括主镜头和副镜头，且投影镜头组连接于一个主控制器，所述主控制器连接有投影处理单元和数据通讯单元，所述数据通讯单元包括数据传输串口、GPRS通讯模块和无线路由模块，该数据通讯单元连接于投影源输入端，所述的投影处理单元包括投影输出驱动模块、投影输出外放模块、投影分割模块和互动动作捕捉模块，所述投影分割模块将所述投影源输入端的投影图像分割成多个投影面，进而通过端面上的投影镜头组投放，所述的互动动作捕捉模块通过捕捉观影者的动作控制投影源输入端输出的投影图像。
优选地，所述的投影源输入端包括手机应用APP和计算机应用。
其中，在投影分割是所使用到的投影分割方法，包括以下步骤：
1)启动投影分割模块的视频采集系统，采集投影视频的序列；
2)采集完成后，初始化背景为前N帧图像的平均值；
3)计算当前帧图像与背景图像的结构相似图；
4)对于结构相似背景进行背景建模；
5)最后再通过多模态特征融合进行前景分割，进而完成投影分割。
实际的操作时：
(1)计算灰度图像Y2对于灰度图像Y1的亮度失真Sm(Y1,Y2)和对比度失真Sv(Y1,Y2)：
其中μ1和μ2分别是Y1和Y2的区域均值，σ1和σ2分别是Y1和Y2的区域方差，σ1,2是Y1和Y2的区域协方差。可根据以下公式求得：
(2)求出Y2和Y1的结构相似图SSIM(Y1,Y2)：
SSIM(Y1,Y2)＝Sm(Y1,Y2)·Sv(Y1,Y2)
(3)为提高系统对结构失真的辨识能力，根据步骤3)所得的结构相似图，当前Yt和当前背景YBt的结构相似系数ssmt(x,y)定义为：
ssmt(x,y)＝(SSIM(Yt,YBt))2
进而得到结构图。
所述步骤4)结构相似背景建模具体操作步骤如下：
(1)运动区域反馈系数：
dt＝0.99×dt-1+0.01×(1-ssmt)
其中dt表示当前运动区域反馈系数，dt-1为上一时刻运动区域反馈系数。
(2)当前模糊反馈系数βt表示为：
(3)根据模糊背景更新原理，结构相似背景建模为：
Bt(x,y)＝(1-0.01×βt)Bt-1(x,y)+0.01×βt·It(x,y)
其中It(x,y)表示当前帧，Bt(x,y)表示当前背景，Bt-1(x,y)为上一时刻背景。
按照本发明的模糊反馈背景更新方法获取的背景模型。
步骤5)多模态特征融合前景分割的具体操作步骤如下：
将当前帧It(x,y)和当前背景Bt(x,y)从RGB色彩空间转换到YUV色彩空间。
RGB色彩空间转换到YUV色彩空间的计算公式为：
Y＝0.299R+0.587G+0.114B
U＝-0.147R-0.289G+0.436B
V＝0.615R-0.515G-0.100B
其中，R表示RGB色彩空间中的红色通道，G表示RGB色彩空间中的绿色通道，R表示RGB色彩空间中的蓝色通道，Y表示YUV色彩空间中的亮度分量，U和V分别表示YUV色彩空间中的色度分量。
计算当前帧亮度Yt(x,y)相对于当前背景亮度YBt(x,y)的变化：
lft(x,y)＝|Yt(x,y)-YBt(x,y)|
计算当前帧色度Ut、Vt相对于当前背景色度UBt、VBt的变化：
cft(x,y)＝|Ut(x,y)-UBt(x,y)|+|Vt(x,y)-VBt(x,y)|
计算当前帧相对于当前背景的结构的变化：
tft(x,y)＝ssmt(x,y)
以上三种特征。
(2)亮度变化前景模板mlt(x,y)，
其中Tlft(x,y)为当前亮度变化阈值估计。
色度变化前景模板mct(x,y)的求解过程与亮度变化前景模板类似。
(3)结构变化前景模板mtt(x,y)为
μtft为tft(x,y)的平均值。
(4)多模态前景模板融合
cmaskt(x,y)＝mtt(x,y)&(mlt(x,y)|mct(x,y))
&表示与运算，|表示或运算。
(5)前景模板后处理
当cmaskt(x,y)为1时，对与其距离范围在11以内的像素，如果亮度变化和色彩变化均大于阈值，则该像素被重新划分为前景像素，最终得到前景模板maskt(x,y)。
前景结果，从图中可以看出本发明可以很好的处理阴影和伪装。
于肤色信息的指势手分割法的基本思路是，首先对交互对象提取其运动前景目标，然后根据人的肤色在相关颜色空间良好的聚类特性，分割出指势手。
采用指势进行人机交互时，指势手臂自然伸展，并以一定速率由下向上抬起，在空中停顿片刻，指向感兴趣目标，此过程可分为三个阶段：第一阶段为指势发生前，用户手臂处于自然下垂状态，此时无需检测指尖点；第二阶段为用户的手指向某一目标，此时指势手可视为运动对象；第三阶段为用户正指着某一目标，近似认为指势手处于静止状态。
基于上节指势手的分割区域，在此基础上，根据几何特征信息提取指势的指尖点。矩作为一种高度浓缩的图像特征，并不受图像的大小、位置和方向影响[63]，因此，首先利用图像矩方法确定指势手区域的质心坐标：
式中，Mpq称为(p+q)阶矩，参数(p+q)称为矩的阶，f(i,j)为指势手分割图像区域。
当p＝1，q＝0和p＝0，q＝1时，
称为图像的质心坐标。
利用上述质心坐标，计算距离质心坐标欧式距离最远轮廓点，并基于区域轮廓特征信息，计算指尖点坐标：
其中，
式中，c为常数。
当σ0<θ<σ1时，视该点为指势手的指尖点。
用户发生指势动作时，其指尖点处于运动状态。为了防止出现指尖点检测丢失或误检的情况，基于卡尔曼滤波器[64-66]对所计算指尖点进行跟踪/预测。
指势识别的关键在于确定交互阶段，根据指势动作特征，实时检测指尖点在一定方向范围内的累计帧间运动平均速率Vfinger，当用户在指向感兴趣目标时，指势手均有停顿，确定此时用户为交互第三阶段，判断发生指势交互行为：
式中，Tt为平均帧间耗时，Ptfinger＝[Xfinger,Yfinger,Zfinger]为指尖点的三维坐标。
当指尖点的运动速率满足如下条件时，则判断用户正指着某一目标。
式中，Vp为判别指势交互阈值，Np为平均速率的计算帧数。
对于满足上式(2-34)的指势交互，表明用户正指着某一目标，基于指尖特征点以及指势手臂肩部特征点的几何约束，结合指势手主轴线，计算其指势手臂方向向量：
式中，Tp＝[Xp,Yp,0]为其空间目标交互点，c1为调零常数。
通过前景的获取，利用图像分割及自适应肤色检测技术获取人的肢体，从而判断人的肢体语言。
上述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利和保护范围应以所附权利要求书为准。