一种360°全息实时交互方法

一种360°全息实时交互方法
【专利摘要】本发明公开了一种360°全息实时交互方法，解决了现有技术中，全息再现的内容受到限制、无法进行交互操作等问题。该360°全息实时交互方法包括实时信息采集，从多个方位对用户及环境信息进行采集，得到对应的音频及视频信息；实时信息处理，对每个方位得到的视频信息进行运动物体分割提取，将分割提取处理后的帧图像进行实时拼接，实现全息真实影像及虚拟影像的再现的数据基础；实时信息再现，根据实时信息处理后的数据实现全息影像的再现；实时交互，建立语音交互、交互引导模式、姿势交互三种交互模式的映射关系，通过对语音、手势的识别，实现全息影像的变化，实现交互。本发明将360°全息显示技术与新型交互技术结合，实现了多技术的融合。
【专利说明】
一种360°全息实时交互方法
技术领域
[0001] 本发明涉及全息交互技术领域，具体的说是涉及一种360°全息实时交互方法。
【背景技术】
[0002] 现有的全息交互技术方法有两种，一种是通过计算全息预先得到场景的数字全息 图像序列，然后根据检测到的姿势信息加载相应的全息图，达到数字全息影像的动态交互 显示效果，实现全息交互；另一种是在360°全息显示基础上，进行虚拟建模，去掉纹理后进 行拼接，得到预先设定好的全息影像，通过用户自己围绕柜体得到全息影像几个角度的信 息。
[0003] 这两种全息交互技术方法存在的缺陷是：第一种全息交互技术方法，只能对预先 得到场景的全息图序列进行交互，会使全息再现的内容受到限制，具有很强的固定性和单 一性，且多处于实验阶段，不能在现阶段推出。第二种全息交互技术方法，只能对预先建模 的影像实现全息再现，而不能对全息影像进行切换、缩放、旋转等交互操作。

【发明内容】

[0004] 本发明的目的在于解决现有技术所存在的问题，提供了一种实现方便、在现阶段 可直接推出使用，可实时采集到用户或环境等信息，经过实时处理后，实现全息影像再现， 然后根据检测到的手部姿势和语音，实现对全息影像交互的360°全息实时交互技术方法。
[0005] 为了实现上述目的，本发明采用以下技术方案：
[0006] 一种360°全息实时交互方法，包括：
[0007] 实时信息采集，从多个方位对用户及环境信息进行采集，得到对应的音频及视频 信息；
[0008] 实时信息处理，对每个方位得到的视频信息进行运动物体分割提取，将分割提取 处理后的帧图像进行实时拼接，实现全息真实影像及虚拟影像的再现的数据基础；
[0009] 实时信息再现，根据实时信息处理后的数据实现全息影像的再现；
[0010] 实时交互，建立语音交互、交互引导模式、姿势交互三种交互模式的映射关系，通 过对语音、手势的识别，实现全息影像的变化，实现交互。
[0011] 进一步的，在所述实时信息采集中，采用四台相同型号和性能的前端信息采集设 备:一号摄像机、二号摄像机、三号摄像机、四号摄像机，分别从用户前、后、左、右四个方位 采集用户信息；其中，位于前面的一号摄像机采集用户的正面视频、音频信息，接受用户手 部姿势和语音命令的交互信息，其余摄像机采集用户的对应方位的视频信息。
[0012] 进一步的，四台摄像机同步工作且与用户的定位区域等距，四台摄像机镜头准心 在同一水平线上。
[0013] 进一步的，所述实时信息处理包括：
[0014] 用户信息初步处理:将用户从复杂的环境中提取出来，完成全息显示真实模式下 的用户信息初步处理；
[0015] 虚拟形象的初步处理:建立全息显示虚拟模式下的无背景虚拟人物模型，完成虚 拟形象的初步处理；
[0016] 实时信息拼接:建立拼接通道，并对所有方位的信息与拼接通道实现匹配建立拼 接的映射关系，实现全息真实影像及虚拟影像的再现的数据基础。
[0017] 进一步的，所述将用户从复杂的环境中提取出来包括如下步骤：
[0018] (1)定义帧图像的图像小基兀，将每个帧图像的图像小基兀表不为MXN个像素构 成；
[0019] (2)计算连续两帧图像的帧差：ID(x，y，t)= | I(x，y，t)-I(x，y，t_l) |，将帧差公式 转换为像素表达:ID(m，n)= | I(m，n，t)-I(m，n，t-1) |，基于帧图像的图像小基元，定义高斯 检验模型公式GSiarge (i)和GSsmaii (i):
[0021] 其中，Gk(i)表示MXN的像素小基元帧差的k阶矩，GSsmall(i)表示较小尺寸的高斯 检验模型，GS large( i)表示较大尺寸的高斯检验模型；
[0022] (3)根据图像小基元的实际大小选择对应的高斯检验模型，较小尺寸对应选择 GSsmall(i)，较大尺寸则对应选择GSlarge(i)，根据高斯检验模型对帧图像进行检验，提取出 非高斯信号；
[0023] (4)经过高斯检验后，定义二值掩模图像MASK(x，y)，当| GS(i) |彡Gth时，MASK(x， y)=〇,表示像素点处于静止区域；当|GS(i) | >Gth时，MASK(x，y)为1时，表示像素点处于运 动区域；
[0024] (5)区分帧图像的运动与静止区域，实现初步提取；
[0025] (6)采用改进分水岭算法和比重算法，得到新二值掩模图像MASKnew(x，y)，将得到 的新二值掩模图像与原图像结合，得到最终的提取对象；
[0026] (7)对所有方位的视频图像执行步骤(1) 一 (6)。
[0027]进一步的，所述虚拟形象的初步处理中，结合虚拟建模渲染和分离背景纹理的方 法，预先进行三维建模、渲染背景设定为黑色，将所有方位的视频帧图像信息渲染出来。
[0028]进一步的，所述实时信息拼接包括如下步骤：
[0029] (1)基于FB0技术，设立四个拼接通道；
[0030] (2)将所有方位的拼接通道的缓冲区进行分区，得到分区通道，分别命名为:拼接 通道I、拼接通道II、拼接通道III、拼接通道IV;
[0031] (3)基于立体成像合成原理，将所有方位的帧图像以交叉形式进行拼接，实现同帧 数的帧图像经过变换后在分区通道的拼接；
[0032] 其中，所有方位的帧图像同步拼接。
[0033] 进一步的，所述语音交互如下：以非特定人的小词汇量孤立词语音识别作为系统 的开启及关闭交互方式，建立语音模板，借助语音识别，实现对系统的开启及关闭交。
[0034]进一步的，所述姿势交互中，以手部姿势作为全息影像交互的姿势交互方式，具体 如下：
[0035] 首先，采用基于直方图的SPM贝叶斯法，通过贝叶斯准则将肤色与非肤色直方图归 一化，以概率来判断肤色像素，实现手部粗定位；
[0036] 然后，采用基于模糊集和模糊运算的方法得到手部区域的轮廓，对五指手部轮廓 后曲线进行指尖位置搜索，选择一个轮廓起始点，按顺时针方向进行定长扫描，计算各轮廓 线中点的Ratio,当Ratio大于e时，则该点为指尖候选点，根据手部轮廓Ratio值曲线，取大 于e的波峰值为指尖候选点;选取扫描轮廓线起始点与终点的连线中点，检测中点矩形小邻 域，若为肤色区域，则候选点为指尖点，若为非肤色区域，则候选点为非指尖点;将已实现五 指指尖定位及手指个数识别的手部与已有的模板进行匹配，将识别的结果转换为五指伸展 且指尖定位的2D手部简化模型，实现跟踪初始化，实现对手部的精确定位；
[0037] 最后，通过跟踪手指指尖的运动轨迹，取指尖轨迹均值，根据不同的手部姿势交互 映射关系，实现全息影像真实模式和虚拟模式的切换交互和全息影像的旋转交互。
[0038]其中，Ratio为扫描轮廓线中点至扫描轮廓起始点与终点连线的垂直距离和扫描 轮廓线起始点至终点连线长度的比值，e表示一个正数。
[0039]进一步的，在所述姿势交互中，建立了两种手部交互映射关系：
[0040]其一，手部切换交互映射关系
[0041 ]在1-1.5s的时间段内，手部在垂直坐标内变化量未超过阈值，甚至是静止时，用户 全息影像处于初始状态，默认为虚拟模式;在1-1.5s的时间段内，手部在垂直坐标内变化量 超过阈值，切换模式交互过程就被开启，由初始模式转换为另一个模式，实现真实模式与虚 拟模式的切换；
[0042]其二，影像旋转交互映射关系
[0043] 通过手在平面内的水平直线运动，带动用户头肩全息影像的旋转，将全息影像中 头肩作360° -周旋转，离散化为Pic(m)、Pic(m)、Pic(r)、Pic(b)四种不同的拼接对应模式， 根据手部在水平方向变换距离值判定相应的序列图像通道的拼接对应模式的变化： 赞=免?1 ,其中，f ix表示向零取整，篆表示移动向量；
[0044] 初始交互前，即爭二◎时，用户的全息影像处于所述Pic(m)拼接对应模式；攀=i 时，影像向右旋转，依次显示为Pic (m)，Pic (r);攀=:3时，影像向右旋转，依次显示为Pic (m)，Pic(r)，Pic(b);.零=3时，影像向右旋转，依次显示为Pic(m)，Pic(r)，Pic(b)，Pic(l); 零=4肘，影像向右旋转，依次显不为Pic(m)，Pic(r)，Pic(b)，Pic(l)，Pic(m);麥时， 影像向左旋转，依次显示为Pic(m)，Pic(l);變时，影像向左旋转，依次显示为Pic(m)， Pic(l)，Pic(b);擎3时，影像向左旋转，依次显示为Pic(m)，Pic(l)，Pic(b)，Pic(r); 變& 一鲁时，影像向左旋转，依次显示为？1(3(111)，？1(；( 1)，？1(；(13)，？1(；(〇，？1(；( 111)，根据对应 模式的依次变化，实现交互；
[0045] 其中，所述Pic(m)对应模式表示拼接通道I对应一号摄像机帧图像、拼接通道II对 应二号摄像机帧图像、拼接通道III对应三号摄像机帧图像，拼接通道IV对应四号摄像机帧 图像；
[0046] 所述Pic(l)对应模式表示拼接通道I对应二号摄像机帧图像、拼接通道II对应四 号摄像机帧图像、拼接通道III对应一号摄像机帧图像，拼接通道IV对应三号摄像机帧图 像；
[0047]所述Pic(r)对应模式表示拼接通道I对应三号摄像机帧图像、拼接通道II对应一 号摄像机帧图像、拼接通道III对应四号摄像机帧图像，拼接通道IV对应二号摄像机帧图 像；
[0048] 所述P i c (b)对应模式表示拼接通道I对应四号摄像机帧图像、拼接通道II对应三 号摄像机帧图像、拼接通道III对应二号摄像机帧图像，拼接通道IV对应一号摄像机帧图 像。
[0049] 与现有技术相比，本发明具有以下有益效果：
[0050] (1)本发明将360°全息显示技术与新型交互技术结合，实现了多技术的融合。
[0051] (2)本发明建立了适合360°全息实时交互平台的数据处理技术，将运动物体自动 分割提取，帧图像通道拼接等计算机图形学技术应用于360°全息实时影像处理，得到更好 的全息实时影像再现效果，保证全息影像更为真实地融入环境中。
[0052] (3)本发明建立了基于360°全息实时交互的手势跟踪识别与语音识别，建立了手 部姿势与全息影像的双模式切换、影像旋转两种交互映射关系。通过检测到手部信息后，再 根据此信息实现全息影像变化，打破了预设场景的全息图像内容受限问题，实现了真正的 全息影像实时交互。
[0053] (4)本发明建立了基于360°全息实时交互的语音识别，建立语音模板，建立了非特 定人小词汇量的孤立语音交互映射关系，实现了对交互平台进行简单自然的开启与关闭交 互。
【附图说明】
[0054]图1为本发明的原理框图。
[0055]图2为本发明的技术方法三流程模块。
[0056]图3为本发明的全息实时交互实现流程。
[0057]图4为本发明的实时信息采集技术的设备构成。
[0058]图5为本发明的实时信息采集技术的原理步骤。
[0059]图6为本发明的尺寸修正量构成。
[0060]图7为本发明的人体立姿构成。
[0061]图8为本发明的人体水平面手臂活动范围。
[0062]图9为本发明的提取前四方位帧图像。
[0063]图10为本发明的提取后四方位帧图像。
[0064]图11为本发明的虚拟模式四方位帧图像。
[0065]图12为本发明的实时通道拼接对应流程。
[0066]图13为本发明的拼接窗口及位置展示。
[0067]图14为本发明的语音识别流程。
[0068]图15为本发明的肤色分割后帧图像。
[0069]图16为本发明的2D简化五指模型。
[0070]图17为本发明的指尖搜索定位示意图。
[0071]图18为本发明的手部轮廓Ratio曲线。
[0072]图19为本发明的指尖判定示意图。
[0073]图20为本发明的全息影像头肩拼接对应模式。
[0074] 图21为本发明的手引导用户头肩全息影像旋转示意图。
【具体实施方式】
[0075] 下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于 下列实施例。
[0076] 本文中术语"和/或"，仅仅是一种描述关联对象的关联关系，表示可以存在三种关 系，例如，A和/或B，可以表示:单独存在A，单独存在B，同时存在A和B三种情况，本文中术语 7和"是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示:单独存 在A，单独存在A和B两种情况，另外，本文中字符7"，一般表示前后关联对象是一种"或"关 系。
[0077]实施例
[0078]如图1-21所示，本实施例提供了一种360°全息实时交互方法，该方法实时采集到 用户或环境等信息，经过实时处理后，实现全息影像再现，然后根据检测到的手部姿势和语 音，实现对全息影像交互。
[0079]本方法包含四部分:实时信息采集技术、实时信息处理技术、实时信息再现技术、 实时交互设计，上述各部分实现功能如下:实时信息采集，从多个方位对用户及环境信息进 行采集，得到对应的音频及视频信息;实时信息处理，对每个方位得到的视频信息进行运动 物体分割提取，将分割提取处理后的帧图像进行实时拼接，实现全息真实影像及虚拟影像 的再现的数据基础;实时信息再现，根据实时信息处理后的数据实现全息影像的再现;实时 交互，建立语音交互、交互引导模式、姿势交互三种交互模式的映射关系，通过对语音、手势 的识别，实现全息影像的变化，实现交互。
[0080] 为了使得本领域技术人员对本发明申请的技术方案有更清晰的了解和认识，下面 分别对每部分进行详细说明：
[0081] 一、实时信息采集
[0082] 实时信息采集技术包括信息采集模块的设备构成、工作模式及安装方式的设计， 设备的放置方式、摆放距离、摆放环境的确定。对用户位置进行定位，以一个半径为20cm的 圆形区域作为用户定点位置，并明确标注前、后、左、右四个方向。应当说明的是，圆形区域 的半径也可以选择15 Cm、25cm、3〇Cm等数值，本领域技术人员可以根据实际情况进行选择。
[0083] 本实施例中，采用相同型号和性能的前端信息采集设备，即摄像机，分布于以圆形 区域为中心的四个方向。所述一号摄像机对应"前"方向，作为主摄像机。所述二号摄像机、 三号摄像机、四号摄像机，作为辅摄像机，分别对应"左"、"右"、"后"三个方向。所述四个摄 像机与用户圆形定位区域的距离相等。
[0084] 四台摄像机被固定于可调节高度、并带有滑动外向轮的支架上，保证四台摄像机 镜头准心在同一水平线上。四个摄像机采用物理连接的安装方式，通过内容输出线与计算 机连接。四个方位的摄像机同步工作，一号主摄像机负责采集用户的正面视频、音频信息， 接受用户手部姿势和语音命令的交互信息。所述二、三、四号辅助摄像机，分别负责采集用 户的左、后、右三个方位的视频信息。
[0085] 考虑用户群中大多数用户的实际使用习惯和四台摄像机采集对象的人物直立性， 选择站立式作为所述前端信息采集设备的放置姿势，确保四个方位的摄像机从用户的前、 后、左、右进行彳目息的米集。
[0086] 为保证不同身材与身高的使用者信息采集的完整性，面部及身体的直面性和无倾 斜性，需要基于用户的肩高设计采集设备的放置高度。基于人机工程学，将肩部高度的人体 尺寸百分位参数定为成年男女通用I型，人体尺寸百分位的选择定为上限值P 95男，下限值定 为P5女。最佳肩高的计算公式为男性用户第95百分位数肩高和女性用户第5百分位数肩高 的均值。结合国家标准立姿人体的肩高尺寸数据表，计算可得最佳肩高为1320mm。实际的肩 高会受到拍摄时头肩信息波动及用户全身放松状态的影响，因此，实际肩高需要一个尺寸 修正量。肩高的最佳尺寸修正量计算公式为男女肩高穿鞋修正量的均值、肩高衣裤修正量、 放松状态肩高姿势修正量三者之和。结合数据表，计算可得最佳尺寸修正量为18.5mm。最终 实际肩高计算公式为最佳肩高与最佳尺寸修正量两者之和，经过计算得到实际肩高为 1338.5mm。摄像机采用站立式方式放置于用户前、后、左、右四个方位，摄像机镜头准心的安 装理论高度最小参数值为1338.5mm。根据采集环境可覆盖厂房等，确定镜头准心参考范围 为1338.5mm - 12000mm。应当说明的是，上述数值仅为一种实施方案中的取值，本领域技术 人员可以根据实际情况选择不同的适应的取值。
[0087] 本实施例中，摄像机的摆放距离是用户在水平面内手臂活动和手部操作的范围， 根据用户的臂长确定工作空间的尺寸，确定所述设备摆放最小距离。基于人机工程学，将整 个手臂的人体尺寸百分位参数定为成年男女通用II型，以男士的臂长为最小尺寸限制，人 体尺寸百分位的选择定为极限值即P 99。所述用户手臂长度的计算公式为男性用户第99百分 位数上臂长和前臂长之和。结合国家标准男性(18-60岁)立姿人体的上臂与下臂尺寸数据， 计算得到用户臂长为617mm。选取中国中等身材成年男子水平面手臂活动范围，得到单手手 部活动的最小阈值为750mm。若手臂长度公式计算所得臂长大于该阈值，则取公式计算所得 数据作为参考数据，若小于该阈值，则参考数据取阈值数据大小。最终通过计算得到，所述 信息采集设备摄像机距离用户定点位置中心的水平面摆放距离最小参数值为750mm，若需 要用户全身的视频信息，可以通过增加摆放距离数值达到采集目的。结合承载介质的大尺 寸，确定采集设备摆放距离参考范围为750mm-6000mm。应当说明的是，上述数值仅为一种 实施方案中的取值，本领域技术人员可以根据实际情况选择不同的适应的取值。
[0088] 为避免因摆放环境造成的背景问题，提高全息数据处理难度，摄像机摆放的环境 为背景相对静止，环境背景纹理相对简单，光照改变量不大且光线不过强的摆放环境。 [0089] 二、实时信息处理
[0090] 以四个方位的图像采集为描述基础，实时信息处理包括对用户四个方向的视频信 息进行用户对象分割提取，将用户从复杂的环境中提取出来，完成全息显示真实模式下的 用户信息初步处理;建立全息显示虚拟模式下的无背景虚拟人物模型，完成虚拟形象的初 步处理;建立拼接通道，并对四个方向的信息与拼接通道实现匹配建立拼接的映射关系，实 现全息真实影像及虚拟影像的再现的数据基础。
[0091] 对于提取处理，基于各类视频分割提取技术的理论基础，选择ETRI分割方案类，采 用时域运动区域检测。其原理如下:基于高斯检验模型和图像帧差符合高斯分布的特性，计 算连续两帧图像的帧差，根据运动区域帧差不符合高斯分布，其他变量均符合高斯分布的 特点，通过高斯检验模型提取出非高斯信号。基于高阶统计法确定帧图像帧差的高斯分布， 实现运动区域检测，确定该区域处于静止状态或运动状态。
[0092]进一步的，所述将用户从复杂的环境中提取出来包括如下步骤：
[0093] (1)定义帧图像的图像小基兀，将每个帧图像的图像小基兀表不为MX N个像素构 成；
[0094] (2)计算连续两帧图像的帧差：ID(x，y，t)= | I(x，y，t)_I(x，）y，t_l) |，将帧差公 式转换为像素表达(请补充像素表达式），基于帧图像的图像小基元，定义高斯检验模型公 式GSi arge ⑴和GS_ii(i):
[0096] (3)根据图像小基元的实际大小选择对应的高斯检验模型，较小尺寸对应选择 GSsmall(i)，较大尺寸则对应选择GSlarge(i)，根据高斯检验模型对帧图像进行检验，提取出 非高斯信号；
[0097] (4)经过高斯检验后，定义二值掩模图像MASK(x，y)，当|GS(i) |彡Gth时，MASK(x， y)=〇,表示像素点处于静止区域；当|GS(i) | >Gth时，MASK(x，y)为1时，表示像素点处于运 动区域；
[0098] (5)区分帧图像的运动与静止区域，实现初步提取；
[0099] (6)采用改进分水岭算法和比重算法，得到新二值掩模图像MASKnew(x，y)，将得到 的新二值掩模图像与原图像结合，得到最终的提取对象；
[0100] (7)对四个方位的视频图像执行步骤（1)一(6)，即对四方向的视频图像进行相同 分割提取，最终实现对所述真实模式的用户头肩视频分割提取。
[0101 ]在虚拟形象的初步处理中，基于保护用户隐私的目的，结合虚拟建模渲染和分离 背景纹理的方法，建立虚拟模式下的卡通形象。预先进行三维建模、渲染背景设定为黑色， 将四个方位的视频帧图像信息渲染出来，省略分割提取步骤，最终实现对所述虚拟模式的 卡通形象的提取。
[0102] 对于实时信息拼接，基于FB0技术，设计针对四方位信息的坐标通道拼接法，进而， 可将所述帧一号摄像机所得视频帧图像标记格式为①-1，①-2,…，①-100,…，同理可得 二、三、四号摄像机帧图像标记格式，分别②-XXX，③-XXX，④-XXX格式的帧图像。
[0103] 将四方位通道缓冲区进行分区，并对所述四个分区通道命名为拼接通道I、拼接通 道n、拼接通道m、拼接通道IV，基于立体成像合成原理，将四个方向的帧图像以交叉形式 进行拼接。通道缓冲区窗口设置为正方形，视窗的高度为H s，宽度为Ws，有Hs = Ws，每帧图像 边长为1/3HS，对应拼接通道I的帧图像，无需做旋转操作，直接进行对点拼接;对应所述拼 接通道n的帧图像顺时针旋转90°;对应所述拼接通道m的帧图像逆时针旋转90°;对应所 述拼接通道IV的帧图像需旋转180°。建立帧图像四顶点坐标与通道缓冲区拼接坐标系的对 应关系，通过改变所述帧图像坐标，实现所述帧图像的旋转、移动等操作。为了保证所述四 个方位的拼接同步性，在通道拼接中设定一个关卡值，帧数尾号相同，即①-1，②-1，③-1， ④-1，尾号均为1的帧图像才能在同一个缓冲区进行拼接，拼接后的帧图像按照帧数尾号进 行顺序显示。
[0104] 基于上述技术手段，以一号主摄像机的一帧图像为例，帧图像四个顶点分别标记 为为，则进行变化时各坐标值分别为:①当该帧图像对应拼接通道I时，坐标值 分别为 iK-i/eHw-i/eHshBKi/VeHw-i/eHsh&a/eHsri/^HshDK-i/eHsri/^Hs);② 当该帧图像对应拼接通道n时，顺时针旋转90°，坐标值分别为:Ai(- l/6Hs，l/6Hs)，(-1 / 6HS，-1/6HS)，& (-1/2HS，-1/6HS)，Di (-1/2HS，1/6HS);③当该帧图像对应拼接通道m 时，逆时 针旋转9〇°，坐标值分别为 jia/eHw-i/eHshBia/eHsd/eHshcMi/^Hsd/eHshDKi/ 2Hs，-1 /6Hs);④当该帧图像对应拼接通道IV时，旋转180°，坐标值分别为:Ai (1 /6Hs，1 /6Hs)， BK-i/eHsd/eHshcK-i/eHsd/^HshDKi/en/^Hs);保证所述四个方位的拼接同步性， 在通道拼接中设定一个关卡值，帧数尾号相同，即①-1，②-1，③-1，④-1，尾号均为1的帧图 像才能在同一个缓冲区进行拼接，拼接后的帧图像按照帧数尾号进行顺序显示。
[0105] 三、实时交互
[0106] 语音交互如下：以非特定人的小词汇量孤立词语音识别作为系统的开启及关闭交 互方式，建立语音模板，借助语音识别，实现对系统的开启及关闭交。在一种实施方案中，定 义语音命令语义，"open"命令，表示360°全息实时交互平台从关闭状态下进行开启唤醒，平 台处于初始化状态；"close"命令，表示360°全息实时交互平台从工作状态进行关机休眠， 平台结束所有工作。建立了所述360°全息交互语音映射关系，对英语双词汇指令建立模板 库。通过对用户的语音进行识别，与模板进行匹配，最终实现交互。
[0107] 姿势交互如下：以手部姿势作为全息影像交互的姿势交互方式，具体如下：
[0108] 首先，采用基于直方图的SPM贝叶斯法，通过贝叶斯准则将肤色与非肤色直方图归 一化，以概率来判断肤色像素，实现手部粗定位；
[0109] 然后，采用基于模糊集和模糊运算的方法得到手部区域的轮廓，对五指手部轮廓 后曲线进行指尖位置搜索，选择一个轮廓起始点，按顺时针方向进行定长扫描，计算各轮廓 线中点的Ratio,当Ratio大于e时，则该点为指尖候选点，根据手部轮廓Ratio值曲线，取大 于e的波峰值为指尖候选点;选取扫描轮廓线起始点与终点的连线中点，检测中点矩形小邻 域，若为肤色区域，则候选点为指尖点，若为非肤色区域，则候选点为非指尖点;将已实现五 指指尖定位及手指个数识别的手部与已有的模板进行匹配，将识别的结果转换为五指伸展 且指尖定位的2D手部简化模型，实现跟踪初始化，实现对手部的精确定位；
[011 0]最后，通过跟踪手指指尖的运动轨迹，取指尖轨迹均值，根据不同的手部姿势交互 映射关系，实现全息影像真实模式和虚拟模式的切换交互和全息影像的旋转交互。
[0111]其中，Ratio为扫描轮廓线中点至扫描轮廓起始点与终点连线的垂直距离和扫描 轮廓线起始点至终点连线长度的比值，e表示一个正数。
[0112]交互引导模式，基于对体验模式、认知方式和人机交互界面的研究，建立图文详解 的交互引导模式，由此引导交互动作，引导内容包含:交互平台的唤醒关闭、影像模式的切 换方式、影像旋转控制方式，实现对用户的初次引导。
[0113]进一步的，在所述姿势交互中，建立了两种手部交互映射关系：
[0114]其一，手部切换交互映射关系
[0115]在1-1.5s的时间段内，手部在垂直坐标内变化量未超过阈值，甚至是静止时，用户 全息影像处于初始状态，默认为虚拟模式;在1-1.5s的时间段内，手部在垂直坐标内变化量 超过阈值，切换模式交互过程就被开启，由初始模式转换为另一个模式，实现真实模式与虚 拟模式的切换。在一种实施方案中，切换过程用一个状态变量_表示，A y(t)/At表示手部 在竖直方向坐标一段时间内的变化量，e表示较小的一个正数，当所述A y(t)/A 时，_ 为0，表示交互未开始时，处于开启全息交互时初始状态所处模式，默认为虚拟模式；当所述 A y(t)/A t>e时，_为1，表示交互开始之后，处于由初始状态向另一个模式转换。当一定 时间内，手部在垂直坐标内变化很小，甚至可认为是静止的，用户全息影像处于初始状态； 当一定时间内，手部在垂直坐标内变化超过阈值，切换模式交互过程就被开启，由初始模式 转换为另一个模式。
[0116]其二，影像旋转交互映射关系
[0117] 通过手在平面内的水平直线运动，带动用户头肩全息影像的旋转，将全息影像中 头肩作360° -周旋转，离散化为PiC(m)、PiC(l)、PiC(r)、Pic(b)四种不同的拼接对应模式， 根据手部在水平方向变换距离值判定相应的序列图像通道的拼接对应模式的变化： fs = -，其中，f i x表示向零取整，篆表示移动向量；
[0118] 初始交互前，即警=細寸，用户的全息影像处于所述Pic(m)拼接对应模式；變―i 时，影像向右旋转，依次显示为Pic(m)，Pic(r)时，影像向右旋转，依次显示为Pic (111)，？1(3(〇，？1(3(13);變=3时，影像向右旋转，依次显示为？1(3(111)，？1(3(『），？1(3(13)，？化（1) ; 變=4时，影像向右旋转，依次显示为Pic(m)，Pic(r)，Pic(b)，Pic(l)，Pic(m) ;變t时， 影像向左旋转，依次显示为Pic(m)，Pic(l);變=一时，影像向左旋转，依次显示为Pic(m)， Pic(l)，Pic(b);爭二:一刻寸，影像向左旋转，依次显示为Pic(m)，Pic(l)，Pic(b)，Pic(r); 黎二:―4刪?，影像向左旋转，依次显示为 Pic(m)，Pic⑴，Pic(b)， Pic(r)，Pic(m)，根据对应 模式的依次变化，实现交互；
[0119] 其中，所述Pic(m)对应模式表示拼接通道I对应一号摄像机帧图像、拼接通道II对 应二号摄像机帧图像、拼接通道III对应三号摄像机帧图像，拼接通道IV对应四号摄像机帧 图像；
[0120] 所述Pic(l)对应模式表示拼接通道I对应二号摄像机帧图像、拼接通道II对应四 号摄像机帧图像、拼接通道III对应一号摄像机帧图像，拼接通道IV对应三号摄像机帧图 像；
[0121] 所述Pic(r)对应模式表示拼接通道I对应三号摄像机帧图像、拼接通道II对应一 号摄像机帧图像、拼接通道III对应四号摄像机帧图像，拼接通道IV对应二号摄像机帧图 像；
[0122] 所述Pic(b)对应模式表示拼接通道I对应四号摄像机帧图像、拼接通道II对应三 号摄像机帧图像、拼接通道III对应二号摄像机帧图像，拼接通道IV对应一号摄像机帧图 像。
[0123] 四、实时信息再现技术
[0124] 根据实时信息数据处理结果对全息影像进行再现，同时，结合交互过程中全息影 像的变化，完成交互结果的展示。
[0125] 按照上述实施例，便可很好地实现本发明。值得说明的是，基于上述设计原理的前 提下，为解决同样的技术问题，即使在本发明所公开的结构或方法基础上做出的一些无实 质性的改动或润色，所采用的技术方案的实质仍然与本发明一样，故其也应当在本发明的 保护范围内。
【主权项】
1. 一种360°全息实时交互方法，其特征在于，包括： 实时信息采集，从多个方位对用户及环境信息进行采集，得到对应的音频及视频信息； 实时信息处理，对每个方位得到的视频信息进行运动物体分割提取，将分割提取处理 后的帧图像进行实时拼接，实现全息真实影像及虚拟影像的再现的数据基础； 实时信息再现，根据实时信息处理后的数据实现全息影像的再现； 实时交互，建立语音交互、交互引导模式、姿势交互三种交互模式的映射关系，通过对 语音、手势的识别，实现全息影像的变化，实现交互。2. 根据权利要求1所述的360°全息实时交互方法，其特征在于，在所述实时信息采集 中，采用四台相同型号和性能的前端信息采集设备:一号摄像机、二号摄像机、三号摄像机、 四号摄像机，分别从用户前、后、左、右四个方位采集用户信息;其中，位于前面的一号摄像 机采集用户的正面视频、音频信息，接受用户手部姿势和语音命令的交互信息，其余摄像机 采集用户的对应方位的视频信息。3. 根据权利要求2所述的360°全息实时交互方法，其特征在于，四台摄像机同步工作且 与用户的定位区域等距，四台摄像机镜头准心在同一水平线上。4. 根据权利要求3所述的360°全息实时交互方法，其特征在于，所述实时信息处理包 括： 用户信息初步处理:将用户从复杂的环境中提取出来，完成全息显示真实模式下的用 户信息初步处理； 虚拟形象的初步处理:建立全息显示虚拟模式下的无背景虚拟人物模型，完成虚拟形 象的初步处理； 实时信息拼接:建立拼接通道，并对所有方位的信息与拼接通道实现匹配建立拼接的 映射关系，实现全息真实影像及虚拟影像的再现的数据基础。5. 根据权利要求4所述的360°全息实时交互方法，其特征在于，所述将用户从复杂的环 境中提取出来包括如下步骤： (1) 定义帧图像的图像小基元，将每个帧图像的图像小基元表示为MXN个像素构成； (2) 计算连续两帧图像的帧差：ID(x，y，t)= | I(x，y，t)-I(x，y，t_l) |，将帧差公式转换 为像素表达ID(m，n)= | (m，n，t)-I(m，n，t-l) |，基于帧图像的图像小基元，定义高斯检验模 型公式GSi arge ⑴和GS_ii(i):其中，Gk( i)表示Μ X N的像素小基元帧差的k阶矩，GSsmall (i)表示较小尺寸的高斯检验 模型，GSlarge3( i)表示较大尺寸的高斯检验模型； (3) 根据图像小基元的实际大小选择对应的高斯检验模型，较小尺寸对应选择GSsmall (i)，较大尺寸则对应选择GSlarge3(i)，根据高斯检验模型对帧图像进行检验，提取出非高斯 信号； (4) 经过高斯检验后，定义二值掩模图像MASK(x，y)，当|GS(i) |<Gth时，MASK(x，y) = 0,表示像素点处于静止区域；当|GS(i)|>Gth时，MASK(x，y)为1时，表示像素点处于运动区 域； (5) 区分帧图像的运动与静止区域，实现初步提取； (6) 采用改进分水岭算法和比重算法，得到新二值掩模图像MASKne3W(x，y)，将得到的新 二值掩模图像与原图像结合，得到最终的提取对象； (7) 对所有方位的视频图像执行步骤(1) 一 (6)。6. 根据权利要求5所述的360°全息实时交互方法，其特征在于，所述虚拟形象的初步处 理中，结合虚拟建模渲染和分离背景纹理的方法，预先进行三维建模、渲染背景设定为黑 色，将所有方位的视频帧图像信息渲染出来。7. 根据权利要求6所述的360°全息实时交互方法，其特征在于，所述实时信息拼接包括 如下步骤： (1) 基于FBO技术，设立四个拼接通道； (2) 将所有方位的拼接通道的缓冲区进行分区，得到分区通道，分别命名为:拼接通道 I、拼接通道II、拼接通道III、拼接通道IV; (3) 基于立体成像合成原理，将所有方位的帧图像以交叉形式进行拼接，实现同帧数的 帧图像经过变换后在分区通道的拼接； 其中，所有方位的帧图像同步拼接。8. 根据权利要求7所述的360°全息实时交互方法，其特征在于，所述语音交互如下：以 非特定人的小词汇量孤立词语音识别作为系统的开启及关闭交互方式，建立语音模板，借 助语音识别，实现对系统的开启及关闭交。9. 根据权利要求7所述的360°全息实时交互方法，其特征在于，所述姿势交互中，以手 部姿势作为全息影像交互的姿势交互方式，具体如下： 首先，采用基于直方图的SPM贝叶斯法，通过贝叶斯准则将肤色与非肤色直方图归一 化，以概率来判断肤色像素，实现手部粗定位； 然后，采用基于模糊集和模糊运算的方法得到手部区域的轮廓，对五指手部轮廓后曲 线进行指尖位置搜索，选择一个轮廓起始点，按顺时针方向进行定长扫描，计算各轮廓线中 点的Ratio,当Ratio大于ε时，则该点为指尖候选点，根据手部轮廓Ratio值曲线，取大于ε的 波峰值为指尖候选点;选取扫描轮廓线起始点与终点的连线中点，检测中点矩形小邻域，若 为肤色区域，则候选点为指尖点，若为非肤色区域，则候选点为非指尖点；将已实现五指指 尖定位及手指个数识别的手部与已有的模板进行匹配，将识别的结果转换为五指伸展且指 尖定位的2D手部简化模型，实现跟踪初始化，实现对手部的精确定位； 最后，通过跟踪手指指尖的运动轨迹，取指尖轨迹均值，根据不同的手部姿势交互映射 关系，实现全息影像真实模式和虚拟模式的切换交互和全息影像的旋转交互； 其中，Ratio为扫描轮廓线中点至扫描轮廓起始点与终点连线的垂直距离和扫描轮廓 线起始点至终点连线长度的比值，ε表示一个正数。10. 根据权利要求9所述的360°全息实时交互方法，其特征在于，在所述姿势交互中，建 立了两种手部交互映射关系： 其一，手部切换交互映射关系 在1 -1.5s的时间段内，手部在垂直坐标内变化量未超过阈值，甚至是静止时，用户全息 影像处于初始状态，默认为虚拟模式；当在1-1.5s的时间段内，手部在垂直坐标内变化量超 过阈值，切换模式交互过程就被开启，由初始模式转换为另一个模式，实现真实模式与虚拟 模式的切换； 其二，影像旋转交互映射关系 通过手在平面内的水平直线运动，带动用户头肩全息影像的旋转，将全息影像中头肩 作360° -周旋转，离散化为?^(111)、？。(1)、？1(3(〇、？。(13)四种不同的拼接对应模式，根据 手部在水平方向变换距离值判定相应的序列图像通道的拼接对应模式的变化： -二二&:0/鮮、.?，其中，f iX表示向零取整，表示移动向量； 初始交互前，即φ =-时，用户的全息影像处于所述Pic(m)拼接对应模式；φ = i时，影 像向右旋转，依次显示为Pic(m)，Pic(r);攀=2时，影像向右旋转，依次显示为Pic(m)，Pic (r)，Pic(b);中=3时，影像向右旋转，依次显不为Pic(m)，Pic(r)，Pic(b)，Pic(l);赞二.凑 时，影像向右旋转，依次显示为Pic(m)，Pic(r)，Pic(b)，Pic(l)，Pic(m);學=-__'t时，影像向 左旋转，依次显示为？化(111)，？化（1) ;，=一2时，影像向左旋转，依次显示为？化(111)，？化 (1)，Pic(b);一 3时，影像向左旋转，依次显示为Pic(m)，Pic(l)，Pic(b)，Pic(r); 警3辱时，影像向左旋转，依次显示为Pic(m)，Pic(l)，Pic(b)，Pic(r)，Pic(m)，根据对应 模式的依次变化，实现交互； 其中，所述Pic(m)对应模式表示拼接通道I对应一号摄像机帧图像、拼接通道II对应二 号摄像机帧图像、拼接通道III对应三号摄像机帧图像，拼接通道IV对应四号摄像机帧图 像； 所述Pic(l)对应模式表示拼接通道I对应二号摄像机帧图像、拼接通道II对应四号摄 像机帧图像、拼接通道III对应一号摄像机帧图像，拼接通道IV对应三号摄像机帧图像； 所述Pic(r)对应模式表示拼接通道I对应三号摄像机帧图像、拼接通道II对应一号摄 像机帧图像、拼接通道III对应四号摄像机帧图像，拼接通道IV对应二号摄像机帧图像； 所述Pic(b)对应模式表示拼接通道I对应四号摄像机帧图像、拼接通道II对应三号摄 像机帧图像、拼接通道III对应二号摄像机帧图像，拼接通道IV对应一号摄像机帧图像。
【文档编号】H04N13/02GK105929962SQ201610298797
【公开日】2016年9月7日
【申请日】2016年5月6日
【发明人】王幽又, 杨随先
【申请人】四川大学