全息虚拟人AR互动展示方法、装置及设备与流程

本发明涉及信息、计算机应用、ar/vr应用技术领域，具体是一种全息虚拟人ar互动展示方法、装置及设备。

背景技术：

当前ar互动展示通常需要参与者通过佩戴手持手机或ar眼镜等方式来参与，往往使得参与者的体验不便也不佳。

技术实现要素：

本发明提供一种全息虚拟人ar互动展示方法、装置及设备，参与者不需要佩戴ar眼镜或手持手机，参与体验方便。

为实现上述目的，本发明提供全息虚拟人ar互动展示方法，采用摄像组件对互动区域进行覆盖拍摄，将能够反映预设参与者表演内容的全息虚拟形象录入控制模块，具体包括如下步骤：

步骤101，获取当前时刻互动区域的实时单方位或多方位视图；

步骤102，根据互动区域的实时单方位或多方位视图得到当前时刻互动区域的实时场景画面；

步骤103，将当前时刻互动区域的实时场景画面与预设参与者的全息虚拟形象进行场景画面融合，得到在当前时刻实时场景画面与预设参与者的全息虚拟形象之间交互的画面帧，并将所述画面帧发送至显示组件进行显示；

步骤104，多次重复步骤101-103，获取按时间排序的多个实时场景画面与预设参与者的全息虚拟形象之间交互的画面帧，并发送至显示组件以完成全息虚拟人ar互动展示。

进一步优选的，所述将预设参与者的全息虚拟形象录入控制模块的过程为：

步骤201，获取预设参与者在表演状态下的多方位视图；

步骤202，根据步骤201中预设参与者的多方位视图对预设参与者的实时特征进行3d全息虚拟化，得到能够反映预设参与者表演内容的全息虚拟形象；

步骤203，将能够反映预设参与者表演内容的全息虚拟形象存储至控制模块。

进一步优选的，步骤202中，所述预设参与者的实时特征包括：身体姿态特征、表情神态特征、服装特征、毛发特征。

进一步优选的，步骤203中，将当前时刻互动区域的实时场景画面与预设参与者的全息虚拟形象进行场景画面融合，具体为：

基于预设参与者的全息虚拟形象的手势、身体姿势与当前时刻互动区域的实时场景画面融合。

进一步优选的，步骤104还包括获取摄像组件当前时刻的外参，具体过程为：

步骤301，获取摄像组件当前帧与上一帧拍摄的图像，并获取两帧图像之间的光流；

步骤302，根据当前帧图像与上一帧图像之间的光流获取当前帧图像相对上一帧图像的单应矩阵；

步骤303，根据单应矩阵获取当前帧图像与上一帧图像之间摄像组件外参的变化参数；

步骤304，根据前帧图像与上一帧图像之间摄像组件外参的变化参数以及上一帧图像对应时刻摄像组件的外参获取当前帧对应时刻摄像组件的外参，即当前时刻的摄像机外参。

为实现上述目的，本发明还提供全息虚拟人ar互动展示装置，包括：存储器和处理器，所述存储器存储有全息虚拟人ar互动展示程序，所述处理器在运行所述程序时执行所述权利要求1至5任一项方法所述的步骤。

为实现上述目的，本发明还提供全息虚拟人ar互动展示设备，包括：

互动平台，用于提供互动区域；

摄像组件，用于对互动区域进行覆盖拍摄，用于获取互动区域的实时多方位视图；

控制模块，包括权利要求6所述的全息虚拟人ar互动展示装置，与摄像组件通信相连，用于存储预设参与者的全息虚拟形象以及实时场景画面与预设参与者的全息虚拟形象之间交互的画面帧；

显示组件，与控制模块通信相连，用于展示预设参与者的全息虚拟形象之间交互的画面帧。

进一步优选的，所述显示组件包括显示屏，所述显示屏正对互动区域以用于展示预设参与者的互动画面。

本发明提供的一种全息虚拟人ar互动展示方法、装置及设备，通过摄像组件对互动区域进行覆盖拍摄，进而互动区域的实时场景画面，并将其与预存的预设参与者的全息虚拟形象进行场景画面融合，得到在当前时刻实时场景画面与预设参与者的全息虚拟形象之间交互的画面帧，最终通过显示组件显示出来，使得互动参与者只需进入互动区域即能完成与预设参与者的互动，而不需要佩戴ar眼镜或手持手机即能参与互动，体验方便，实现互动参与者与预设参与者的同台表演互动、拍照、录像等互动展示，在活动展示、营销广告、互动体验等方面具有广泛的应用前景和市场前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例中全息虚拟人ar互动展示方法的流程示意图；

图2为本发明实施例中获取预设参全息虚拟形象的流程示意图；

图3为本发明实施例中摄像组件的外参标定流程示意图；

图4是本发明实施例中全息虚拟人ar互动展示设备的结构示意图。

附图标号说明：1-互动平台、2-摄像组件、3-控制模块、4-显示组件

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

如图1所示的一种全息虚拟人ar互动展示方法，采用摄像组件对互动区域进行覆盖拍摄，将能够反映预设参与者表演内容的全息虚拟形象录入控制模块，控制模块可以是通用计算机，其中，摄像组件包括一台或多台摄像机，其安装在互动场地的适当位置以对互动区域进行覆盖拍摄，例如固定安装在显示组件上，具体包括如下步骤：

步骤101，获取当前时刻互动区域的实时单方位或多方位视图；

步骤102，根据互动区域的实时单方位或多方位视图得到当前时刻互动区域的实时场景画面；

步骤103，将当前时刻互动区域的实时场景画面与预设参与者的全息虚拟形象进行场景画面融合，得到在当前时刻实时场景画面与预设参与者的全息虚拟形象之间交互的画面帧，并将所述画面帧发送至显示组件进行显示；

步骤104，多次重复步骤101-103，获取按时间排序的多个实时场景画面与预设参与者的全息虚拟形象之间交互的画面帧，并发送至显示组件以完成全息虚拟人ar互动展示。

本实施例通过摄像组件对互动区域进行覆盖拍摄，进而互动区域的实时场景画面，并将其与预存的预设参与者的全息虚拟形象进行场景画面融合，得到在当前时刻实时场景画面与预设参与者的全息虚拟形象之间交互的画面帧，最终通过显示组件显示出来，使得互动参与者只需进入互动区域即能完成与预设参与者的互动，而不需要佩戴ar眼镜或手持手机即能参与互动，体验方便，实现互动参与者与预设参与者的同台表演互动、拍照、录像等互动展示，在活动展示、营销广告、互动体验等方面具有广泛的应用前景和市场前景。

参考图2，将预设参与者的全息虚拟形象录入控制模块的过程为：

步骤201，获取预设参与者在表演状态下的多方位视图；

步骤202，根据步骤201中预设参与者的多方位视图对预设参与者的实时特征进行3d全息虚拟化，得到能够反映预设参与者表演内容的全息虚拟形象；

步骤203，将能够反映预设参与者表演内容的全息虚拟形象存储至控制模块。

步骤202中，预设参与者的实时特征包括：身体姿态特征、表情神态特征、服装特征、毛发特征，对预设参与者的实时特征进行3d全息虚拟化具体指的是由全息捕捉方法获得逼真三维动态虚拟人，全息捕捉又称为4d全息捕捉、立体捕捉，能获得真人表演等场景的动态三维全息影像，这种动态三维全息影像又称为4d视频，4d视频能获得拍摄对象包括身体动作、表情神态、服装、毛发等所有细节的全息三维信息，是一种对真人表演的全息三维“录像”技术，其获得的三维全息影像能够任意视角观看。全息捕捉时，预设参与者进入拍摄区域表演，对预设参与者进行多方位拍摄并通过计算机并计算处理得到预设参与者的全息虚拟形象。本实施例中生成预设参与者全息虚拟形象的过程具体采用专利cn107862718a与cn107918948a中所公开的方法。

本实施例中采用全息捕捉技术来获取预设参与者的全息虚拟形象，相较于传统的方法具有以下特点：1)传统的媒介如图片、视频或全景视频，本质上都是2d内容，其视角和视点是不可以主动改变的；而由全息捕捉技术获取的4d视频本质是3d内容，其视角可以主动改变，并且视点位置是可以主动移动的；2)全息捕捉技术获取的4d视频能够与传统的视频、全景视频等进行融合，其中，融合是指4d视频的内容可以以三维到二维的投影方式与普通视频、全景视频相叠加，得到虚拟和现实相互叠加的新图像内容。

步骤203中，所述当前时刻互动区域的实时场景画面与预设参与者的全息虚拟形象进行场景画面融合，具体为：基于预设参与者的全息虚拟形象的手势、身体姿势与当前时刻互动区域的实时场景画面融合。其中，全息虚拟形象与现场画面融合是通过实时获得的摄像机姿态和位置参数来建立一种三维向二维画面投影模型，即可以将三维全息虚拟形象投影到符合现场摄像机位置和视角的画面位置，形成全息虚拟形象与现场互动区域无缝融合，由此得到全息虚拟人来到现场一样的视觉画面效果。这种三维向二维画面融合其实际是增强现实的过程。具体可参考文献：poseestimationforaugmentedreality:ahands-onsurvey,ieeetrans.onvisualizationandcomputergraphics,2016.这里预存参与者可以是人或物，例如特定的人物、动物等，实现互动参与者与预设参与者的同台表演互动、拍照、录像等互动展示，在活动展示、营销广告、互动体验等。

由于摄像组件在拍摄过程中可能会在外部因素的影响下晃动，因此步骤104中还包括获取摄像组件当前时刻的外参，以对摄像组件进行调整，使得摄像组件始终能够覆盖拍摄互动区域，其中，摄像组件的外参指的是姿态参数与位置参数，参考图3，其具体过程为：

步骤301，获取摄像组件当前帧与上一帧拍摄的图像，并获取两帧图像之间的光流；

步骤302，根据当前帧图像与上一帧图像之间的光流获取当前帧图像相对上一帧图像的单应矩阵；

步骤303，根据单应矩阵获取当前帧图像与上一帧图像之间摄像组件外参的变化参数；

步骤304，根据前帧图像与上一帧图像之间摄像组件外参的变化参数以及上一帧图像对应时刻摄像组件的外参获取当前帧对应时刻摄像组件的外参，即当前时刻的摄像机外参。

步骤301中，两帧图像之间光流的计算可采用lk光流计算方法，具体可以参考维基介绍：https://en.wikipedia.org/wiki/lucas-kanade_method，在摄像组件拍摄第一帧图像时，摄像组件的内参可以通过经典的张正友摄像机标定方法来进行标定，具体可以参见文献“aflexiblenewtechniqueforcameracalibration”，zhengyouzhang,microsoftresearchtechnicalreport,1998；摄像组件的外参可以采用正交迭代姿态估计方法获取，具体可以参见文献“fastandgloballyconvergentposeestimationfromvideoimages”,ieeepami,2000。

本实施例还公开了一种全息虚拟人ar互动展示装置，包括：存储器和处理器，所述存储器存储有全息虚拟人ar互动展示程序，所述处理器在运行所述程序时执行上述方法所述的步骤。

如图4所示的本实施例还提供一种全息虚拟人ar互动展示设备，包括：

互动平台1，用于提供互动区域以供互动参与者互动，本实施例中的互动平台为直径为2米的圆形台，互动区域位于互动平台上；

摄像组件2，包括一台或多台摄像机，本实施例中的摄像机具体采用4k分辨率的超高清彩色摄像机，用于对互动区域进行覆盖拍摄，用于获取互动参与者的实时多方位视图；

控制模块3，包括上述的全息虚拟人ar互动展示装置，与摄像组件通信相连，用于获取互动参与者与预设参与者的全息虚拟交互形象；控制模块内还设有开关子模块与投影控制子模块，其中，开关子模块用于控制整个系统设备的启闭，投影控制子模块用于控制互动画面在显示组件上的投影大小与投影位置等，本实施例中控制模块3可以直接采用通用计算机。

显示组件4，与控制模块通信相连，显示组件的具体形态可根据实际情况选择，可以是投影幕布、led拼接显示器等，本实施例中的显示组件为2×4米的投影幕布，离地高度为1米，摄像组件固定设在显示组件上，用于展示互动参与者与预设参与者的全息虚拟交互形象。

优选的，显示组件包括显示屏，所述显示屏正对互动区域，显示屏与互动区域的距离为2.5～3米，以用于向互动参与者展示其自身与预设参与者的互动画面，便于互动参与者能够对互动画面进行拍摄或录像，便于及时通过社交网络分享出去。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。