一种易实现的体感互动方法及系统与流程

本发明涉及多媒体互动技术领域，特别是涉及一种易实现的体感互动方法及系统。

背景技术：

体感游戏(英文：Motion Sensing Game)顾名思义：是用身体去感受的电子游戏。体感游戏突破了传统游戏，单纯以手柄按键输入的操作方式，体感游戏是一种通过肢体动作变化来进行(或操作)的新型电子游戏。体感游戏流行于欧美国家，并传入中国。2011年后的新式体感游戏能够模拟出三维场景，玩家手握专用游戏手柄，通过自己身体的动作来控制游戏中人物的动作，能够让玩家“全身”投入到游戏当中，享受到体感互动的新体验。体感游戏让用户能在体验游戏刺激、快乐的同时，又能得到身体运动。

但目前技术中，为了实现体感互动，需要配备专用的摄像头，体感游戏所使用的摄像头都是包含深度信息的特殊摄像头，例如，景深摄像头；其价格比较昂贵，购买门槛较高，从而在一定程度上限制了体感游戏的推广。同时，目前现有的特殊摄像头(例如，景深摄像头)均是与配套的主机绑定使用，例如，Kinect需要配合特定的平台(Windows)和SDK才能使用；从一定程度是行限制了体感游戏的普及。

因此，有必要对现有的体感游戏的互动实现方式进行改进。

技术实现要素：

为此，需要提供一种易实现的体感互动方法及系统，用于降低现有体感互动的实现成本。

为实现上述目的，发明人提供了一种易实现的体感互动方法，包括以下 步骤：

通过摄像装置实时获取连续2D的第一图像数据；

根据预设的条件，从所述第一图像数据中提取出第一对象；

将第一对象更新至虚拟场景中，得到第二图像数据，所述虚拟场景中包括至少一个第二对象；

判断第一对象的轮廓与第二对象在虚拟场景中是否有重叠，若有，则触发体感接触响应机制，并根据体感接触响应机制更新所述第二图像数据。

进一步的，所述判断第一对象的轮廓与虚拟场景中的第二对象是否有重叠，包括以下步骤：

通过3D投影技术，将第一对象和第二对象投影至对应的2D坐标系中；

分别计算所述第一对象和第二对象在2D坐标系中的轮廓；

判断在2D坐标系中，所述第一对象和第二对象是否有公共部分，若是，则第一对象和第二对象有重叠。

进一步的，在判断第一对象的轮廓与第二对象在虚拟场景中是否有重叠之前或之后，还包括步骤：

实时接收第一终端发送的互动指令，以及根据所述互动指令，实时更新第二对象的轮廓，和/或第二对象在虚拟场景中的位置。

进一步的，判断第一对象的轮廓与第二对象在虚拟场景中是否有重叠之后，还包括步骤：通过实时流传输协议，将所述第二图像数据直播给局域网中的在线客户端；或将所述第二图像数据发送给第三方网络服务器；第三方网络服务器生成所述第二图像数据的互联网直播链接。

进一步的，在判断第一对象的轮廓与虚拟场景中的第二对象是否有重叠之后，还包括步骤：

将所述第二图像数据从虚拟场景的3D坐标系投影至2D坐标系中，并在显示器上显示。

进一步的，所述第二对象为3D虚拟对象。

进一步的，所述第一对象为人物对象，从所述第一图像数据中提取出第一对象，包括步骤：根据人脸识别技术，识别出第一图像数据中的人脸图像，并提取所述人脸图像；判断人脸图像与第二对象在虚拟场景中是否有重叠，若有，则触发体感接触响应机制，并根据体感接触响应机制更新所述第二图像数据。

为解决上述技术问题，发明人提供了另一技术方案，

一种易实现的体感互动系统，包括：

获取模块，用于通过摄像装置实时获取连续2D的第一图像数据；

提取模块，用于根据预设的条件，从所述第一图像数据中提取出第一对象；

更新模块，用于将第一对象更新至虚拟场景中，得到第二图像数据，所述虚拟场景中包括至少一个第二对象；

判断模块，用于判断第一对象的轮廓与第二对象在虚拟场景中是否有重叠，若有，则触发体感接触响应机制，并根据体感接触响应机制更新所述第二图像数据。

进一步的，所述判断模块包括投影子模块，用于通过3D投影技术，将第一对象和第二对象投影至对应的2D坐标系中；

分别计算所述第一对象和第二对象在2D坐标系中的轮廓；以及

判断在2D坐标系中，所述第一对象和第二对象是否有公共部分，若是，则第一对象和第二对象有重叠。

进一步的，还包括互动模块，用于实时接收第一终端发送的互动指令，以及根据所述互动指令，实时更新第二对象的轮廓，和/或第二对象在虚拟场景中的位置。

进一步的，还包括直播模块，用于通过实时流传输协议，将所述第二图像数据直播给局域网中的在线客户端；或将所述第二图像数据发送给第三方网络服务器；第三方网络服务器生成所述第二图像数据的互联网直播链接。

进一步的，所述第一对象为人物对象，所述获取模块从所述第一图像数据中提取出第一对象时，根据人脸识别技术，识别出第一图像数据中的人脸图像，并提取所述人脸图像；判断人脸图像与第二对象在虚拟场景中是否有重叠，若有，则触发体感接触响应机制，并根据体感接触响应机制更新所述第二图像数据。。

区别于现有技术，上述技术方案通过从摄像装置的第一图像数据中提取第一对象，并将第一对象与第二对象放置于同一虚拟场景中进行比较，判断第一对象与第二对象是否有重叠，以判断结果作为体感接触的判断依据，从而实现体感互动响应，本技术方案中体感互动实现简单便捷，且使用普通的摄像装置即可取代体感互动的专用摄像头，从而大大降低了体感互动的实现成本。同时，本发明所使用的普通摄像装置可在任何平台上与任意主机配合实现体感互动操作，实现容易。第一对象与第二对象是否重叠可在2D坐标系中计算，计算量小，计算效率高，对硬件要求低。

附图说明

图1为具体实施方式所述易实现的体感互动方法的流程图；

图2a为具体实施方式中所述3D对象转换成2D对象的示意图；

图2b为具体实施方式中所述3D对象转换成2D对象的示意图；

图3为具体实施方式所述易实现的体感互动实现的模块框图；

图4为另一具体实施方式中所述易实现的体感互动实现的模块框图。

附图标记说明：

10、获取模块

20、提取模块

30、更新模块

40、判断模块

401、判断子模块

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1，本实施例提供了一种易实现的体感互动方法，本实施例可以应用于体感游戏或体感互动直播等多种需求中。具体的，本实施例的方法包括以下步骤：

S101、通过摄像装置实时获取连续2D的第一图像数据；其中，所述摄像装置为网络摄像头、数码摄像机等具有摄像功能的普通摄像装置，并非体感游戏中专用的特殊摄像装置。其中，所述第一图像数据是指包括两帧以上连续图像的图像数据(或称为视频数据)，并非单帧静态图像，在提取第一对象时，可以从每帧的图像中分别提取出第一对象，因此所得到的第一对象也是包括有两帧以上连接对象。

S102、根据预设的条件，从所述第一图像数据中提取出第一对象。在不同的实施例中根据需要，第一对象可以是不同的具体对象，例如在体感游戏中，第一对象可以是体感游戏中的玩家，该玩家在体感游戏中可以扮演不同的游戏角色；在体感互动直播中，第一对象可以是真人主播，可以是宠物动物等；第一对象的数量可以是单个，也可以是2个以上。根据这些实际需求的不同，可以使用不同的算法和设置，以有效地在第一数据图像中提取第一对象。以下通过一具体提取第一对象的算法实施例进行举例说明。

在某一实施例中，第一图像数据中，第一对象为人物主播，主播所处的背景为纯色背景。提取第一图像数据中第一对象的具体步骤为：GPU将第一图像数据中的每个像素的颜色值与预设的阈值做比较；若像素的颜色值在预设的阈值内，则将该像素点的Alpha通道设为零，即将背景显示为透明色，提取出对象。

由于背景为纯色，所以本实施例采用色度键法进行抠图。其中预设的阈值为背景颜色的颜色值，例如，背景颜色为绿色，则预设的像素点RGB颜色值的阈值为(0±10、255-10、0±10)。背景色可以选择绿色或蓝色，在拍摄的场所可同时设置两种颜色的背景，供主播选择。当主播穿与绿色反差较大的衣服唱歌时，可选用绿色的背景。在对象(人像)提取过程中，由于主播穿的衣服与背景色相差较大，所以图像中的每个像素的颜色值与预设的阈值进行比较后，背景部分像素点的颜色值在预设的阈值内，将背景部分像素点的Alpha通道设为零，即将背景显示为透明色；而人像部分的像素点不在预设的阈值内，保留人像部分，从而实现将人像从图像中提取出来。

在另一实施例中，还可以先拍摄不包含第一对象，只有背景的背景图像，再通过摄像装置拍摄同时包含有第一对象和背景的第一图像数据，将摄像装置所拍摄的实时第一图像数据与预先拍摄的背景图像相减，所得到的即为只有第一对象的图像数据，从而实现第一对象的抠像。

在具体的实施例中，还可以利用设备上的GPU进行抠图处理操作，不占用CPU时间，提高系统速度；并且由于GPU是专门对图像进行处理的硬件，对不同大小的像素运算时间一样，例如，8位、16位、32位的像素运算时间均一样，可大大节省了对像素的运算时间；而普通的CPU会随像素大小的增大延长处理时间，所以本实施例的人像提取速度大大提高。

在实施例中，所提取的第一对象的轮廓与位置，是随着摄像装置前真实第一对象的运动而实时变化的。

S103、将第一对象更新至虚拟场景中，得到第二图像数据，所述虚拟场景中包括至少一个第二对象。在实施例中，所述虚拟场景包括计算机模拟的虚拟现实场景或真实拍摄的视频场景等。例如，在体感游戏中，所述虚拟场景即为通过计算机软件制作得到的游戏画面，游戏画面随着游戏的进展而不断更新，而所提取出的第一对象即游戏玩家在游戏中的角色，也实时更新至游戏画面中，而其中的第二对象则可以为游戏中的其他角色。游戏玩家可以 通过晃动身体、举手等各种动作，来控制游戏画面中游戏玩家对应角色完成对应的各种动作，例如，游戏中第二对象为从远处迎面飞来的石子、子弹等物体，游戏玩家通过晃动身体来控制对应游戏角色进行躲避，从而不受伤害。

在体感互动直播中，所述虚拟场景可以为真实拍摄的视频场景等。更进一步的，实施例还可以结合新近发展的3D图像技术来提供虚拟场景，例如3D虚拟现实场景或3D视频场景。在3D虚拟现实场景或3D视频场景中，所述第二对象则可以是虚拟礼物等。

3D虚拟现实场景技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种现实场景的3D模拟场景，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真。虚拟场景包括任何现实生活中存在的实际场景，包含视觉、听觉等任何能通过体感感受到的场景，通过计算机技术来模拟实现。3D虚拟现实场景的一种应用是3D虚拟舞台，3D虚拟舞台是通过计算机技术模拟现实舞台，实现一种立体感、真实感强的舞台效果。可以通过3D虚拟舞台实现，在现实中不在舞台上的主播对象在各种舞台上进行表演的场景效果。

3D视频是拍摄影像时，用两台摄影机模拟左右两眼视差，分别拍摄两条影片，然后将这两条影片同时放映到银幕上，放映时让观众左眼只能看到左眼图像，右眼只能看到右眼图像。最后两幅图像经过大脑叠合后，就能看到具有立体纵深感的画面，即为3D视频。

在体感游戏、体感互动直播中，将所述第一对象更新至虚拟场景时，除了要将第一对象显示于虚拟场景中，还要考虑第一对象在虚拟场景中的位置，因此，在制作虚拟场景时，需要以3D坐标系为基础，为虚拟场景中的画面以及一些对象(即需要参与体感互动的对象，如所述第二对象)配置坐标参数。因此可根据第一对象的坐标参数，将其显示于虚拟场景中的对应位置上。虚拟场景中的对象的坐标参数，也是根据对象在动作或形状，以及其在虚拟场景中的位置，而实时变化更新的。由于第一对象以及第二对象可以是具有一 定轮廓的对象，而不仅是一个单点，因此在3D坐标系中，为了能够清楚的标记出对象的轮廓，需要多个坐标点的组合来标记一个对象，即一个对象同时具有多个坐标点。在不同的实施例中，可以用对象的轮廓点的坐标的集合来表示一个对象的坐标，还可以用对象轮廓点所围成的面积的坐标来表示一个对象的坐标。

S104、判断第一对象的轮廓与第二对象在虚拟场景的3D坐标系中是否有重叠，若有，则触发体感接触响应机制，并根据体感接触响应机制更新所述第二图像数据。与第一图像数据相似，所得到的第二图像数据也是包括两帧以上连续图像的图像数据。由于所述第一对象以及虚拟场景中参与互动对象(包括第二对象)，都具有同一3D坐标系中的坐标参数，通过对比不同对象的坐标参数，即可判断不同对象在虚拟场景中是否发生了体感接触，当第一对象的轮廓与第二对象在3D坐标系中具有公共的坐标点，即第一对象与第二对象重叠或部分重叠，则说明第一对象与第二对象发生了体感接触，进而触发体感接触响应机制。

在一实施例中，所述第一对象为人物对象，在提取第一对象时，通过人脸识别技术识别出第一图像数据中的人脸图像，并提取出所述人脸图像，将第一对象更新到虚拟场景中后，判断人脸图像与第二对象在虚拟场景中是否有重叠，若有，则触发体感接触响应机制，并根据体感接触响应机制更新所述第二图像数据。

所述人脸图像提取的具体步骤包括：

1、接收第一图像数据，并进行解码，获取YCrCb格式的图像数据，放到缓冲区中。

2、创建位图，将缓冲区中YCrCb格式的图像数据的Y分量数据传递给该位图；其中，所述Y分量数据保存了图像的灰度信息，无色彩。Android的人脸识别引擎并非基于颜色匹配，灰度图和彩色图像识别效果无差别。

3、将位图按比例缩小；由于原始图像数据量比较大，为减小计算量，将 位图按比例缩小。经过缩小处理，能将识别速度从几百毫秒提高到五十毫秒以内，几乎无延迟。

4、将缩小后的位图传递给android系统原生的人脸识别类FaceDetector，进行人脸识别。

5、获取位图中人脸个数以及位置信息。

在获取到图中人脸个数以及位置信息后，将其传递给unity端；Unity根据实时的人脸位置信息，判断人脸图像与第二对象在虚拟场景中是否有重叠，若有，则触发体感接触响应机制，进行体感互动游戏。

在不同实施例中，所述体感接触响应机制可以根据需要进行设置。例如，在体感游戏中，游戏玩家通过晃动身体，来控制游戏中的对应角色进行躲避石头或子弹，游戏主机通过判断游戏玩家与石头或子弹，是否有公共坐标，若有，则说明游戏玩家在游戏中被击中(发生体感接触)，所对应的体感接触响应机制可以为在游戏画面中模拟，游戏玩家被击伤的画面效果。同样的，在不同的游戏中，所述石头、子弹等对象也可以用小鸟等图像来替代，当小鸟撞向了虚拟场景中的人像时，游戏主机也会判定小鸟与人像有体感接触，提示被小鸟撞上了；如果游戏玩家移动身体则可以躲避小鸟，成功躲避小鸟可以通过计分系统给游戏玩家加分。通过计分系统实现单人计分累计排名或者多个PK。

又例如，在一具体的实施例中，先从第一图像数据中提取主播的人像，然后将主播的人像更新到虚拟场景中，再识别出主播的人脸并计算主播人脸的位置信息；此时，若虚拟场景中的第二对象为一朵花，判断虚拟场景中的花与主播的人脸是否有体感接触，若有，则对应的体感接触响应机制为花戴到主播头上的虚拟画面效果。通过人脸识别技术，可以实现虚拟场景中的第二对象与主播人脸的各种体感互动。

又如在体感互动直播中，主播对象可以通过伸手等动作，改变第一对象的轮廓和位置，主动触摸虚拟场景中的飞机(即第二对象)，在确定主播对象 与飞机发生体感接触后，所述对应的体感接触响应机制为飞机起飞等虚拟画面效果。

上述体感互动方法可以应用于演唱互动、直播互动等场景中。如在演唱互动中，演唱者的图像被实时更新至虚拟舞台(如《我是歌手》、《中国新歌声》等)，在进行互动时，网络在线观众的图像也实时被更新至虚拟舞台中，当检测到在虚拟舞台中所述观众的图像与演唱者的图像，靠近并发生如牵手、拥抱、献花等体感接触时，就开始演唱。

除了通过3D坐标系中是否有公共坐标点，来判断不同对象是否发生体感接触，在一些实施例中，还通过投影技术将虚拟场景的3D对象转换成2D对象进行判断，具体为：

通过3D投影技术，将第一对象和第二对象投影至对应的2D坐标系中；

分别计算所述第一对象和第二对象在2D坐标系中的轮廓；

判断在2D坐标系中，所述第一对象和第二对象是否有公共部分，若是，则第一对象和第二对象有重叠。

在一实施例中，所述第一对象的轮廓可在步骤S102中所提取的第一对象抠像得到，所述第一对象在3D坐标中的位置，可根据第一对象在第一图像数据中所处的位置计算出来。在计算第一对象在3D坐标中的位置之前，需要先建立3D坐标系。在一实施例中，所述3D坐标系是以摄像装置镜头前某一预设的参照点(如摄像装置图像数据的中心点)，作为3D坐标系的原点，并以该原点建立包括X轴、Y轴和Z轴的3D坐标系。并预先根据摄像装置的成像参数(包括镜头焦距、镜头直径等)，建立摄像装置输出的图像数据(即所述第一图像数据)中的物体位置、尺寸，与物体在所述3D坐标系中的坐标的对应关系。因此将摄像装置所输出的图像数据中第一对象的位置与大小，导入至所述对应关系中，即可获得第一对象在3D坐标系中的位置与坐标。

实施例中，所述第一对象的轮廓还可以采用图像局部特性的不连续性计算，图像不同区域之间的边缘像素值有较大差异。常见的Sobel等边缘检测算 子，通过遍历像素能很方便检查出轮廓。

请参阅图2a和图2b，其中，2a和图2b左边部分为立体对象在3D空间中的示意图，右边部分为通过投影技术转换得到的2D效果示意图。所述3D投影技术包括透视投影和正交投影，3D投影是指通过投影原理将3D坐标系中的立体的对象，投影至3D坐标系所对应的2D坐标系中，从而将立体对象转换成平面对象。所述3D投影包括有X轴投影，Y轴投影和Z轴投影，同一个3D立体对象按不同的轴向投影，可以得到不同的平面对象。在图2a中，所示人物对象与方形对象是发生体感接触的；而在图2b中，所示人物对象与方形对象是没有发生体感接触的。由图2a和图2b所示效果可得，通过3D投影技术，将3D坐标系中的立体的对象转换成2D平面对象，使得对象的体感接触判断更加简便、直观。在3D投影技术中，可通过选择虚拟摄像机的位置来得到对应的投影，虚拟摄像机对应的是3D坐标系中人眼观察位置，不同虚拟摄像机所看到的2D投影是不同的。投影技术中虚拟摄像机的位置的选择很关键，虚拟摄像机位置不同，投影出来的接触状态也不同，所以在使用系统判定接触状态时，需要先确定虚拟摄像机的位置。

上述技术方案中，体感互动方法简单便捷，且使用普通的摄像装置即可取代体感互动的专用摄像头，从而大大降低了体感互动的实现成本。同时，本发明所使用的普通摄像装置可在任何平台上与任意主机配合实现体感互动操作，实现容易。第一对象与第二对象是否重叠可在2D坐标系中计算，计算量小，计算效率高，对硬件要求低。

在一实施例中，在实时获取第一图像数据的同时，实时获取传声器的信号，采集得到第一声音数据；

将第一对象更新至虚拟场景中的同时，也将第一声音实时更新到虚拟场景中。以网络直播为例，所述第一声音数据为网络主播的说明或演唱的声音，或主播演唱的声音及歌曲伴奏的混合声音。通过实时将第一声音实时更新到虚拟场景中，同时，在显示终端实时显示更新后的第二图像数据。这样，不 仅可听到网络主播的声音，还可以在显示终端看到与声音同步的画面(人像与虚拟场景的结合)，实现了虚拟舞台的效果。

在上述实施例中，得到第二图像数据之后，将第二图像数据通过显示装置显示，通过在显示装置上显示所述第二图像数据，用户可看到第一对象与虚拟场景合成后的视频。在一实施例中，将3D坐标系在显示器上显示时，需要做3D向2D投影转换，即用户在显示器上看到的画面也能确定3D对象与自己是否有接触。

在一实施例中，在步骤S104之后，还包括有步骤：通过实时流传输协议，将所述第二图像数据直播给局域网中的在线客户端；或将所述第二图像数据发送给第三方网络服务器；第三方网络服务器生成所述第二图像数据的互联网直播链接。

在局域网内直播时，实时数据流服务器检测是否有客户端连接于该服务器，以及是否有播放请求，在检测到有客户端连接，并接收到播放请求时，通过实时流传输协议，将所述第二图像数据发送给局域网在线客户端。所述客户端可以是各种支持RTSP的播放器，如PC机、平板电脑、智能手机等。客户端在接收到实时流服务器传来的第二图像数据后，进行解码即可进行播放，其中的音频数据解码后，通过扬声器播放演唱者演唱的声音及伴奏。

在互联网直播时，实时数据流服务器通过实时流传输协议，将所述第二图像数据发送给第三方网络服务器，由第三方网络服务器生成所述第二图像数据的直播链接。客户端通过点击所述直播链接，即可获取所述第二图像数据的实时数据流，并通过解码播放。

在实施例中，所述易实现的体感互动方法还可实时接收第一终端发送的互动指令，以及根据所述互动指令，实时更新第二对象的轮廓，和/或第二对象在虚拟场景中的位置。所述互动指令的接收时间可以是在判断第一对象的轮廓与第二对象在虚拟场景中是否有重叠之前，还可以是在判断第一对象的轮廓与第二对象在虚拟场景中是否有重叠之后。

在不同的实施例中，所述第一终端通过计算机网络发送互动指令，计算机网络可以是Internet网络也可以是局域网，可以是由有线网络、WiFi网络、3G/4G移动通讯网络、蓝牙网络或ZigBee网络等进行连接。第一终端可以是PC，也可以是手机、平板电脑等移动通讯设备，还可以是智能手表、智能手环、智能眼镜等穿戴式设备，因此，用户可以通过触发互动指令与玩游戏主播一起参与游戏互动。例如，在以上所述的躲避小鸟的体感游戏中，游戏中的小鸟可以由互联网在线用户触发起飞，或小鸟的飞行轨迹由互动指令进行控制，体感游戏中，由直播在线用户和游戏玩家共同参与进行游戏。

请参阅图3，实施例还提供了一种易实现的体感互动系统，该体感互动系统可以应用于体感游戏或体感互动直播等多种需求中，具体包括：

获取模块10，用于通过摄像装置实时获取第一图像数据，其中，所述摄像装置为网络摄像头、数码摄像机等具有摄像功能的普通摄像装置，并非体感游戏中专用的特殊摄像装置。其中，所述第一图像数据是指包括两帧以上连续图像的图像数据(或称为视频数据)，并非单帧静态图像，在提取第一对象时，可以从每帧的图像中分别提取出第一对象，因此所得到的第一对象也是包括有两帧以上连接对象。

提取模块20，用于根据预设的条件，从所述第一图像数据中提取出第一对象；在不同的实施例中根据需要，第一对象可以是不同的具体对象，例如在体感游戏中，第一对象可以是体感游戏中的玩家，该玩家在体感游戏中可以扮演不同的游戏角色；在体感互动直播中，第一对象可以是真人主播，可以是宠物动物等；第一对象的数量可以是单个，也可以是2个以上。其中第一对象可以通过上述实施例中所使用的算法和设置，从第一图像数据中提取得到。

更新模块30，用于将第一对象更新至虚拟场景中，得到第二图像数据，所述虚拟场景中包括至少一个第二对象；在实施例中，所述虚拟场景包括计 算机模拟的虚拟现实场景或真实拍摄的视频场景等。在体感互动直播中，所述虚拟场景可以为真实拍摄的视频场景等。更进一步的，实施例还可以结合新近发展的3D图像技术来提供虚拟场景，例如3D虚拟现实场景或3D视频场景。

判断模块40，用于判断第一对象的轮廓与第二对象在3D坐标系中是否有重叠，若有，则触发体感接触响应机制，并根据体感接触响应机制更新所述第二图像数据。与第一图像数据相似，所得到的第二图像数据也是包括两帧以上连续图像的图像数据。由于所述第一对象以及虚拟场景中参与互动对象(包括第二对象)，都具有同一3D坐标系中的坐标参数，通过对比不同对象的坐标参数，即可判断不同对象在虚拟场景中是否发生了体感接触，当第一对象的轮廓与第二对象在3D坐标系中具有公共的坐标点，即第一对象与第二对象重叠或部分重叠，则说明第一对象与第二对象发生了体感接触，进而触发体感接触响应机制。在不同实施例中，所述体感接触响应机制可以根据需要进行设置。

在一实施例中，所述第一对象为人物对象，在提取第一对象时，通过人脸识别技术识别出第一图像数据中的人脸图像，并提取出所述人脸图像，将第一对象更新到虚拟场景中后，判断人脸图像与第二对象在虚拟场景中是否有重叠，若有，则触发体感接触响应机制，并根据体感接触响应机制更新所述第二图像数据。所述人脸图像提取的具体步骤及人脸图像与虚拟场景中第二对象的体感互动在以上实施例中已进行详细说明，这里就不再赘述。

除了通过3D坐标系中是否有公共坐标点，来判断不同对象是否发生体感接触，如图4所示，在一实施例中，所述判断模块40还包括投影子模块401，通过投影技术将3D对象转换成2D对象进行判断。所述投影子模块，投影子模块401用于通过3D投影技术，将第一对象和第二对象投影至对应的2D坐标系中；分别计算所述第一对象和第二对象在2D坐标系中的轮廓；以及判断在2D坐标系中，所述第一对象和第二对象是否有公共部分，若是，则第一对 象和第二对象有重叠。

第一对象的轮廓可从所提取的第一对象抠像得到，所述第一对象在3D坐标中的位置，可根据第一对象在第一图像数据中所处的位置计算出来。在计算第一对象在3D坐标中的位置之前，需要先建立3D坐标系。以一参照点为原点，建立包括X轴、Y轴和Z轴的3D坐标系，建立摄像装置输出的图像数据(即所述第一图像数据)中的物体位置、尺寸，与物体在所述3D坐标系中的坐标的对应关系。因此将摄像装置所输出的图像数据中第一对象的位置与大小，导入至所述对应关系中，即可获得第一对象在3D坐标系中的位置与坐标。

请参阅以上实施例中图2a和图2b的3D投影演示，在图2a中，所示人物对象与方形对象是发生体感接触的；而在图2b中，所示人物对象与方形对象是没有发生体感接触的。由图2a和图2b所示效果可得，通过3D投影技术，将3D坐标系中的立体的对象转换成2D平面对象，使得对象的体感接触判断更加简便、直观。

在上述易实现的体感互动系统的实施例中，体感互动方法简单便捷，且使用普通的摄像装置即可取代体感互动的专用摄像头，从而大大降低了体感互动的实现成本。同时，本发明所使用的普通摄像装置可在任何平台上与任意主机配合实现体感互动操作，实现容易。第一对象与第二对象是否重叠可在2D坐标系中计算，计算量小，计算效率高，对硬件要求低。

在一实施例中，所述获取模块10在实时获取第一图像数据的同时，还用于实时获取传声器的信号，采集得到第一声音数据；

所述更新模块将第一对象更新至虚拟场景中的同时，还用于将第一声音实时更新到虚拟场景中。以网络直播为例，所述第一声音数据为网络主播的说明或演唱的声音，或主播演唱的声音及歌曲伴奏的混合声音。通过实时将第一声音实时更新到虚拟场景中，同时，在显示终端实时显示更新后的第二图像数据。这样，不仅可听到网络主播的声音，还可以在显示终端看到与声 音同步的画面(人像与虚拟场景的结合)，实现了虚拟舞台的效果。

在上述实施例中，得到第二图像数据之后，将第二图像数据通过显示装置显示，通过在显示装置上显示所述第二图像数据，用户可看到第一对象与虚拟场景合成后的视频。在一实施例中，将3D坐标系在显示器上显示时，需要做3D向2D投影转换，即用户在显示器上看到的画面也能确定3D对象与自己是否有接触。

在一实施例中，所述体感互动系统还包括直播模块，用于通过实时流传输协议，将所述第二图像数据直播给局域网中的在线客户端；或将所述第二图像数据发送给第三方网络服务器；第三方网络服务器生成所述第二图像数据的互联网直播链接。

在局域网内直播时，实时数据流服务器检测是否有客户端连接于该服务器，以及是否有播放请求，在检测到有客户端连接，并接收到播放请求时，通过实时流传输协议，将所述第二图像数据发送给局域网在线客户端。所述客户端可以是各种支持RTSP的播放器，如PC机、平板电脑、智能手机等。客户端在接收到实时流服务器传来的第二图像数据后，进行解码即可进行播放，其中的音频数据解码后，通过扬声器播放演唱者演唱的声音及伴奏。

在互联网直播时，实时数据流服务器通过实时流传输协议，将所述第二图像数据发送给第三方网络服务器，由第三方网络服务器生成所述第二图像数据的直播链接。客户端通过点击所述直播链接，即可获取所述第二图像数据的实时数据流，并通过解码播放。

在一些实施例中，所述体感互动系统还包括互动模块，用于实时接收第一终端发送的互动指令，以及根据所述互动指令，实时更新第二对象的轮廓，和/或第二对象在虚拟场景中的位置。在不同的实施例中，所述第一终端通过计算机网络发送互动指令，用户可以通过触发互动指令与玩游戏主播一起参与游戏互动。例如，在以上所述的躲避小鸟的体感游戏中，游戏中的小鸟可以由互联网在线用户触发起飞，或小鸟的飞行轨迹由互动指令进行控制，体 感游戏中，由直播在线用户和游戏玩家共同参与进行游戏。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。

本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以 产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。