一种多维交互识别与棋牌游戏结合的AR互动系统及方法与流程

本发明公开的属于ar技术领域，具体为一种多维交互识别与棋牌游戏结合的ar互动系统及方法。

背景技术：

ar(augmentedreality)技术是指增强现实技术，具体来说是指利用计算机生成一种逼真的视、听、触和动等感觉的虚拟环境。ar可以算是vr(virtualreality)虚拟现实中的一个分支，不过略微不同的是vr的创造一个全新的虚拟世界，而ar则是强调虚实结合，棋牌元素游戏以其游戏成本底、玩法多样深受人们的喜爱，随着网络时代的发展，越来越多的人在电脑或手机中进行棋牌元素游戏，但相较于“多人围桌”的棋牌元素游戏方式，在电脑上进行棋牌元素游戏越来越受到人们的喜爱，但目前棋牌元素游戏大多采用鼠标和键盘操控，与玩家的交互性较差，另外用户长时间保持一定姿势对颈椎造成损伤等问题为此，我们提出了一种多维交互识别与棋牌游戏结合的ar互动系统及方法投入使用，以解决上述问题。

技术实现要素：

本发明的目的在于提供一种多维交互识别与棋牌游戏结合的ar互动系统及方法，以解决上述背景技术中提出的目前棋牌元素游戏大多采用鼠标和键盘操控，与玩家的交互性较差，另外用户长时间保持一定姿势对颈椎造成损伤等问题。

为实现上述目的，本发明提供如下技术方案：一种多维交互识别与棋牌游戏结合的ar互动系统及方法，包括服务器、主机、显示单元组和人体3d骨骼数据采集以及面部识别数据采集组，所述主机与所述服务器电性双向连接，所述主机与所述显示单元组电性输出连接，所述主机与所述人体3d骨骼数据采集以及面部识别数据采集组电性输入连接。

优选的，所述人体3d骨骼数据采集以及面部识别数据采集组包括1组或者多组人体数据采集设备，体感摄像设备或者普通摄像设备。

优选的，所述多维交互识别与棋牌游戏结合的ar互动系统的控制方法的具体步骤如下：

s1：利用人体3d骨骼数据采集以及面部识别数据采集组实时采集一个或多个用户的3d骨骼数据以及面部识别数据，并导入主机中的3d模型构建单元；

s2：主机中的3d模型构建单元根据s1中的数据重建用户的虚拟人物模型以及面部，并导入主机中的图形图像引擎；

s3：主机控制显示单元组将摄像头采集画面投放到对应的显示单元上，然后再将游戏场景的2d和3d元素画面(比如棋牌元素)叠加在摄像头画面上，以搭建虚拟现实游戏场景；

s4：主机将实时重建的人物3d模型以及面部3d模型投放到虚拟游戏场景中，并可以与虚拟游戏场景总的虚拟元素交互；

s5：将玩家在规定时间内操作棋牌元素的过程和游戏时间结束时的最终牌面按照统一规则进行比较，以计算出获胜玩家和分数的信息；

s6：利用显示单元组加载和显示与获胜玩家3d骨骼模型和失败玩家3d骨骼模型相匹配的2d和3d元素动画特效；

s7：对各玩家的积分进行结算并生成积分榜，同时在显示单元组将积分榜画面显示出来，并将玩家公开信息以及统计数据如分数等上传至远程服务器单元存储，远程服务器端根据上传数据推送广告，礼品，优惠券等数据信息返回到客户端显示；

优选的，所述步骤s4中主机将实时重建的人物3d模型以及面部3d模型投放到虚拟游戏场景中，并可以与虚拟场景中的虚拟棋牌元素交互。其具体步骤如下：

s41：玩家根据游戏场中散落的棋牌画面做出相应的棋牌抓取动作，人体3d骨骼数据采集以及面部识别数据采集组实时采集玩家用人体肢体，面部器官部位，手部操作棋牌元素的行为动作；

s42：主机根据s41中实时采集到数据提取出骨骼模型的时间空间数据，面部模型的时间空间数据以及手指模型的时间空间数据并输出到多维度人体交互识别引擎来处理；

s43：多维度人体交互识别引擎可以分为三个主要模块，体势识别引擎，面部表情识别引擎以及手势识别引擎，体势识别引擎，面部表情识别引擎以及手势识别引擎根据时间和空间数据信息识别出用户的各种自然交互动作以及该动作发生的空间起始时间与坐标，结束时间与坐标；

s44：主机将s43输出的交互动作空间坐标通过空间矩阵转换为摄像头采集画面中的平面坐标，从而使得摄像头采集到的真实场景中的玩家可以与叠加在其上虚拟场景中的虚拟棋牌元素进行无缝交互，并同时输出到显示单元中，并显示对应棋牌元素飞到对应玩家的头像下方，同时玩家向右挥手，玩家抓取的棋牌从反到正依次翻开，并进行大小比较，计算所抓取的棋牌得分；

优选的：所述步骤s43中多维度人体交互识别引擎的识别过程，其具体步骤如下：

s431：体势识别引擎识别人体的身高远近角度位置信息，四肢运动信息以及躯干所穿衣服颜色信息，这些信息在玩家移动的过程中可以更精准的定位是否是同一位玩家以及体势动作数据；

s432：面部表情识别引擎可以识别玩家的面部表情，并通过表情信息的判断来与ar场景元素进行交互和操作游戏流程；

s433：手势识别引擎是专门针对人体手掌五指的动作形态进行跟踪和识别从而与ar场景元素进行交互和操作游戏流程。

与现有技术相比，本发明的有益效果是：通过人体3d骨骼数据采集以及面部识别数据采集组拍摄采集玩家体态，手部，面部表情以及身高穿着等信息，并实时生成玩家的3d骨骼模型和面部模型；通过体势，手势和面部表情以及身高穿着等多维度信息来操作虚拟场景以及虚拟棋牌元素，既避免了目前棋牌类型游戏大多采用鼠标和键盘操控，与玩家的交互性较差，体验感不够好以及用户长时间保持一定姿势对颈椎造成损伤的问题，也改进了单一纬度人体交户识别的稳定性和鲁棒性不高的问题。

附图说明

图1为本发明客户端工作流程图；

图2为本发明服务端工作流程图；

图3为本发明客户端拓扑图；

图4为本发明服务端拓扑图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种技术方案：一种多维交互识别与棋牌游戏结合的ar互动系统及方法，用于提高玩家在进行棋牌元素游戏的交互性，请参阅图2，包括服务器、主机、显示单元组和人体3d骨骼数据采集以及面部识别数据采集组，主机与服务器电性双向连接，主机与显示单元组电性输出连接，主机与人体3d骨骼数据采集以及面部识别数据采集组电性输入连接，显示单元组包括1组或者多组显示设备包括液晶显示器，led屏幕以及投影机等，人体3d骨骼数据采集以及面部识别数据采集组包括1组或者多组人体数据采集设备，体感摄像设备或者普通摄像设备，请参阅图1，多维交互识别与棋牌游戏结合的ar互动系统的控制方法的具体步骤如下：

s1：利用人体3d骨骼数据采集以及面部识别数据采集组实时采集一个或多个用户的3d骨骼数据以及面部识别数据，并导入主机中的3d模型构建单元；

s2：主机中的3d模型构建单元根据s1中的数据重建用户的虚拟人物模型以及面部，并导入主机中的图形图像引擎；

s3：主机控制显示单元组将摄像头采集画面投放到对应的显示单元上，然后再将游戏场景的2d和3d元素画面(比如棋牌元素)叠加在摄像头画面上，以搭建虚拟现实游戏场景；

s4：主机将实时重建的人物3d模型以及面部3d模型投放到虚拟游戏场景中，并可以与虚拟游戏场景总的虚拟元素交互；

s5：将玩家在规定时间内操作棋牌元素的过程和游戏时间结束时的最终牌面按照统一规则进行比较，以计算出获胜玩家和分数的信息；

s6：利用显示单元组加载和显示与获胜玩家3d骨骼模型和失败玩家3d骨骼模型相匹配的2d和3d元素动画特效；

s7：对各玩家的积分进行结算并生成积分榜，同时在显示单元组将积分榜画面显示出来，并将玩家公开信息以及统计数据如分数等上传至远程服务器单元存储，远程服务器端根据上传数据推送广告，礼品，优惠券等数据信息返回到客户端显示；

步骤s4中主机将实时重建的人物3d模型以及面部3d模型投放到虚拟游戏场景中，并可以与虚拟场景中的虚拟棋牌元素交互。其具体步骤如下：

s41：玩家根据游戏场中散落的棋牌画面做出相应的棋牌抓取动作，人体3d骨骼数据采集以及面部识别数据采集组实时采集玩家用人体肢体，面部器官部位，手部操作棋牌元素的行为动作；

s42：主机根据s41中实时采集到数据提取出骨骼模型的时间空间数据，面部模型的时间空间数据以及手指模型的时间空间数据并输出到多维度人体交互识别引擎来处理；

s43：多维度人体交互识别引擎可以分为三个主要模块，体势识别引擎，面部表情识别引擎以及手势识别引擎，体势识别引擎，面部表情识别引擎以及手势识别引擎根据时间和空间数据信息识别出用户的各种自然交互动作以及该动作发生的空间起始时间与坐标，结束时间与坐标；

s44：主机将s43输出的交互动作空间坐标通过空间矩阵转换为摄像头采集画面中的平面坐标，从而使得摄像头采集到的真实场景中的玩家可以与叠加在其上虚拟场景中的虚拟棋牌元素进行无缝交互，并同时输出到显示单元中，并显示对应棋牌元素飞到对应玩家的头像下方，同时玩家向右挥手，玩家抓取的棋牌从反到正依次翻开，并进行大小比较，计算所抓取的棋牌得分；

步骤s43中多维度人体交互识别引擎的识别过程，其具体步骤如下：

s431：体势识别引擎识别人体的身高远近角度位置信息，四肢运动信息以及躯干所穿衣服颜色信息，这些信息在玩家移动的过程中可以更精准的定位是否是同一位玩家以及体势动作数据；

s432：面部表情识别引擎可以识别玩家的面部表情，并通过表情信息的判断来与ar场景元素进行交互和操作游戏流程；

s433：手势识别引擎是专门针对人体手掌五指的动作形态进行跟踪和识别从而与ar场景元素进行交互和操作游戏流程；

各玩家可以站在各组人体3d骨骼数据采集以及面部识别数据采集组的拍摄区域，人体3d骨骼数据采集以及面部识别数据采集组对个玩家的体态进行拍摄，并上传至对应的主机进行处理，构建相对应玩家的3d骨骼模型以及面部模型等信息，同时进行多维度人体交互识别来获取玩家的体势，面部表情和手势信息，在显示单元组将实时摄像头画面和虚拟棋牌场景画面叠加显示后，接着游戏运行，虚拟场景画面从上之下散落棋牌，玩家只需做出相应的棋牌抓取动作，人体3d骨骼数据采集以及面部识别数据采集组实时采集玩家的棋牌抓取的动作，主机根据实时采集到数据提取出骨骼模型的时间空间数据，面部模型的时间空间数据以及手指模型的时间空间数据并输出到多维度人体交互识别引擎来处理，主机中的面部表情识别引擎以及手势识别引擎根据时间和空间数据信息识别出用户的各种自然交互动作以及该动作发生的空间起始时间与坐标，结束时间与坐标，主机将输出的交互动作空间坐标通过空间矩阵转换为摄像头采集画面中的平面坐标，从而使得摄像头采集到的真实场景中的玩家可以与叠加在其上虚拟场景中的虚拟棋牌元素进行无缝交互，并同时输出到显示单元中，并显示对应棋牌元素飞到对应玩家的头像下方，同时玩家向右挥手，玩家抓取的棋牌从反到正依次翻开，并进行大小比较，计算所抓取的棋牌得分，并选取出得分最高的玩家为获胜玩家，同时将各玩家的得分，以及玩家微信id和微信头像，以及所拍的图片上传至服务器，最后通过显示器显示玩家得分榜。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。