一种应用于虚拟现实的人体姿态识别与交互方法及系统与流程

本发明涉及计算机，具体而言，涉及一种应用于虚拟现实的人体姿态识别与交互方法及系统。

背景技术：

1、目前，由于在直播间进行虚拟场景的设置已经十分普遍，而对于虚拟现实的交互通常采用对现实物体进行虚拟的形状来进行交互，但这样的交互通常需要预虚拟物体相同或相似的物体进行交互，不相似的物体不容易进行交互。如通过选择旋转按钮对收音机进行调试，一般情况下需要在现实物体有旋转按钮的一厕进行交互，但是由于在虚拟场景的构建中，为了使得虚拟形象的构建能够接近于不同的尺寸和型号，而虚拟按钮和现实按钮会产生不一样的情况，所以需要在这个情况下，对虚拟现实进行交互。

技术实现思路

1、本发明的目的在于提供了一种应用于虚拟现实的人体姿态识别与交互方法及系统，用以解决现有技术中存在的上述问题。

2、第一方面，本发明实施例提供了一种应用于虚拟现实的人体姿态识别与交互方法，包括：

3、获取双目摄像机拍摄的多组拍摄图像；每组拍摄图像包含两张拍摄图像；所述拍摄图像为包含人体的图像；

4、将两张拍摄图像分别进行校正，校正后进行像素点匹配，得到人体深度图；所述人体深度图表示记录双目摄像机到场景中各点的距离；

5、根据所述人体深度图，构建虚拟场景；所述虚拟场景为虚拟的物体代替真实的物体的场景；

6、基于所述人体深度图，进行人体轮廓识别，得到人体轮廓图；多组拍摄图像对应获取多个人体深度图和多个人体轮廓图；

7、根据人体轮廓图和虚拟场景，判断人体是否接触可交互的物体；

8、若人体接触可交互的物体的连续时间长度大于接触阈值，根据多个人体深度图和人体轮廓图，判断多个时间点的人体姿态变化，得到姿态类型；

9、若人体接触可交互的物体，根据所述姿态类型，进行交互。

10、可选的，所述若人体接触可交互的物体的连续时间长度大于接触阈值，根据多个人体深度图和人体轮廓图，判断多个时间点的人体姿态变化，得到姿态类型，包括：

11、根据所述人体轮廓图，通过人体关键点网络，得到人体关键点信息；所述人体关键点信息包括多个人体关键点的位置和标号；

12、将所述人体关键点根据标号进行连接，得到整体人体姿态；

13、根据相邻时间点的两个人体轮廓图的重心，将人两个人体轮廓图进行重合；

14、采用整体人体姿态替代对应的人体轮廓图中人体，通过计算豪斯多夫距离作为整体相似值；

15、若所述整体相似值大于整体相似阈值且对应的整体姿态类型相同，根据所述人体关键点信息和人体深度图，得到手势姿态类型；

16、若所述手势姿态类型相同，将所述整体人体姿态和手势姿态类型作为姿态类型。

17、可选的，所述若所述整体相似值大于整体相似阈值且对应的整体姿态类型相同，根据所述人体关键点信息和人体深度图，得到手势姿态类型，包括：

18、根据所述人体关键点信息中的标号，设置位置框，提取人体深度图中位置框的图像，得到手势图像；

19、根据所述手势图像，通过边缘检测算法，得到手势轮廓；

20、根据所述手势图像，进通过手势粗分类网络，进行粗分类，得到大体手势类别；所述大体手势类别包括握拳、张开和伸出指节；

21、多个时间点对应多个手势图像、多个手势轮廓和多个大体手势类别；

22、基于所述大体手势类别、手势轮廓图像和手势图像，通过手势判别网络，得到手势姿态类型。

23、可选的，所述基于所述大体手势类别、手势轮廓图像和手势图像，通过手势判别网络，得到手势姿态类型，包括：

24、所述手势判别网络包括时间卷积网络和手势相似网络；

25、将多个时间点的大体手势类别，判断是否为循环变化手势或不变化手势；

26、若为循环变化手势或不变化手势，根据循环中同一次序，将所述多个时间点的手势轮廓图像和手势图像分别放入手势轮廓集合和多个手势集合；

27、将多个时间点的手势轮廓图像输入时间卷积网络，获取手势轮廓的变化情况，得到变化手势姿态类型；

28、将多个手势集合中的图像输入手势相似网络，进行相似判断，得到手势相似值；

29、若所述手势相似值大于手势相似阈值，将变化手势姿态类型设为手势姿态类型。

30、可选的，所述将多个手势集合中的图像输入手势相似网络，进行相似判断，得到手势相似值，包括：

31、所述手势相似网络包括第一手势提取网络、第二手势提取网络和判别网络；

32、获取第一手势图像和第二手势图像；所述第二手势图像为第一手势图像相邻时间点的手势图像；所述第二手势图像获取时间点早于第一手势图像的时间点；

33、将所述第一手势图像输入第一手势提取网络，提取第一手势图像特征，得到第一手势特征；

34、将所述第二手势图像输入第二手势提取网络，提取第二手势图像特征，得到第二手势特征；

35、将所述第一手势特征和第二手势特征输入判别网络，得到判别值；

36、将判别值减去0.5的绝对值设为手势相似值。

37、可选的，所述人体关键点网络，包括：

38、获得训练集；所述训练集包括多个训练图像和多个标注数据；所述训练图像包括训练人体图像和训练人体轮廓图像；所述标注数据包括标记手、胳膊、头、躯干，双腿的位置和标号；

39、将所述训练人体图像输入第一人体关键点网络，提取人体特征，得到第一训练特征；

40、将所述训练人体轮廓图像输入第二人体关键点网络，提取人体姿态特征，得到第二训练特征；

41、将所述第一训练特征和第二训练特征进行融合，得到人体关键点输出值；

42、将所述人体关键点输出值与标注数据求取损失，训练人体关键点网络。

43、可选的，所述根据人体轮廓图和虚拟场景，判断人体是否接触可交互的物体，包括：

44、根据人体与现实固定物体在图像中的位置的距离，找到人体到双目摄像头的距离，第一人体距离；

45、将第一人体距离减去虚拟物体到双目摄像头的距离，求取绝对值，得到第一横距离；

46、根据所述虚拟场景中的可交互虚拟物体，找到交互物体之间平面的距离，得到第一纵距离；

47、基于所述第一横距离和第一纵距离通过勾股定理计算，得到第一物体距离；

48、根据第一人体距离，获取接触阈值；所述接触阈值小于第一人体距离；

49、若第一物体距离小于接触阈值，设人体可接触可交互的物体；

50、若第一物体距离大于或等于接触阈值，设人体未接触可交互的物体。

51、可选的，所述根据所述人体深度图，构建虚拟场景，包括：

52、获取虚拟物体信息；所述虚拟物体信息包括设置的物体的外观和位置；

53、获取现实场景图像；所述现实场景图像为双目摄像机拍摄的现实生活中物体的深度图；

54、根据物体在现实场景图像中的外观和位置，得到现实物体信息；

55、将虚拟物体信息替代所述现实场景图像中的现实物体信息，得到虚拟固定物体图像。

56、可选的，所述根据所述姿态类型和操作位置，判断人体是否交互，包括：

57、根据所述姿态类型获取对应的真实操作；

58、发送真实操作信号，控制真实物体进行反应。

59、第二方面，本发明实施例提供了一种应用于虚拟现实的人体姿态识别与交互系统，包括：

60、获取模块：获取双目摄像机拍摄的多组拍摄图像；每组拍摄图像包含两张拍摄图像；所述拍摄图像为包含人体的图像；

61、校正模块：将两张拍摄图像分别进行校正，校正后进行像素点匹配，得到人体深度图；所述人体深度图表示记录双目摄像机到场景中各点的距离；

62、虚拟场景构建模块：根据所述人体深度图，构建虚拟场景；所述虚拟场景为虚拟的物体代替真实的物体的场景；

63、人体轮廓识别模块：基于所述人体深度图，进行人体轮廓识别，得到人体轮廓图；多组拍摄图像对应获取多个人体深度图和多个人体轮廓图；

64、判别模块：根据人体轮廓图和虚拟场景，判断人体是否接触可交互的物体；

65、姿态模块：若人体接触可交互的物体的连续时间长度大于接触阈值，根据多个人体深度图和人体轮廓图，判断多个时间点的人体姿态变化，得到姿态类型；

66、交互模块：若人体接触可交互的物体，根据所述姿态类型，进行交互。

67、相较于现有技术，本发明实施例达到了以下有益效果：

68、本发明实施例还提供了一种应用于虚拟现实的人体姿态识别与交互方法和系统，所述方法包括：获取双目摄像机拍摄的多组拍摄图像；每组拍摄图像包含两张拍摄图像；所述拍摄图像为包含人体的图像；将两张拍摄图像分别进行校正，校正后进行像素点匹配，得到人体深度图；所述人体深度图表示记录双目摄像机到场景中各点的距离；根据所述人体深度图，构建虚拟场景；所述虚拟场景为虚拟的物体代替真实的物体的场景；基于所述人体深度图，进行人体轮廓识别，得到人体轮廓图；多组拍摄图像对应获取多个人体深度图和多个人体轮廓图；根据人体轮廓图和虚拟场景，判断人体是否接触可交互的物体；若人体接触可交互的物体的连续时间长度大于接触阈值，根据多个人体深度图和人体轮廓图，判断多个时间点的人体姿态变化，得到姿态类型；若人体接触可交互的物体，根据所述姿态类型，进行交互。

69、本发明解决了直播间虚拟拍摄中利用双目相机识别人体姿态并完成人和虚拟场景的交互。先判断人体与虚拟物体是否接触，再判断接触的部位是否怎得进行交互。因为若要进行交互，如旋转按钮，进行触碰等情况，会进行人体与虚拟轮廓之间的交互，在按钮、旋转等操作的情况，与人体姿态有关，如一个循环或者短时间停留的姿态，所以根据粗分类的手势的姿态，判断手势是否循环。因为手势轮廓图像中只包括手势的轮廓，而手势图像中不但包括手势的姿态变化情况还包括手的颜色形状等信息，所以将所述手势轮廓图像输入时间卷积网络，既减轻了网络负担，又能够准确的判断网络的变换情况。而采用将循环的手势图像输入手势相似网络，也能更好的对手势的相似性进行判断。

70、总而言之，本发明能够达到对虚拟物体进行交互而不对时间物体进行交互，但通过虚拟物体交互的整体姿态和手势姿态来获取对实际物体的操作信号，从而对实际物体进行交互，使得操作虚拟物体相当于操作于真实物体，而不考虑交互部件。