一种基于视频画面的人物窗格布局方法、装置和终端设备与流程

本发明涉及图像处理，尤其涉及一种基于视频画面的人物窗格布局方法、装置和终端设备。

背景技术：

1、在视频会议系统中，静态布局是指固定的画面布局，即画面中的参与者位置是固定的，不能自动调整或改变。这种布局方式通常需要手动调整画面布局或者预先设置好画面布局，缺乏自动化调整和布局的功能。

2、目前常采用画廊模式实现对画面中的人物进行布局和展示，其是一种特殊的视频画面布局模式，主要用于在视频画面中展示人物或其他对象。它基于自动裁剪(autoframing)技术，可以将画面中的人物或其他对象裁剪出来，再重新布局，以获得人物展示更加清晰且画面显示更加简洁的效果。但是现有技术中在处理多人画面时，由于需要手动调整人物的位置或使用静态布局，从而缺乏自动化调整人物布局的功能，即不能根据现场人数实现自动调整人物布局和画面展示，导致会议系统的智能化水平较低，使其在多人会议场景下不能提供观感较好的人物展示画面。

技术实现思路

1、本发明实施例提供了一种基于视频画面的人物窗格布局方法、装置和终端设备，能有效解决现有技术中不能根据现场人数实现自动调整人物布局和画面展示，导致会议系统的智能化水平较低，使其在多人会议场景下不能提供观感较好的人物展示画面的问题。

2、本发明一实施例提供了一种基于视频画面的人物窗格布局方法，包括：

3、获取视频会议对应的视频画面；

4、将视频画面中的人像进行裁剪以及提取后，生成若干人像；

5、判断所述人像的总个数是否小于或等于第一预设个数，若是，则根据所述总个数生成具有单层布局的人物窗格；其中，所述第一预设个数用于指示上层布局的最大窗格数；所述人物窗格用于展示人像；

6、若否，则根据所述总个数生成具有双层布局的人物窗格。

7、优选地，在生成若干人像之后，在生成人物窗格之前，还包括：

8、对于每一人像，对人像中的人脸进行识别，得到目标人脸；

9、根据所述目标人脸的中心坐标、目标人脸的人脸宽度以及目标人脸的人脸高度，生成人物标记框；其中，所述人物标记框的高度为人脸高度，所述人物标记框的宽度为人脸宽度与第一预设倍数的乘积，所述人物标记框的中心为所述目标人脸的中心。

10、优选地，在生成人物窗格后，还包括：

11、根据每一人像的人物标记框的高度以及宽度，调整对应的人物标记框在人物窗格中的位置，生成更新后的人物窗格；

12、将更新后的人物窗格进行显示；

13、其中，在判定所述人像的总个数小于或等于第一预设个数，则所述更新后的人物窗格中人脸的中心在第一目标高度对应的高度线上；所述第一目标高度为所述人物窗格的高度与第二预设倍数的乘积；

14、在判定所述人像的总个数大于第一预设个数，则所述更新后的人物窗格中人脸的中心在第二目标高度对应的高度线上；所述第二目标高度为所述人物窗格的高度与第三预设倍数的乘积；所述第三预设倍数比所述第二预设倍数小。

15、优选地，还包括：

16、在检测到人物窗格中的人像移动时，判断人像移动后的人脸区域是否处于人物窗格中；

17、若是，则判断人像移动后的人脸区域是否处于所述人物标记框中，若处于所述人物标记框中，则不重新将视频画面中的人像进行裁剪以及提取；若不处于所述人物标记框中，则调整摄像头的镜头和云台，继而重新将视频画面中的人像进行裁剪以及提取，并将重新提取的人像在对应的人物窗格进行显示；

18、若否，则获取视频画面中人像的当前个数，并根据当前个数重新生成对应的人物窗格。

19、优选地，所述根据所述总个数生成具有双层布局的人物窗格，包括：

20、判断所述总个数是否为双数；

21、若总个数为双数，则生成具有双层布局，且上层布局的人数与下层布局的人数相等的人物窗格；

22、若总个数为单数，则生成具有双层布局，且上层布局的人数与下层布局的人数相差为第二预设个数的人物窗格；其中，所述第二预设个数小于所述第一预设个数。

23、优选地，在生成具有双层布局，且上层布局的人数与下层布局的人数相差为第二预设个数的人物窗格后，还包括：

24、将上层布局中的人物窗格依次排列后形成第一区域；

25、将下层布局中的人物窗格依次排列后形成第二区域；

26、将所述第二区域的中线与所述第一区域的中线对齐，得到最终的具有双层布局的人物窗格。

27、优选地，所述第二区域的左边界与第一区域的左边界的第一距离，与所述第二区域的右边界与第一区域的右边界的第二距离相等。

28、在上述的方法实施例的基础上，本发明对应提供了装置项实施例。

29、本发明一实施例提供了一种基于视频画面的人物窗格布局装置，包括：视频画面获取模块、人像提取模块以及人物窗格生成模块；

30、所述视频画面获取模块，用于获取视频会议对应的视频画面；

31、所述人像提取模块，用于将视频画面中的人像进行裁剪以及提取后，生成若干人像；

32、所述人物窗格生成模块，用于判断所述人像的总个数是否小于或等于第一预设个数，若是，则根据所述总个数生成具有单层布局的人物窗格；其中，所述第一预设个数用于指示上层布局的最大窗格数；所述人物窗格用于展示人像；

33、若否，则根据所述总个数生成具有双层布局的人物窗格。

34、在上述的方法实施例的基础上，本发明对应提供了终端设备项实施例。

35、本发明另一实施例提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的一种基于视频画面的人物窗格布局方法。

36、在上述的方法实施例的基础上，本发明对应提供了存储介质项实施例。

37、本发明另一实施例提供了一种存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述发明实施例所述的一种基于视频画面的人物窗格布局方法。

38、通过实施本发明具有如下有益效果：

39、本发明实施例提供了一种基于视频画面的人物窗格布局方法、装置和终端设备，所述方法包括：获取视频会议对应的视频画面；将视频画面中的人像进行裁剪以及提取后，生成若干人像；判断所述人像的总个数是否小于或等于第一预设个数，若是，则根据所述总个数生成具有单层布局的人物窗格；其中，所述第一预设个数用于指示上层布局的最大窗格数；所述人物窗格用于展示人像；若否，则根据所述总个数生成具有双层布局的人物窗格。与现有技术相比，本发明在将视频画面中的人像进行裁剪以及提取，从而生成若干人像后，可以根据所有人像的个数，进行人物窗格的不同布局；具体的，首先判断所述人像的总个数是否小于或等于第一预设个数，若是则根据所述总个数直接生成具有单层布局的人物窗格，即无需进行双层布局且无需进行人物窗格的布局调整，提高了人物窗格的布局生成效率；若所述人像的总个数大于第一预设个数，说明其需要进行双层布局，则生成具有双层布局的人物窗格，从而实现更好的布局观感。因此，本发明可以根据不同人像的个数，得到不同人物窗格对应的布局，即本发明可以使得布局调整更加合理化，能根据现场会议的人数实现自动调整人物窗格的布局，以实现更加人性化且用户观感更好的画面展示，提高了会议系统的智能化水平，使其在多人会议场景下能够提供合理的人物布局且观感更好的人物展示画面