群体对象状态采集方法、装置与演出控制系统与流程

1.本技术涉及图像数据处理技术领域，特别是涉及一种群体对象状态采集方法、装置与演出控制系统。


背景技术：

2.随着人们生活水平提高，演唱会、晚会与沉浸式展厅等演出的举办频次越来越多，观看的人也与日俱增。同时，对于演出的举办方来说，为了招揽更多的观看者，对于演出显示效果、观众互动感与满意度的要求也越来越高。
3.目前来说，并未有合适的方式来对演出时的效果与观众满意度进行采集，一般只是在演出结束后通过问卷或主动询问等方式进行事后调查，如何实时掌握观众对演出及互动效果的反应，是目前亟待解决的问题。


技术实现要素：

4.基于此，有必要针对目前无法实时掌握观众对演出及互动效果的反应技术问题，提供一种群体对象状态采集方法、装置与演出控制系统。
5.第一方面，本技术提供了一种群体对象状态采集方法。所述方法包括：
6.获取演出现场的群体对象图像数据，并对所述群体对象图像数据进行人形提取，得到多个人形图像数据；
7.对所述多个人形图像数据进行动作识别，得到各所述人形图像数据的动作类型；
8.根据各所述动作类型及其对应的预设热力值，确定所述演出现场的热力数据；所述热力数据用于表征所述演出现场的群体对象状态。
9.在其中一个实施例中，所述根据各所述动作类型及其对应的预设热力值，确定所述演出现场的热力数据，包括：
10.确定各所述动作类型的数量；
11.根据各所述动作类型的数量与其对应的预设热力值的乘积，得到所述演出现场的热力数据。
12.在其中一个实施例中，所述动作类型包括大动作类型、小动作类型与微动作类型；所述对各所述人形图像数据进行动作识别，得到各所述人形图像数据的动作类型，包括：
13.对各所述人形图像数据进行人脸识别，得到各所述人形图像数据的微动作类型；
14.对各所述人形图像数据进行行为识别，得到各所述人形图像数据的大动作类型与小动作类型。
15.在其中一个实施例中，所述根据各所述动作类型及其对应的预设热力值，确定所述演出现场的热力数据，包括：
16.根据各所述微动作类型及其对应的预设热力值、微动作类型权重、各所述小动作类型及其对应的预设热力值、小动作类型权重、各所述大动作类型及其对应的预设热力值、大动作类型权重，确定所述演出现场的热力数据。
17.在其中一个实施例中，在所述获取演出现场的群体对象图像数据，并对所述群体对象图像数据进行人形提取，得到多个人形图像数据之后，所述方法还包括：
18.对各所述人形图像数据进行人脸识别，得到各所述人形图像的年龄数据。
19.在其中一个实施例中，所述根据各所述动作类型及其对应的预设热力值，确定所述演出现场的热力数据，包括：
20.根据各所述动作类型及其对应的预设热力值以及各所述人形图像的年龄数据所属年龄区间，确定所述演出现场各年龄区间对应的热力数据。
21.在其中一个实施例中，所述根据各所述动作类型及其对应的预设热力值，确定所述演出现场的热力数据，包括：
22.根据所述演出现场各区域的动作类型及其对应的预设热力值，确定所述各区域对应的热力数据；其中，所述各区域的动作类型根据对应区域获取的群体对象图像数据得到。
23.在其中一个实施例中，在所述根据各所述动作类型及其对应的预设热力值，确定所述演出现场的热力数据之后，所述方法还包括：
24.在所述热力数据小于预设热力数据阈值时，发送参数调整指令至演出设备，调整所述演出设备的演出播放参数来提高所述演出现场的热力数据。
25.第二方面，本技术还提供了一种群体对象状态采集装置。所述装置包括：
26.图像数据获取模块，用于获取演出现场的群体对象图像数据，并对所述群体对象图像数据进行人形提取，得到多个人形图像数据；
27.动作类型识别模块，用于对所述多个人形图像数据进行人脸与行为识别，得到各所述人形图像数据的动作类型；
28.热力数据确定模块，用于根据各所述动作类型及其对应的预设热力值，确定所述演出现场的热力数据；所述热力数据用于表征所述演出现场的群体对象状态。
29.第三方面，本技术还提供了一种演出控制系统。所述演出控制系统包括图像采集设备、控制器与演出设备，所述控制器连接所述图像采集设备与所述演出设备，所述控制器用于按照上述的方法实现演出现场的群体对象状态采集。
30.上述群体对象状态采集方法、装置与演出控制系统，通过获取演出现场的群体对象图像数据，并对群体对象图像数据进行人形提取，得到多个人形图像数据，再对多个人形图像数据进行动作识别，得到各人形图像数据的动作类型，最后根据各动作类型及其对应的预设热力值，确定演出现场的热力数据，可实现实时掌握观众对演出及互动效果的反应，进而用于实时调整演出设备的演出播放参数，增强现场显示及互动效果。
附图说明
31.图1为一个实施例中演出控制系统的系统框图；
32.图2为一个实施例中群体对象状态采集方法的流程示意图；
33.图3为一个实施例中确定热力数据步骤的流程示意图；
34.图4为一个实施例中确定各动作类型的流程示意图；
35.图5为一个实施例中群体对象状态采集装置的结构框图；
36.图6为另一个实施例中演出控制系统的系统框图；
37.图7为一个实施例中演出控制系统的原理流程示意图；
38.图8为一个实施例中计算机设备的内部结构图。
具体实施方式
39.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
40.本技术实施例提供的群体对象状态采集方法，可以应用于如图1所示的演出控制系统中。参照图1，演出控制系统包括图像采集设备110、控制器120与演出设备130，控制器120连接图像采集设备110，获取图像采集设备110采集的演出现场的群体对象图像数据，并对群体对象图像数据进行人形提取，得到多个人形图像数据；对多个人形图像数据进行动作识别，得到各人形图像数据的动作类型；根据各动作类型及其对应的预设热力值，确定演出现场的热力数据；热力数据用于表征演出现场的群体对象状态。进一步地，控制器120还与演出设备130连接，在热力数据小于预设热力数据阈值时，发送参数调整指令至演出设备130，调整演出设备的演出播放参数来提高演出现场的热力数据。其中，控制器120可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等，也可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
41.在一个实施例中，如图2所示，提供了一种群体对象状态采集方法，以该方法应用于图1中的控制器120为例进行说明，包括s200～s600，其中：
42.s200：获取演出现场的群体对象图像数据，并对群体对象图像数据进行人形提取，得到多个人形图像数据。
43.其中，演出现场为可根据本技术提供的群体对象状态采集方法进行演出控制的各类演出活动，例如可以是演唱会、晚会、音乐会及沉浸式展厅的现场等。群体对象可以理解为观看上述演出现场的观看者，群体对象图像数据即在演出进行过程中通过图像采集设备对观众席进行图像采集得到的图像数据。可以理解，本实施例提及的群体图像数据并不限定图像数量，可以是一张图像，也可以是多张图像，具体可根据设置的图像采集设备的数量确定。可根据演出现场的观众席面积进行划分，并合理设置图像采集设备的数量，确保采集到的群体对象图像数据尽可能多，例如观看者覆盖达到80％～90％，才能保证基于此群体对象图像数据确定的热力数据能精准反应演出现场观众的状态。
44.具体地，获取群体对象图像数据的方式并不唯一，可以是图像采集设备采集得到演出现场的群体对象图像数据后，直接发送至控制器；也可以是图像采集设备将演出现场的群体对象图像数据存储于其本地，控制器主动获取得到。
45.进一步地，需对采集得到的是群体对象图像数据进行人形提取，得到多张人形图像数据便于后续的动作识别。进行人形提取得到的人形图像的类型并不唯一，例如可以是人体整体的人形图像，也可以是人体手部或上半身等局部的人形图像，还可以是单独人脸的人脸图像。提取得到人形图像的数量可根据需要的人形图像的类型，以及群体对象图像数据中包含的对象数量确定。进行人形提取的方式可根据实际人形图像的类型确定，可采用图像数据处理技术领域常用的方式实现，例如图像分割等。
46.另外，在针对群体对象图像数据中的同一对象，提取得到不同类型的人形图像时，可将其通过同一对象编号进行标记，便于后续热力数据统计。
47.s400：对多个人形图像数据进行动作识别，得到各人形图像数据的动作类型。
48.具体地，在得到多个人形图像数据后，即可输入至动作识别模型，得到各人形图像数据的动作类型。可以理解，动作识别模型是以预设有动作类型标签的人形图像数据为训练样本，对基于图像分类算法构成的预设模型进行训练得到的。本技术对采用的图像分类或识别算法的类型与具体原理并不做限定，可根据本领域技术人员常用的方法实现即可。
49.进一步地，可得到人形图像数据对应的动作类型并不唯一，可根据演出现场的观众实际反应进行预设，例如可包括坐着、站立、跳跃、鼓掌、挥手、双臂下垂、双臂交叉在胸前、微笑、大笑与尖叫等常规反应动作，其他可能的动作类型不作一一赘述，应理解，只要能通过本技术实施例进行动作识别得到的动作类型，应均属于本技术的保护范围。
50.s600：根据各动作类型及其对应的预设热力值，确定演出现场的热力数据；热力数据用于表征演出现场的群体对象状态。
51.具体地，在预设得到不同的动作类型之后，可对应根据其实际反应程度进行分档，并对不同档次的动作类型进行预设热力值赋值，即预设该动作类型的基准热力值。其中，动作类型对应的档次与基准热力值可先根据经验值初步预设，在后续多次对演出现场的热力数据的确定过程中，可不断迭代调整，直至根据上述设定的动作类型对应的档次与基准热力值，确定得到的演出现场的热力数据与演出现场实际的反应情况相匹配。
52.例如，在本实施例中，可将“坐着”、“双臂下垂”、“双臂交叉在胸前”与“微笑”等动作类型设置为第一档次，对应的基准热力值为第一预设热力值；可将“站立”、“鼓掌”等动作类型设置为第二档次，对应的基准热力值为第二预设热力值；“跳跃”、“挥手”与“大笑”等动作类型设置为第三档次，对应的基准热力值为第三预设热力值；“尖叫”等动作类型设置为第四档次，对应的基准热力值为第四预设热力值。可以理解，上述动作类型对应的档次与预设热力值仅为举例说明，不作为限定，每个动作类型的档次与预设热力值可以相同，也可以不同。
53.进一步地，在s400得到实际采集的各人形图像数据的动作类型之后，即可根据各人形图像数据的动作类型与预设热力值，确定演出现场的热力数据。可以理解，预设热力值指的是每一动作类型的基准热力值，则演出现场的热力数据即所有动作类型的预设热力值的累计值。因此，在一个实施例中，如图3所示，s600包括s620～s640，其中：
54.s620：确定各动作类型的数量。其中，各动作类型指的是实际采集得到的各人形图像数据识别出来的动作类型，进而需确定每一类动作类型在这些人形图像数据中出现的次数。例如，根据某1张群体对象图像数据提取得到5个人形图像数据，然后从该5个人形图像数据中识别得到“坐着”、“鼓掌”“挥手”、“微笑”与“大笑”等5种动作类型，并统计得到“坐着”的次数出现5次，“鼓掌”的次数出现3次，“挥手”的次数出现2次，“微笑”的次数出现1次，“大小”的次数出现4次。
55.s640：根据各动作类型的数量与其对应的预设热力值的乘积，得到演出现场的热力数据。可以理解，将每个动作类型出现的次数与其对应的预设热力值进行乘积计算，就能得到所有动作类型的预设热力值的累计值，即演出现场的热力数据。
56.上述群体对象状态采集方法，通过获取演出现场的群体对象图像数据，并对群体对象图像数据进行人形提取，得到多个人形图像数据，再对多个人形图像数据进行动作识别，得到各人形图像数据的动作类型，最后根据各动作类型及其对应的预设热力值，确定演
出现场的热力数据，可实现实时掌握观众对演出及互动效果的反应，进而用于实时调整演出设备的演出播放参数，增强现场显示及互动效果。
57.此外，在一个实施例中，在s200中，图像采集设备可以是按预设时间间隔采集演出现场的群体对象图像数据，进而控制器按预设时间间隔获取得到演出现场的群体对象图像数据后，可得到不同时刻对应的演出现场的热力数据，进而绘制得到随时间变化的热力值曲线。进而可根据此热力值曲线的最高位置或阶段确定演出现场的亮点时刻，并根据此亮点时刻对应的演出内容与演出设备的演出播放参数，给后续的演出以指导意见。其中，预设时间间隔可根据实际需求设置，不做限定，例如本实施例选取为10s。
58.在一个实施例中，在s600之后，方法还包括：在热力数据小于预设热力数据阈值时，发送参数调整指令至演出设备，调整演出设备的演出播放参数来提高演出现场的热力数据。
59.具体地，预设热力数据阈值可以理解为观众对演出现场的反应较低迷时对应的热力数据，也可以理解为演出举办方对演出现场的观众反应的热力数据期待值，可用于作为阈值判断是否需要对演出设备的演出播放参数进行调整，以提高现场观众对于演出的关注程度，即热力数据。预设热力数据阈值可根据实际经验值进行设定，本实施例不作限定。
60.进一步地，在确定的演出现场的热力数据小于预设热力数据阈值时，发出的参数调整指令的类型并不唯一，可根据演出设备的具体结构确定。例如，在演出设备中也具备单独的控制模块时，参数调整指令可以是发送至其控制模块的控制信号，以使演出设备的控制模块根据控制信号调整演出设备的演出播放参数。在演出设备仅具备相关执行机构时，参数调整指令可以是直接用于控制演出设备调整演出播放参数的控制指令。另外，参数调整指令的具体内容并不唯一，可根据演出设备可供调整的演出播放参数类型确定。例如，在本实施例中，演出设备可包括演出用的灯光设备、音响设备、视频播放设备以及3d投影设备等，对应地，可供调整的演出播放参数类型可包括画面清晰度、对比度、音量、灯光模式以及3d投影模式等。则参数调整指令的内容可以是用于调整上述任意一种或多种演出播放参数的指令。
61.更进一步地，在发送参数调整指令至演出设备，调整演出设备的演出播放参数后，可返回重新执行s200～s600，获取演出现场的群体对象图像数据并确定演出现场的热力数据，并根据此重新获得的热力数据判断热力数据是否提高，并继续与预设热力数据阈值对比判断，是否需要继续对演出设备的演出播放参数进行调整，依次循环，直至热力数据提升至演出举办方对演出现场的观众反应的热力数据期待值或更高，则对应保持此时的演出播放参数不变。
62.可以理解，为了更精准的确定各人形图像数据的动作类型，进而准确估计演出现场的热力数据，s400中用于得到各人形图像数据的动作类型可基于人形图像的类型进行分类。例如，在一个实施例中，动作类型包括大动作类型、小动作类型与微动作类型。具体地，大动作类型可以是基于人体整体的人形图像识别得到，小动作类型可以是基于人体手部或上半身等局部的人形图像识别得到，微动作类型可以是基于单独人脸的人脸图像识别得到。
63.此外，为了更精准的确定各人形图像数据的动作类型，进而准确估计演出现场的热力数据，s400中用于得到各人形图像数据的动作类型的动作识别模型也可以基于人形图
像的类型不同进行区分，例如，人体整体的人形图像对应的动作类型采用一个预设的动作识别模型实现识别，人体手部或上半身等局部的人形图像对应的动作类型采用一个预设的动作识别模型实现识别，单独人脸的人脸图像对应的动作类型采用一个预设的动作识别模型实现识别。在其他实施例中，还可以是将单独人脸的人脸图像对应的动作类型采用一个单独的预设动作识别模型实现识别，人体整体的人形图像与人体手部或上半身等局部的人形图像对应的动作类型，采用另一个单独的预设动作识别模型实现识别。
64.在一个实施例中，如图4所示，s400包括s420～s440，其中：
65.s420：对各人形图像数据进行人脸识别，得到各人形图像数据的微动作类型。
66.其中，微动作类型可理解为通过对人脸面部特征综合判断得到的微表情，例如，面带微笑、大笑与尖叫等。
67.具体地，在得到多个单独人脸的人脸图像后，可分别将其输入至第一预设动作识别模型进行人脸识别，得到各单独人脸的人脸图像的微动作类型。可以理解，第一预设动作识别模型是以预设有微动作类型标签的人脸图像数据为训练样本，对基于图像分类算法构成的预设模型进行训练得到的。其中，预设有微动作类型标签的人脸图像数据，可根据人脸微表情数据库、人脸多角度光照表情数据库、面部遮挡姿态、活体检测数据等多项脸部表情数据库综合得到，并进行分类与打标签。此外，可以理解，预设有微动作类型标签的人脸图像数据中还包括各对象面部平静时的人脸图像数据，可通过在演出入场时进行人脸采集得到。
68.s440：对各人形图像数据进行行为识别，得到各人形图像数据的大动作类型与小动作类型。
69.其中，大动作类型为对人体整体的人形图像进行行为识别得到的动作类型，例如，人体站立、坐下与跳跃等。小动作类型为对人体手部或上半身等局部的人形图像进行识别得到的动作类型，例如，鼓掌、挥手等。
70.具体地，在得到多个人体整体的人形图像，或人体手部或上半身等局部的人形图像后，可分别将其输入至第二预设动作识别模型进行行为识别，得到各人形图像数据的大动作类型与小动作类型。可以理解，第二预设动作识别模型是以预设有大动作类型与小动作类型标签的人形图像数据为训练样本，对基于图像分类算法构成的预设模型进行训练得到的。其中，预设有大动作类型与小动作类型标签的人形图像数据，可根据多项人体动作数据库综合得到，并进行分类与人为打标签。
71.在一个实施例中，s600包括：根据各微动作类型及其对应的预设热力值、微动作类型权重、各小动作类型及其对应的预设热力值、小动作类型权重、各大动作类型及其对应的预设热力值、大动作类型权重，确定演出现场的热力数据。
72.具体地，微动作类型权重、小动作类型权重与大动作类型权重为分类后的各动作类型对应的权重因子，表征各类动作类型在确定得到演出现场的热力数据时的重要程度，可根据实际情况设置。例如，在本实施例中，可设定大动作类型权重为最高，可设置为50％，小动作类型权重次之，可设置为30％，微动作类型的权重最低，可设置为20％。
73.进一步地，可先根据各微动作类型及其对应的预设热力值，确定第一热力数据；再根据各小动作类型及其对应的预设热力值，确定第二热力数据；然后在根据各大动作类型及其对应的预设热力值，确定第三热力数据。可以理解，上述三个热力数据的确定过程与
s620～s640一致，不作赘述。最后，将第一热力数据与微动作类型权重的乘积、第二热力数据与小动作类型权重的乘积以及第三热力数据与大动作类型权重的乘积，累加起来即可基于各权重因子确定最终的演出现场的热力数据。
74.在本实施例中，在对各动作类型根据图像数据来源进行精细分类与权重区分之后，可提高演出现场的热力数据的计算准确性。
75.在一个实施例中，在s200之后，方法还包括：对各人形图像数据进行人脸识别，得到各人形图像的年龄数据。具体地，在获取得到演出现场的群体对象图像数据并提取得到单独人脸的人脸图像后，即可基于此单独人脸的人脸图像进行面部特征识别，例如，可基于对人脸中的眼角下垂程度、眼间距、嘴角下垂程度与面部皱纹等特征进行综合判断，得到该单独人脸的人脸图像对应的年龄数据。
76.在一个实施例中，s600包括：根据各动作类型及其对应的预设热力值以及各人形图像的年龄数据所属年龄区间，确定演出现场各年龄区间对应的热力数据。具体地，由于在针对群体对象图像数据中的同一对象，提取得到不同类型的人形图像会通过同一对象编号进行标记，则对应可将此年龄数据与该对象编号其他的动作类型进行一一绑定。进一步地，在根据此对象编号的各动作类型及其对应的预设热力值得到的热力数据后，即可根据其年龄数据所属年龄区间将热力数据汇总至对应年龄区间的热力数据中，进而确定演出现场各年龄区间对应的热力数据。
77.可以理解，演出现场各年龄区间对应的热力数据可用于掌握不同年龄段对于演出节目的关注度与反应情况。还可针对各年龄区间对应的热力数据设置不同的预设热力数据阈值来进行判断，进而根据不同的参数调整策略来发送参数调整指令至演出设备，针对性提高对应年龄区间的热力数据。
78.在一个实施例中，s600包括：根据演出现场各区域的动作类型及其对应的预设热力值，确定各区域对应的热力数据；其中，各区域的动作类型根据对应区域获取的群体对象图像数据得到。
79.具体地，s200中获取的群体对象图像数据可以按演出现场的不同区域划分采集得到并进行达标，进而根据同一区域内的群体对象图像数据，得到演出现场各区域的动作类型，然后结合每一动作类型对应的预设热力值，确定各区域对应的热力数据。
80.可以理解，演出现场各区域对应的热力数据可用于掌握演出现场不同区域的观众对于演出节目的关注度与反应情况，进一步可针对不同区域的演出播放参数进行调整，以针对性提高该区域的热力数据。
81.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
82.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的群体对象状态采集方法的群体对象状态采集装置。该装置所提供的解决问题的实现方案与上述方
法中所记载的实现方案相似，故下面所提供的一个或多个群体对象状态采集装置实施例中的具体限定可以参见上文中对于群体对象状态采集方法的限定，在此不再赘述。
83.在一个实施例中，如图5所示，提供了一种群体对象状态采集装置，包括图像数据获取模块510、动作类型识别模块520与热力数据确定模块530，其中：
84.图像数据获取模块510，用于获取演出现场的群体对象图像数据，并对群体对象图像数据进行人形提取，得到多个人形图像数据；
85.动作类型识别模块520，用于对多个人形图像数据进行人脸与行为识别，得到各人形图像数据的动作类型；
86.热力数据确定模块530，用于根据各动作类型及其对应的预设热力值，确定演出现场的热力数据；热力数据用于表征演出现场的群体对象状态。
87.在本实施例中，通过获取演出现场的群体对象图像数据，并对群体对象图像数据进行人形提取，得到多个人形图像数据，再对多个人形图像数据进行动作识别，得到各人形图像数据的动作类型，最后根据各动作类型及其对应的预设热力值，确定演出现场的热力数据，可实现实时掌握观众对演出及互动效果的反应，进而用于实时调整演出设备的演出播放参数，增强现场显示及互动效果。
88.在一个实施例中，热力数据确定模块530，还用于确定各动作类型的数量；根据各动作类型的数量与其对应的预设热力值的乘积，得到演出现场的热力数据。
89.在一个实施例中，动作类型包括大动作类型、小动作类型与微动作类型；动作类型识别模块520，还用于对各人形图像数据进行人脸识别，得到各人形图像数据的微动作类型；对各人形图像数据进行行为识别，得到各人形图像数据的大动作类型与小动作类型。
90.在一个实施例中，热力数据确定模块530，还用于根据各微动作类型及其对应的预设热力值、微动作类型权重、各小动作类型及其对应的预设热力值、小动作类型权重、各大动作类型及其对应的预设热力值、大动作类型权重，确定演出现场的热力数据。
91.在一个实施例中，装置还包括年龄数据识别模块，用于对各人形图像数据进行人脸识别，得到各人形图像的年龄数据。
92.在一个实施例中，热力数据确定模块530，还用于根据各动作类型及其对应的预设热力值以及各人形图像的年龄数据所属年龄区间，确定演出现场各年龄区间对应的热力数据。
93.在一个实施例中，热力数据确定模块530，还用于根据演出现场各区域的动作类型及其对应的预设热力值，确定各区域对应的热力数据；其中，各区域的动作类型根据对应区域获取的群体对象图像数据得到。
94.在一个实施例中，装置还包括演出参数调整模块，用于在热力数据小于预设热力数据阈值时，发送参数调整指令至演出设备，调整演出设备的演出播放参数来提高演出现场的热力数据。
95.上述群体对象状态采集装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
96.在一个实施例中，如图1所示，提供了一种演出控制系统，包括图像采集设备110、
控制器120与演出设备130，控制器120连接图像采集设备110与演出设备130，控制器120用于按照上述任一实施例中描述的方法实现演出现场的群体对象状态采集。
97.具体地，控制器120获取图像采集设备110采集的演出现场的群体对象图像数据，并对群体对象图像数据进行人形提取，得到多个人形图像数据；对多个人形图像数据进行动作识别，得到各人形图像数据的动作类型；根据各动作类型及其对应的预设热力值，确定演出现场的热力数据；热力数据用于表征演出现场的群体对象状态。
98.进一步地，控制器120还在热力数据小于预设热力数据阈值时，发送参数调整指令至演出设备130，调整演出设备的演出播放参数来提高演出现场的热力数据。
99.在本实施例中，通过获取演出现场的群体对象图像数据，并对群体对象图像数据进行人形提取，得到多个人形图像数据，再对多个人形图像数据进行动作识别，得到各人形图像数据的动作类型，最后根据各动作类型及其对应的预设热力值，确定演出现场的热力数据，可实现实时掌握观众对演出及互动效果的反应，进而用于实时调整演出设备的演出播放参数，增强现场显示及互动效果。
100.该演出控制系统所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故本技术所提供的一个或多个演出控制系统实施例中的具体限定可以参见上文中对于群体对象状态采集方法的限定，在此不再赘述。
101.在一个实施例中，以图6与图7所示的流程图为例，对本技术所提供的演出控制系统的实现原理进行解释说明。
102.具体地，第一终端(图像采集设备)采集到包括人脸图像及人体动作的图像数据后，反馈至计算机设备(控制器)内的人脸识别模块与动作信息识别模块。其中，第一终端可以是摄像机或相机。第一终端的安装位置可根据节目现场面积进行划分，确保每个摄像头能采集到所监测区域的所有人员的面部及动作信息。其中，人员的面部与动作信息还可以是分为两个第一终端分别采集得到的。例如将现场等分成n个区域，在每个区域设置2个摄像头，分别用于捕捉该区域观众的面部表情和肢体动作。可以理解，摄像头每隔t秒拍摄一张照片，并传递回计算机设备进行识别和分析。例如，摄像头每隔10秒采集一次。
103.进一步地，人脸识别模块对采集到的人脸图像的特征进行分析，判定被采集人员的年龄，并对人群按年龄段进行划分，得到不同年龄组，例如(0，10]、(10，20]
…
。判断得到年龄的方式可根据人员面部特征进行综合判断，例如，根据眼角下垂程度、眼间距、嘴角下垂程度、面部皱纹等特征进行综合判断。
104.在节目未开始前可采集录入单个个体的人形矩阵及脸部舒展度矩阵作为静态对比，节目开始后采集单个个体的人形图像数据、人脸图像数据及手部肩部等局部人形图像数据，动作信息识别模块对上述图像数据进行动作分析。首先根据动作幅度将人体动作分为大动作、小动作、微动作，以目标对象为基础根据动作类型对热力值赋值，在数据库中找到各动作类型对应的预设热力值，再根据各动作类型的数量、动作幅度权重与预设热力值，计算得到每个年龄段的热力数据的累积总值或平均值。
105.进而，控制器可根据热力数据，掌握不同年龄段对节目的关注度及反应状况，并通过控制第二终端(演出设备)进行节目调整。同时，控制器还可以根据实时读取热力数据，建立时间-热力曲线，识别每个时段人群对节目的反应状况，科学计算出哪一时段的显示效果最吸引人，为提升节目互动感提供参考。
106.可以理解，上述实施例提及的计算机设备(控制器)可以是终端，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种群体对象状态采集方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
107.本领域技术人员可以理解，图8中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
108.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
109.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
110.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
111.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并
不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。