一种自动导播装置

本发明涉及视频导播领域，特别涉及一种自动导播装置。

背景技术：

1、目前常态的个人直播大多依赖于单摄像头，普通的单摄像头仅能拍摄当前镜头所对准的画面，需要人工事先调整好其所拍摄的角度。更进一步的智能追踪单摄像头能够在有限范围内追踪目标并实现角度调整，但该设备的直播容易丢失目标。当目标超出限定角度，往往无法继续追踪目标，并且需等待人工对镜头角度进行调整。

2、此外，单摄像头直播设备，如手机等，也无法根据视角范围外的事件来进行角度调整。这些缺陷极大的影响了一场直播的流畅性和观赏性，使得在线观众无法及时获悉现场的情形，且导致直播人分心，无法集中注意力在直播内容上。因此，如何提高导播的灵活性是本领域技术人员亟需解决的技术问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种自动导播装置，解决了现有技术中导播角度无法及时调整、灵活性较低的技术问题。

2、为解决上述技术问题，本发明提供了一种自动导播装置，包括：

3、主摄像头1、云台特写摄像头2、机器视觉分析模块3、自动镜头导播模块4、镜头角度调整模块5、视频编码模块6、网络输出模块7和视频输出接口8；

4、所述主摄像头1和所述云台特写摄像头2均与所述机器视觉分析模块3连接；所述主摄像头1将采集的主播画面传输给所述机器视觉分析模块3；所述云台特写摄像头2将采集的物品展示画面传输给所述机器视觉分析模块3；所述机器分析模块3对接收到的所述主播画面和所述物品展示画面进行分析，得到语义分析结果；

5、所述自动镜头导播模块4的输入端与所述机器视觉分析模块连接3，接收所述语义分析结果，并计算直播视角；

6、所述镜头角度调整模块5与所述自动镜头导播模块4的输出端连接，根据所述直播视角获取目标视频信息；

7、所述视频编码模块6与所述镜头角度调整模块5的输出端连接，接收所述目标视频信息并进行编码，得到编码视频；

8、所述网络输出模块7与所述视频编码模块6的输出端连接，接收所述编码视频，并传输给所述视频输出接口8，所述视频输出接口8的输入端与所述网络输出模块7连接。

9、可选的，所述自动导播装置，还包括：

10、用于接收电子视频信息的外部视频接入模块9的输出端与所述机器视觉分析模块3连接。

11、可选的，所述自动导播装置，还包括：

12、左云台摄像头10，所述左云台摄像头10与所述机器视觉分析模块3连接，所述左云台摄像头(10)设置在主播左边，将采集的主播左边画面传输给所述机器视觉分析模块3。

13、可选的，所述自动导播装置，还包括：

14、右云台摄像头11，所述右云台摄像头11与所述机器视觉分析模块3连接，所述左云台摄像头设置在所述主播右边，将采集的主播右边画面传输给所述机器视觉分析模块。

15、可选的，所述自动导播装置，还包括：

16、第一升降支架12；所述第一升降支架12与所述左云台摄像头10连接。

17、可选的，所述自动导播装置，还包括：

18、第二升降支架13；所述第二升降支架13和所述右云台摄像头11连接。

19、本发明还提供了一种自动导播方法，应用于上述的自动导播装置，包括：

20、获取主播画面和物品展示画面；

21、调用视觉分析模型分别对所述主播画面和所述物品展示画面进行分析，得到主播语义分析结果和物品展示语义分析结果；

22、调用镜头导播计算模型对所述主播语义分析结果和所述物品展示语义分析结果进行加权计算，确定直播视角。

23、可选的，在所述调用视觉分析模型分别对所述主播画面和所述物品展示画面进行分析之前，还包括：

24、获取外部视频接入模块采集的电子视频画面、左云台摄像头采集的主播左边画面，以及右云台摄像头采集的主播右边画面；

25、相应的，所述调用视觉分析模型分别对所述主播画面和所述物品展示画面进行分析，得到主播语义分析结果和物品展示语义分析结果，包括：

26、调用所述视觉分析模型分别对所述主播画面、所述物品展示画面、

27、所述主播左边画面和所述主播右边画面进行分析，得到所述主播语义分析结果、所述物品展示语义分析结果、电子视频语义分析结果、主播左边语义分析结果和主播右边语义分析结果。

28、可选的，所述调用视觉分析模型分别对所述主播画面和所述物品展示画面进行分析，得到主播语义分析结果和物品展示语义分析结果，包括：

29、调用所述视觉分析模型中的神经网络模型计算所述主播画面中的主播头部姿态，将所述主播头部姿态作为所述主播语义分析结果；

30、调用所述视觉分析模型中的神经网络手势识别模型计算所述物品展示画面中的物品展示手势，将所述物品展示手势作为物品展示语义分析结果。

31、可选的，所述调用镜头导播计算模型对所述主播语义分析结果和所述物品展示语义分析结果进行加权计算，包括：

32、调用与直播场景对应的所述镜头导播计算模型，对所述主播语义分析结果和所述物品展示语义分析结果进行加权计算。

33、可见，本发明提供的自动导播装置，通过主摄像头、云台特写摄像头、机器视觉分析模块、自动镜头导播模块、镜头角度调整模块、视频编码模块、网络输出模块和视频输出接口；所述主摄像头和所述云台特写摄像头均与所述机器视觉分析模块连接；所述主摄像头将采集的主播画面传输给所述机器视觉分析模块；所述云台特写摄像头将采集的物品展示画面传输给所述机器视觉分析模块；所述机器分析模块对接收到的所述主播画面和所述物品展示画面进行分析，得到语义分析结果；所述自动镜头导播模块的输入端与所述机器视觉分析模块连接，接收所述语义分析结果，并计算直播视角；所述镜头角度调整模块与所述自动镜头导播模块的输出端连接，根据所述直播视角获取目标视频信息；所述视频编码模块与所述镜头角度调整模块的输出端连接，接收所述目标视频信息并进行编码，得到编码视频；所述网络输出模块与所述视频编码模块的输出端连接，接收所述编码视频，并传输给所述视频输出接口，所述视频输出接口的输入端与所述网络输出模块连接。本发明与传统的单摄像头直播设备相比，由于本发明中设置了主摄像头、云台特写摄像头，以及确定镜头视角的机器视觉分析模块、自动镜头导播模块、镜头角度调整模块，故本发明在直播中不会丢失目标，且带来比单视角直播设备更好的观感，更广阔的视野。相比于传统智能跟踪摄像头，本设备机器视觉分析模块的语义分析丰富，可根据场景的变化，主播视线的变化进行直播，不需要人工切换和调整角度。

技术特征：

1.一种自动导播装置，其特征在于，包括主摄像头(1)、云台特写摄像头(2)、机器视觉分析模块(3)、自动镜头导播模块(4)、镜头角度调整模块(5)、视频编码模块(6)、网络输出模块(7)和视频输出接口(8)；

2.根据权利要求1所述的自动导播装置，其特征在于，还包括：

3.根据权利要求1所述的自动导播装置，其特征在于，还包括：

4.根据权利要求3所述的自动导播装置，其特征在于，还包括：

5.根据权利要求3所述的自动导播装置，其特征在于，还包括：

6.根据权利要求4所述的自动导播装置，其特征在于，还包括：

7.一种自动导播方法，其特征在于，应用于权利要求1至6任一项所述的自动导播装置，包括：

8.根据权利要求7所述的自动导播方法，其特征在于，在所述调用视觉分析模型分别对所述主播画面和所述物品展示画面进行分析之前，还包括：

9.根据权利要求7所述的自动导播方法，其特征在于，所述调用视觉分析模型分别对所述主播画面和所述物品展示画面进行分析，得到主播语义分析结果和物品展示语义分析结果，包括：

10.根据权利要求7所述的自动导播方法，其特征在于，所述调用镜头导播计算模型对所述主播语义分析结果和所述物品展示语义分析结果进行加权计算，包括：

技术总结
本发明公开了一种自动导播装置，应用于视频导播领域，该装置包括：主摄像头、云台特写摄像头、机器视觉分析模块、自动镜头导播模块、镜头角度调整模块、视频编码模块、网络输出模块和视频输出接口；自动镜头导播模块的输入端与机器视觉分析模块连接，接收语义分析结果，并计算直播视角；镜头角度调整模块与自动镜头导播模块的输出端连接，根据直播视角获取目标视频信息。相比于传统的单摄像头导播装置，本发明通过主摄像头和云台特写摄像头获取的视频视角更全面，且相当于处理器的机器视觉分析模块的语义分析丰富，自动镜头导播模块可根据机器视觉分析模块的分析结果确定直播视角，无需人工切换即可调整角度，导播方式更加灵活。

技术研发人员：黄锐,胡攀文
受保护的技术使用者：香港中文大学（深圳）
技术研发日：
技术公布日：2024/1/12