具有多路音视频编码能力的扩展摄像头及其控制方法与流程

本发明涉及视频通信，具体地，涉及具有多路音视频编码能力的扩展摄像头及其控制方法。

背景技术：

1、基于互联网的视频通信技术被广泛应用于工作和生活场景。其中用于采集原始音视频信号的摄像头具有极其重要的作用，它是实现视频通信、会议、监控、娱乐等众多应用的基础组件。

2、一般摄像头通常不具备完整的编解码能力，而是将原始音视频信号输出到主机端，然后通过主机端来进行编码操作。一些高级摄像头或特定用途的摄像头会集成编码功能。

3、现有技术中具有音视频编码能力的摄像头与主机端连接的协议为标准协议，标准协议(如uvc协议)会限制摄像头一次只能输出一种固定的编码参数，导致摄像头只能编码一种固定帧率、码率和分辨率的码流，而无法同时编码几种不同帧率、码率和分辨率的码流。

4、传统的摄像头削弱了摄像头在适应不同应用需求时的灵活性，无法根据实际情况进行动态调整输出不同参数的码流，缺乏灵活性适应性不足。例如，在大型视频会议中，参会者可能位于不同的地理位置，使用不同的网络带宽，采用不同的视频设备，因此不同接收端的码流需求不同，而传统摄像头由于编码限制无法同时编码多种不同帧率、码率和分辨率的码流来满足接收端的需求，固定的编码参数可能导致在高带宽网络下的接收端浪费资源，在低带宽网络下的接收端的视频质量下降或传输中断。

技术实现思路

1、本发明提供了一种具有多路音视频编码能力的扩展摄像头及其控制方法，所述摄像头的码流可以按照实际需求进行动态码率、帧率以及分辨率的调整和切换，满足实时会议中对不同编码能力实切换的要求，其灵活性和自适应性大大提高了用户的视频会议体验。

2、第一方面，本发明提供了一种具有多路音视频编码能力的扩展摄像头，其特征在于，所述摄像头包括：

3、采集模块，其用于采集原始音视频信号；

4、编码模块，其用于对所述原始音视频信号进行编码获得至少两路不同分辨率、帧率和/或码率的码流；

5、封装模块，其用于按照私有协议将所述至少两路不同分辨率、帧率和/或码率的码流封装为一路数据流；

6、发送模块，其用于将所述数据流发送给主机端。

7、第二方面，本发明还提供了一种具有多路音视频编码能力的扩展摄像头的控制方法，其特征在于，所述方法包括：

8、采集原始音视频信号；

9、对所述原始音视频信号进行编码获得至少两路不同分辨率、帧率和/或码率的码流；

10、按照私有协议将所述至少两路不同分辨率、帧率和/或码率的码流封装为一路数据流；

11、将所述数据流发送给主机端。

12、本发明提供的具有多路音视频编码能力的扩展摄像头具有同时编码多路不同参数码流的编码子模块以及按照私有协议对多路码流进行封装的封装模块，具备按照实际需求进行动态码率、帧率和分辨率调整的能力，能够同时编码输出多路不同参数的码流以满足不同码流需求和实时会议中的要求，提供更优质的会议体验：第一，优化带宽利用率，在实时会议中，不同参会者的网络环境和带宽情况可能不同，所述摄像头能够根据不同接收端的实际带宽情况，实时动态调整编码的码率，从而最大程度地优化带宽利用率，如在网络带宽受限的情况下，摄像头可以自动降低码率，以保证稳定的视频传输；第二，确保流畅体验，实时会议需要流畅的视频传输，以保证参会者之间的交流效果，所述摄像头可以根据不同接收端的网络状况和设备性能，自动调整帧率和分辨率，以确保流畅的视频显示，避免画面卡顿或延迟；第三，提供最佳画质，不同接收端可能采用不同的显示设备，如大屏幕显示器、智能手机或平板电脑，所述摄像头根据不同设备的分辨率和显示能力，实时动态调整不同设备码流的分辨率，以提供最佳画质，使画面保持清晰和适应性；第四，简化用户操作，能够动态调整编码参数满足不同接收端码流需求的摄像头可以减轻参会者的操作负担，参会者无需手动调整分辨率、帧率或码率，所述摄像头可以自动根据需求进行调整，提供最佳的视频通信体验。

13、总之，这种具备动态码率、帧率和分辨率调整能力的摄像头能够根据实际情况同时编码输出多路不同参数的码流，自适应地提供最佳的编码质量，在不同网络、设备和场景下，提供高质量的实时会议体验，满足多样化的会议需求，提高交流效率并提供更好的用户体验。

技术特征：

1.一种具有多路音视频编码能力的扩展摄像头，其特征在于，所述摄像头包括：

2.根据权利要求1所述的扩展摄像头，其特征在于，所述摄像头还包括接收模块，其用于接收来自所述主机端的指令。

3.根据权利要求2所述的扩展摄像头，其特征在于，所述编码模块还用于根据所述主机端的指令对所述原始音视频信号进行编码获得所述至少两路不同分辨率、帧率和/或码率的码流。

4.根据权利要求2或3所述的扩展摄像头，其特征在于，所述主机端的指令包括接收端对码流分辨率、帧率和/或码率的需求。

5.根据权利要求1-4中的任一项所述的扩展摄像头，其特征在于，所述分辨率包括360p、480p、720p、1080p、2k、4k、8k和10k；

6.根据权利要求1-5中的任一项所述的扩展摄像头，其特征在于，所述封装模块还用于按照私有协议将同一时间片的至少两路码流片段封装到所述数据流中的同一数据片中。

7.根据权利要求6所述的扩展摄像头，其特征在于，所述私有协议的字段中具有数据片中码流封装的位置、分辨率、帧率和码率信息。

8.根据权利要求6或7所述的扩展摄像头，其特征在于，所述数据片中包括对码流封装的位置、分辨率、帧率和码率信息进行标记的标记信息。

9.根据权利要求8所述的扩展摄像头，其特征在于，所述主机端根据所述标记信息将所述数据流拆封获得封装前的码流，并将其发送给对应的接收端。

10.一种具有多路音视频编码能力的扩展摄像头的控制方法，其特征在于，所述方法包括：

技术总结
本发明提供了一种具有多路音视频编码能力的扩展摄像头及其控制方法。其中所述摄像头包括：采集模块，其用于采集原始音视频信号；编码模块，其用于对所述原始音视频信号进行编码获得至少两路不同分辨率、帧率和/或码率的码流；封装模块，其用于按照私有协议将所述至少两路不同分辨率、帧率和/或码率的码流封装为一路数据流；发送模块，其用于将所述数据流发送给主机端。本发明的具有多路音视频编码能力的扩展摄像头及其控制方法能够根据实际情况同时编码输出多路不同参数的码流，自适应地提供最佳的编码质量，在不同网络、设备和场景下，提供高质量的实时会议体验，满足多样化的会议需求，提高交流效率并提供更好的用户体验。

技术研发人员：刘建松,赵兴国
受保护的技术使用者：上海赛连信息科技有限公司
技术研发日：
技术公布日：2024/3/31