视频信息传输控制方法、装置、电子设备及存储介质与流程

1.本本发明涉及视频信息传输控制处理技术，尤其涉及视频信息传输控制方法、装置、系统、设备及存储介质。


背景技术：

2.相关技术中，视频采集、编码、网络传输到视频解码、渲染和播放，端到端的时延需控制在100ms以内。然而，在4/5g移动通信系统中，仅视频流的上行空口网络传输时延就会有10-20ms左右，给全链路的时延指标带来较大的压力，不利于实时视频采集的传输，限制了实时视频采集的适用范围。


技术实现要素：

3.有鉴于此，本发明实施例提供一种视频信息传输控制方法、装置、电子设备及存储介质，能够实现优化调度策略，控制视频采集终端所采集的视频信息进行传输，减少视频传输的时延，保证视频的及时准确地传输，提升用户使用体验。
4.本发明实施例的技术方案是这样实现的：
5.本发明实施例提供了一种视频信息传输控制方法包括：
6.获取视频采集终端所传输的视频业务模型描述信息；
7.获取通信网络的承载标识；
8.基于所述通信网络的承载标识和所述视频业务模型描述信息，为所述视频采集终端配置优化调度策略；
9.确定所述优化调度策略与所述视频业务模型描述信息相匹配时，基于所述优化调度策略控制所述视频采集终端所采集的视频信息进行传输。
10.本发明实施例还提供了一种视频信息传输控制装置，包括：
11.信息传输模块，用于获取视频采集终端所传输的视频业务模型描述信息；
12.所述信息传输模块，用于获取通信网络的承载标识；
13.信息处理模块，用于基于所述通信网络的承载标识和所述视频业务模型描述信息，为所述视频采集终端配置优化调度策略；
14.所述信息处理模块，用于确定所述优化调度策略与所述视频业务模型描述信息相匹配时，基于所述优化调度策略控制所述视频采集终端所采集的视频信息进行传输。
15.上述方案中，
16.所述信息处理模块，用于基于所述视频采集终端的使用环境，确定与所述视频业务模型描述信息相匹配的采样周期；
17.所述信息处理模块，用于根据所述采样周期、不同调度请求所对应的发射时刻参数以及上行视频数据的数据量参数，确定至少一个数据对；
18.所述信息处理模块，用于响应于所述至少一个数据对，基于所述视频采集终端的使用环境，触发与所述视频采集终端的使用环境相对应的匹配算法；
19.所述信息处理模块，用于基于与所述视频采集终端的使用环境相对应的匹配算法，对所述优化调度策略与所述视频业务模型描述信息进行匹配处理。
20.本发明实施例还提供了一种电子设备，所述电子设备包括：
21.存储器，用于存储可执行指令；
22.处理器，用于运行所述存储器存储的可执行指令时，实现前述的视频信息传输控制方法。
23.本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时实现前述的视频信息传输控制方法。
24.本发明实施例具有以下有益效果：
25.本发明通过获取视频采集终端所传输的视频业务模型描述信息；获取通信网络的承载标识；基于所述通信网络的承载标识和所述视频业务模型描述信息，为所述视频采集终端配置优化调度策略；确定所述优化调度策略与所述视频业务模型描述信息相匹配时，基于所述优化调度策略控制所述视频采集终端所采集的视频信息进行传输，能够实现优化调度策略，控制视频采集终端所采集的视频信息进行传输，减少视频传输的时延，保证视频的及时准确地传输，提升用户使用体验。
附图说明
26.图1是本发明实施例提供的视频信息传输控制方法的使用环境示意图；
27.图2为本发明实施例提供的视频信息传输控制装置的组成结构示意图；
28.图3为相关技术视频传输的编码示意图；
29.图4为本发明实施例提供的视频信息传输控制方法一个可选的流程示意图；
30.图5为本发明实施例中视频信息传输控制的一个可选的过程示意图；
31.图6为本发明实施例中视频信息传输控制的一个可选的过程示意图；
32.图7为本发明实施例提供的视频信息传输控制方法一个可选的流程示意图；
33.图8为本发明实施例提供的视频信息传输控制方法一个可选的流程示意图；
34.图9为本发明实施例提供的视频信息传输控制方法一个可选的流程示意图；
35.图10为本发明实施例提供的视频信息传输控制方法一个可选的流程示意图。
具体实施方式
36.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
37.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
38.对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
39.1)视频编码(video transcoding)，是指将已经压缩编码的视频码流转换成另一个视频码流，以适应不同的网络带宽、不同的终端处理能力和不同的用户需求。
40.2)终端，包括但不限于：普通终端、专用终端，其中所述普通终端与发送通道保持长连接和/或短连接，所述专用终端与所述发送通道保持长连接。
41.3)客户端，终端中实现特定功能的载体，例如移动客户端(app)是移动终端中特定功能的载体，例如执行线上直播的功能或者是在线视频的播放功能。
42.4)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
43.5)p帧：帧间预测帧，可采用帧内预测和帧间预测，可前向参考预测视频编码方式。
44.6)b帧：帧间预测帧，可采用帧内预测和帧间预测，可前向、后向、双向参考预测。
45.7)i帧：帧内预测帧，利用帧内信息进行预测。
46.图1为本发明实施例提供的视频信息传输控制方法的使用场景示意图，参见图1，终端(包括终端10-1和终端10-2)上设置有能够执行不同功能相应客户端其中，所属客户端为终端(包括终端10-1和终端10-2)通过网络300从相应的电子设备200中利用不同的业务进程获取不同的视频信息进行浏览，终端通过网络300连接电子设备200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输，其中，终端(包括终端10-1和终端 10-2)通过网络300从相应的电子设备200中所获取的视频类型并不相同，例如：终端(包括终端10-1和终端10-2)既可以通过网络300从相应的电子设备200 中获取视频(即视频中携带视频信息或相应的视频链接)，也可以通过网络300 从相应的电子设备200中获取实时视频(例如工业设备的摄像头监测视频或者，自动驾驶的摄像头拍摄的道路视频)进行浏览。电子设备200中可以保存有不同类型的视频。在本发明的一些实施例中，电子设备200中所保存的不同类型的视频的进程可以是在不同编程语言的软件代码中所编写的，代码对象可以是不同类型的代码实体。例如，在c语言的软件代码中，一个代码对象可以是一个函数。在java语言的软件代码中，一个代码对象可以是一个类，ios端oc语言中可以是一段目标代码。在c++语言的软件代码中，一个代码对象可以是一个类或一个函数。其中本技术中不再对不同类型的视频的编译环境进行区分。
47.电子设备200通过网络300向终端(终端10-1和/或终端10-2)发送或接收不同类型的视频的过程中，由于对时延性的要求较高，因此，需要对视频信息的传输控制进行优化，具体可以通过获取视频采集终端所传输的视频业务模型描述信息；获取通信网络的承载标识；基于所述通信网络的承载标识和所述视频业务模型描述信息，为所述视频采集终端配置优化调度策略；确定所述优化调度策略与所述视频业务模型描述信息相匹配时，基于所述优化调度策略控制所述视频采集终端所采集的视频信息进行传输，减少视频传输的时延，保证视频的及时准确地传输，提升用户使用体验。
48.其中，本发明实施例可结合云技术实现，云技术(cloud technology)是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术，也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站，因此云技术需要以云计算作为支撑。
49.需要说明的是，云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网
络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。作为云计算的基础能力提供商，会建立云计算资源池平台，简称云平台，一般称为基础设施即服务(iaas，infrastructure as a service)，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(可为虚拟化机器，包含操作系统)、存储设备和网络设备。
50.结合实施例图1所示，本发明实施例所提供的目标对象确定方法可以通过相应的云端设备实现，例如：终端(包括终端10-1和终端10-2)通过网络300 连接位于云端的服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。值得说明的是，服务器200可为实体设备，也可为虚拟化设备。
51.具体来说，结合前序实施例中的图1所示，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
52.下面对本发明实施例的视频信息传输控制装置的结构做详细说明，视频信息传输控制装置可以各种形式来实施，如带有视频信息传输控制装置处理功能的专用终端，也可以为设置有视频信息传输控制装置处理功能的服务器或者服务器群组，例如部署于目标系统中的目标系统，例如前序图1中的服务器200。图2为本发明实施例提供的视频信息传输控制装置的组成结构示意图，可以理解，图2仅仅示出了视频信息传输控制装置的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。
53.本发明实施例提供的视频信息传输控制装置包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。视频信息传输控制装置中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。
54.其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
55.可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端(如10-1)的操作。这些数据的示例包括：用于在终端(如10-1)上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
56.在一些实施例中，本发明实施例提供的视频信息传输控制装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的视频信息传输控制装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的视频信息传输控制方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(asic，application specific integrated circuit)、dsp、可编程逻辑器件(pld，programmable logic device)、复杂可编程逻辑器件 (cpld，complex programmable logic device)、现
场可编程门阵列(fpga， field-programmable gate array)或其他电子元件。
57.作为本发明实施例提供的视频信息传输控制装置采用软硬件结合实施的示例，本发明实施例所提供的视频信息传输控制装置可以直接体现为由处理器201 执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器202，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器201以及连接到总线205的其他组件)完成本发明实施例提供的视频信息传输控制方法。
58.作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(dsp，digital signal processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
59.作为本发明实施例提供的视频信息传输控制装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例如，被一个或多个应用专用集成电路(asic，application specificintegrated circuit)、dsp、可编程逻辑器件(pld，programmable logic device)、复杂可编程逻辑器件(cpld，complex programmable logic device)、现场可编程门阵列(fpga，field-programmable gate array)或其他电子元件执行实现本发明实施例提供的视频信息传输控制方法。
60.本发明实施例中的存储器202用于存储各种类型的数据以支持视频信息传输控制装置的操作。这些数据的示例包括：用于在视频信息传输控制装置上操作的任何可执行指令，如可执行指令，实现本发明实施例的从视频信息传输控制方法的程序可以包含在可执行指令中。
61.在另一些实施例中，本发明实施例提供的视频信息传输控制装置可以采用软件方式实现，图2示出了存储在存储器202中的视频信息传输控制装置，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括视频信息传输控制装置，视频信息传输控制装置中包括以下的软件模块信息传输模块2081和信息处理模块2082。当视频信息传输控制装置中的软件模块被处理器201读取到ram中并执行时，将实现本发明实施例提供的视频信息传输控制方法，其中，视频信息传输控制装置中各个软件模块的功能，包括：
62.信息传输模块2081，用于获取视频采集终端所传输的视频业务模型描述信息；
63.所述信息传输模块2081，用于获取通信网络的承载标识；
64.信息处理模块2082，用于基于所述通信网络的承载标识和所述视频业务模型描述信息，为所述视频采集终端配置优化调度策略；
65.所述信息处理模块2082，用于确定所述优化调度策略与所述视频业务模型描述信息相匹配时，基于所述优化调度策略控制所述视频采集终端所采集的视频信息进行传输。
66.在介绍本技术提供的视频信息传输控制方法之前，首先对相关技术中的缺陷进行介绍，参考图3，图3为相关技术视频传输的编码示意图，实时视频在传输时，从视频采集、编码、网络传输到视频解码、渲染和播放，端到端的时延需控制在100ms以内。然而，在4/5g移动通信系统中，仅视频流的上行空口网络传输时延就会有10-20ms左右，给全链路的时延指标带来较大的压力。
67.造成空口时延较大的原因包括：移动通信系统是采用的基于基站调度的传输机
制，视频采集终端如有上行数据达到需要发送，终端不能立刻就发送，它首先需要向基站申请上行传输资源，这个申请信令也即所谓的调度请求(sr： scheduling request)，它只能在特定的上行帧上发送。基站收到终端发送的调度请求后，会在下行帧给终端发送上行调度授权信令，这个信令里包含了终端可以发送的上行时频资源信息。收到这个调度授权信令后，终端则在指定的上行时频资源上(在指定的上行帧上指定的ofdm符号)进行上行数据传输。如图 3所示，d表示下行帧，s表示特殊帧，u表示上行帧，每个帧都固定为1ms，其中，每5ms有一个上行帧。视频采集终端只能在分配的特定的上行帧上发送调度请求，图3所表示这个调度请求周期为10ms。当然，如果终端没有上行数据要发送，则它不会发送调度请求。在某个时刻，如果有上行数据达到终端，则会触发调度请求，终端会在最近的下一个可以发送调度请求的上行帧上发送调度请求。基站接收到终端的调度请求后，会进行调度处理，并在某个下行子帧上给终端发送调度授权。终端收到调度授权后，则会在其指定的上行帧上的指定的ofdm符号发送上行数据。
68.由此，从数据达到终端，到终端给基站发送sr信令，有3ms的延迟；从基站接收到sr、译码，再到基站给终端发送调度授权，然后终端再在上行帧上实际发送上行数据，又有10ms的延迟，因此，整个流程已经引入了13ms的延迟 (暂未考虑基站译码上行数据的处理时间)。此外，如果基站译码sr请求失败，则终端只能在下一个sr周期的上行帧上重发sr请求，由此引入了10ms的时延。
69.为了解决上述缺陷，参结合图2示出的电子设备20说明本发明实施例提供的视频信息传输控制方法，参见图4，图4为本发明实施例提供的视频信息传输控制方法一个可选的流程示意图，可以理解地，图4所示的步骤可以由运行视频信息传输控制装置的各种服务器执行，例如可以是如带有视频信息传输控制功能的专用终端、服务器或者服务器集群。下面针对图4示出的步骤进行说明。
70.步骤401：通信基站获取视频采集终端所传输的视频业务模型描述信息。
71.在本发明的一些实施例中，视频采集终端以手机为例，手机包括：应用芯片(ap application processor)，和基带芯片(bp baseband processor)，应用芯片根据当前的业务特征，确定业务模型。比如，应用层可根据h.264编码器设置的相关参数，确定每秒帧率、码率等，基带芯片则进行视频传输。参考图5，图 5为本发明实施例中视频信息传输控制的一个可选的过程示意图，其中，在视频编码序列中，gop即group of picture(画面组)，指两个i帧之间的距离，reference (参考周期)指两个p帧之间的距离。一个i帧所占用的字节数大于一个p帧，一个p帧所占用的字节数大于一个b帧，在码率不变的前提下，gop值越大， p、b帧的数量会越多，画面细节更多，也就更容易获取较好的图像质量；reference 越大，b帧的数量越多，同理也更容易获得较好的图像质量。同时，通过提高 gop值来提高图像质量是有限度的，在遇到场景切换的情况时，h.264编码器会自动强制插入一个i帧，此时实际的gop值被缩短了。另一方面，在一个gop 中，p、b帧是由i帧预测得到的，当i帧的图像质量比较差时，会影响到一个 gop中后续p、b帧的图像质量，直到下一个gop开始才有可能得以恢复，所以gop值也不宜设置过大。进一步地，由于p、b帧的复杂度大于i帧，所以过多的p、b帧会影响编码效率，使编码效率降低。另外，过长的gop还会影响seek操作(找i帧)的响应速度，由于p、b帧是由前面的i或p帧预测得到的，所以seek操作需要直接定位，解码某一个p或b帧时，需要先解码得到本 gop内的i帧及之前的n个预测帧才可以，gop值越长，需要解码的
预测帧就越多，seek响应的时间也越长。因此，通过本发明实施例所提供的视频编码决策决定所要使用的编码方式，对待编码视频进行处理，可以提升对视频编码的效率，减少视频编码的时间。
72.参考图6，在volte业务中，语言包以20ms为周期进行发送。
73.如图6所示，在实时视频流业务中，为了降低时延，一组gop中一般只有i帧和p帧，没有b帧。其中，i帧是帧内编码帧，gop序列的第1个帧一定是一个i帧。p帧是前向预测编码帧，表示的是这一帧跟之前的一个i帧或p帧的差别。i帧由于将全帧图像信息进行压缩编码，它所占的数据量远大于p帧。因此，针对此视频流的业务场景，业务模型描述(smd，service model description) 可以表示为如下通用形式：smd＝[f1，t1；f2，t2；..；fn，tn]。其中，n 是一个gop中帧的个数，f1表示一个gop中第一个帧的大小，t1表示第一个帧和第二个帧之间的时延，精确到ms；类似的，fn表示一个gop中最后一个帧的大小，tn表示最后一个帧和下一个gop的第一个帧之间的时延。表示当然，也可用别的表述形式来描述，如[i，p，t]，其中，i表示i帧大小，p表示 p帧大小，t表示帧率，在本发明的一些实施例中，考虑到在远程控制的场景中，控制时延比控制带宽更加重要，特别是在5g行业专网中，一方面，网络中只有行业专网的用户，另一方面，以5g网络为例，根据5g网络带宽对smd的帧大小估计时成正比例增加，以实现基站调度的余量保护效果，具体来说，5g网络的带宽容量很大，因此，在估计smd中帧的大小时，可以适当的宽松，比如，增加20％，以留给后续基站调度时一定的余量保护。
[0074]
步骤402：通信基站获取通信网络的承载标识。
[0075]
在本发明的一些实施例中，在视频传输时，端将smd信息通过5g网络(后续以5g网络举例说明，4g网络类似)发给业务服务器，如远程控制应用的后台服务器，这属于应用层对等实体之间的通信。此外，终端同时把自己在5g网络中的ip地址(一般是私网ip)同时传给业务服务器。业务服务器收到smd 和ip地址信息后，通过5g网络中的网络能力开放网元(ef network exposurefunction)将smd和ip地址信息传给5g核心网。5g核心网首先通过ip地址信息反查此用户当前的归属服务的5g基站，以及对应的承载(bearer)标识。然后，5g核心网将承载标识和smd信息传给对应的5g基站。传递承载标识的原因是，4g或5g基站并不识别终端的ip地址，在空口上，基站是根据自己分配的网络临时标识符rnti(radio network temporary identifier)来标识用户，而基站和5g核心网间，则是通过承载id来标识用户的。
[0076]
步骤403：通信基站基于所述通信网络的承载标识和所述视频业务模型描述信息，为所述视频采集终端配置优化调度策略。
[0077]
在本发明的一些实施例中，为所述视频采集终端配置优化调度策略，可以通过以下方式实现：
[0078]
基于所述通信网络的承载标识，确定与所述通信网络的承载标识相匹配的视频采集终端；为所述视频采集终端配置调度请求周期参数；响应于所述调度请求周期参数，确定第一调度请求的第一发射时刻参数；基于所述视频业务模型描述信息，确定所述视频采集终端的上行信道；利用所述上行信道对应的上行子帧，接收所述视频采集终端发送的上行视频数据；确定所述视频采集终端发送的上行视频数据的第一数据量；当所述第一数据量的上行视频数据完成传输时，触发第二调度请求；响应于所述第二调度请求，控制第二数据
量的上行视频数据进行由所述视频采集终端传输至所述通信基站。
[0079]
其中，以5g网络为例，参考图7，图7为本发明实施例提供的视频信息传输控制方法一个可选的流程示意图，具体包括以下步骤：
[0080]
步骤701：视频采集终端配置调度请求周期参数。
[0081]
其中，基站将次终端的sr周期配为最小值，即上行子帧的周期，例如，一般在5g现网中，上行子帧的周期为5ms，为了节省sr资源(也即物理上行控制信道资源)，以及服务更多用户，常见的sr周期配置参数是20ms。在本发明中，则首先将次用户sr周期修改为最小值，为5ms。当然，在后续流程中，如基站已经处理完毕，开始稳定调度终端进行上行发送，可以再将sr周期修改回 20ms，以节省物理上行控制信道资源。由于实际使用时受到设备型号限制，因为基站无法识别用户手机号或imsi号，所以网管没法做针对不同用户设置不同的sr值这种配置优选的只能对小区中的所有用户设置统一的值，比如5ms或 20ms。
[0082]
步骤702：，对视频采集终端所采集的视频信息进行编码，并确定对应的初始传输时刻参数。
[0083]
终端接收到新的上行数据到达终端缓存时，需要立刻启动上行发送流程。视频采集终端可以基于不同的使用环境，触发与使用环境相匹配的视频编码进程，视频采集终端会在下一个可用的sr资源，向基站发送sr申请。基站记录此sr发送时刻，记为第一发送时刻ts1。(其中，初始发射时刻ts0可根据基站自身的帧号进行计时，精确到1ms。)
[0084]
步骤703：基站在下行子帧向此终端发送上行调度请求授权信息。
[0085]
其中，调度终端在离ts0最近且可用的上行子帧上发送上行数据，其所需的上行资源由上一步确定。同时，基站配置终端在mac信令中随上行数据随路上报bsr(buffer status report)状态信息。
[0086]
步骤704：终端在被调度的上行子帧上发送上行数据。
[0087]
其中，可以基于所述视频业务模型描述信息中画面组的最大帧，以及所述第一调度请求信息，确定所述视频采集终端的上行信道；或者当所述通信基站对应的数据信道数量低于数据信道数量阈值时，基于所述视频业务模型描述信息中画面组的最小帧，以及所述第一调度请求信息，确定所述视频采集终端的上行信道具体选择画面组的最大帧还是选择画面组的最小帧可以根据视频采集终端的使用环境灵活调整，例如医疗设备的视频传输时可以选择画面组的最小帧，龙门吊的远程操作环境中可以选择画面组的最大帧。当然，在本发明的一些实施例中，为了减少人为因素介入对本技术提供的视频信息传输控制方法的影响，也可以固定选择画面组的最大帧。
[0088]
步骤705：基站收到终端发送的上行数据，计算视频传输的数据量。
[0089]
具体来说，当所述视频采集终端发送的上行视频数据全部发送时，确定所发送的上行视频数据的数据量为第一数据量；所述视频采集终端发送的上行视频数据的第一数据量；当所述视频采集终端发送的上行视频数据未全部发送时，基于所述视频采集终端的状态报告和当前上行帧发送的视频数据的数据量，确定所述视频采集终端发送的上行视频数据的第一数据量。
[0090]
其中，基站可根据视频采集终端的状态报告(bsr buffer status report)或终端是否有无效数据填充(padding)来识别，则基站记录终端实际发送的视频数据的上行数据量为p1。如果终端未发送完缓存中的数据，则基站根据终端随路上报的视频采集终端的状
态报告(bsr buffer status report)，以及当前上行帧发送的数据量的加和为p1为视频数据的上行数据量。
[0091]
步骤706：确定第二发送时刻信息。
[0092]
随着终端侧有新的数据过来，终端发送下一个sr。终端和基站重复步骤701 至步骤705。新的数据记为p2。同时记录此sr的发送时刻，记为ts2。
[0093]
在执行完成步骤706之后，可以继续确定优化调度策略与所述视频业务模型描述信息是否相匹配，具体来说，可以基于所述视频采集终端的使用环境，确定与所述视频业务模型描述信息相匹配的采样周期；根据所述采样周期、不同调度请求所对应的发射时刻参数以及上行视频数据的数据量参数，确定至少一个数据对；响应于所述至少一个数据对，基于所述视频采集终端的使用环境，触发与所述视频采集终端的使用环境相对应的匹配算法；基于与所述视频采集终端的使用环境相对应的匹配算法，对所述优化调度策略与所述视频业务模型描述信息进行匹配处理。其中，继续以5g网络为例进行说明，可以以n个数据为一个smd周期，且视频采集终端和基站至少重复n1个smd周期(j)基站根据此k个数据对，以及smd＝[f1，t1；f2，t2；..；fn，tn]中的进行匹配，一共能得到k＝n*n1个数据对，分为记为[p1，ts1；p2，ts2；
…
；pk， tsk]，结合前序图5所示，h.264编码的视频流中，i帧的大小远大于p帧是 h.264编码的特征，因此，可以根据此特征通过特征匹配算法进行匹配。
[0094]
步骤404：通信基站确定所述优化调度策略与所述视频业务模型描述信息相匹配时，基于所述优化调度策略控制所述视频采集终端所采集的视频信息进行传输。
[0095]
在本发明的一些实施例中，当确定所述优化调度策略与所述视频业务模型描述信息不匹配时，所述通信基站向对应的业务服务器发送优化失败信息；
[0096]
响应于所述优化失败信息，执行与所述通信基站相匹配的原始调度策略，由此可以保证视频采集终端扔向通信基站传输视频，避免由于优化调度策略与视频业务模型描述信息不匹配，造成视频传输的失败。
[0097]
在本发明的一些实施例中，确定所述优化调度策略与所述视频业务模型描述信息相匹配时，基站可以确定[p1，ts1；p2，ts2；
…
；pk，tsk]中和[f1， t1；f2，t2；..；fn，tn]对应的数据对。例如，假设为[p6，ts6]对应[f1， t1]，[p7，ts7]对应[f2，t2]。需要说明的是，在5g网络的使用中，除了数据包外，由于终端可能有些额外的上行控制包需要发送(例如心跳包)，并不一定是p6、p7的连接顺序，按顺序依次增加，要同时考虑到ts6和ts7之间的时间间隔，和p6和p7的大小进行匹配。进一步地，基站可以结合[p1，ts1；p2， ts2；
…
；pk，tsk]和[f1，t1；f2，t2；..；fn，tn]中的信息，确定终端的调度策略[sf1，st1；sf2，st2；
…
；sfm，stm]，以及业务周期sp。
[0098]
在本发明的一些实施例中，确定sf1的过程中，同样可以加入相应比例的冗余度，以保证时延符合用户的使用需求。
[0099]
继续以5g网络为例，参考图8，图8为本发明实施例提供的视频信息传输控制方法一个可选的流程示意图，确定优化调度策略与视频业务模型描述信息相匹配时，基优化调度策略控制视频采集终端所采集的视频信息进行传输，具体包括以下步骤：
[0100]
步骤801：所述通信基站确定目标上行子帧。
[0101]
其中，基站确定下一个目标上行子帧，可以是离当前时间最近的st1+l*sp 的目标上行子帧，l取值范围为正整数。
[0102]
步骤802：控制视频采集终端发送上行嗅探参考信号，并且响应于所述上行嗅探参考信号，确定处于可用状态的上行子帧。
[0103]
其中，基站可以确定在st1+l*sp前一个最近上行嗅探参考信号(srssounding references signal)可用的上行子帧，srs可用同时意味着基站来得及解调srs并发送目标是st1+l*sp上行帧的上行调度授权请求，通信基站调度终端发送上行srs信号，可以辅助通信基站更精准的预估上行调度资源，保证终端缓存中的数据能在一个上行帧中传送完毕，减少多帧发送引入的时延。
[0104]
步骤803：基于所述上行嗅探参考信号的检测结果和所述优化调度策略，对所需要的视频传输上行资源进行预测。
[0105]
其中，通信基站根据收到的srs信号检测结果，以及sf1的值，预估所需分配的上行资源。为了降低重传时延，视频采集终端的目标块误码率bler(blockerror rate)可以设置为1％，或者0.1％。具体来说，如对i帧数据，目标bler 就可以设为0.1％，充分保障其可靠性；而不在smd中的终端的其他业务数据，或其他普通终端的数据，目标bler仍可以设为10％。
[0106]
在本发明的一些实施例中，在利用本技术提供的视频信息传输控制方法实现调度流程中，由于需要降低此用户的时延，在和其他用户竞争资源时，此用户的调度优先级最高。特别的，如果所有用户都是视频流用户(比如，在一个只服务监控业务的5g本地行业专网中，所有用户都是摄像头终端)，由于可以根据smd确定i帧的发送时刻(如首帧肯定是i帧)，发送i帧的终端优先级最高，使得视频传输时延进一步地降低。
[0107]
步骤804：基于视频传输上行资源的预测结果和可用状态的上行子帧，对所述视频采集终端发送视频上行数据的上行子帧进行调度。
[0108]
其中，通信基站可以主动调度终端在st1+l*sp时刻的上行子帧，发送上行数据，而无需终端发送sr请求。在本发明的一些实施例中，终端的传统的 sr请求功能仍然存在，可以将sr周期重新配回20ms，以节省sr资源。如终端在其他时刻有别的上行数据需要发送，如上行心跳包，仍可以通过sr流程触发基站调度上行资源。
[0109]
为了更好地说明本技术所提供的视频信息传输控制方法，下面以在自动化码头中的龙门吊的实时视频传输为例对本技术的视频信息传输控制方法进行说明，其中，每台龙门吊配备三名司机轮换，一个码头通常需要上百名龙门吊司机，对司机人力需求高。远程控制改造后，龙门吊上安装摄像头，司机改在中控室观看多路实时视频进行操作，完成龙门吊所有动作如吊车吊具精准移动、抓举集装箱等，1名远程控制人员可操控3～6台龙门吊，同时可改善工作环境，降低对司机的要求，大幅度降低人力成本，参考图9，图9为本发明实施例提供的视频信息传输控制方法一个可选的流程示意图，通信环境为5g网络，视频采集终端为互联网摄像头，具体包括以下步骤：
[0110]
步骤901：获取互联网摄像头的视频业务模型描述信息。
[0111]
步骤902：互联网摄像头将视频业务模型描述信通过5g网络发给业务服务器。
[0112]
步骤903：业务服务器收到视频业务模型描述信和ip地址信息后，通过5g 网络中的网络能力开放网元将视频业务模型描述信息和ip地址信息传给5g核心网。
[0113]
步骤904：5g核心网通过ip地址信息反查此用户当前的归属服务的5g基站，以及对应的承载(bearer)标识，5g核心网将承载标识和视频业务模型描述信传给对应的5g基站。
[0114]
步骤905：5g基站基于所述通信网络的承载标识和所述视频业务模型描述信息，为所述视频采集终端配置优化调度策略。
[0115]
步骤906：5g基站基于与视频采集终端的使用环境相对应的匹配算法，确定优化调度策略与所述视频业务模型描述信息是否匹配，如果是执行步骤907，否则执行步骤909。
[0116]
步骤907：确定所述优化调度策略与所述视频业务模型描述信息相匹配时，基于所述优化调度策略控制所述视频采集终端所采集的视频信息进行传输。
[0117]
步骤909：5g基站实时修正调度策略。
[0118]
步骤909：5g基站通过nef给业务服务器返回失败信息，结束流程。
[0119]
通过步骤901-步骤909避免了sr流程引入的时延；同时还避免了多帧发送引入的时延；重传流程引入的时延；以及基站上行负载较重时和其他用户竞争资源引入的时延。同时监控多辆吊车，如果发生了紧急事件，则人工远程介入进行处理，从而可显著提升作业安全性。
[0120]
参见图10，图10本发明实施例提供的视频信息传输控制方法一个可选的流程示意图，可以理解地，图10所示的视频信息传输控制方法可以应用于医疗视频处理领域，实现对通过带有是视频采集的机械手臂对病人的病灶进行探测，例如对于肾流血的超声图像和胆囊肿瘤的超声图像，其中，图10所示的步骤可以由视频信息传输控制装置的各种电子设备执行，例如可以是如带有视频传输功能的医疗专用机器人、人体检查功能的医用机器手臂。下面针对图10示出的步骤进行说明。
[0121]
步骤1001：获取所述机械臂的视频业务模型描述信息和通信网络的承载标识。
[0122]
步骤1002：5g基站基于所述通信网络的承载标识和所述视频业务模型描述信息，触发所述视机械臂配置优化调度策略的配置进程。
[0123]
步骤1003：5g基站将上行子帧的周期配置为最小值5ms。
[0124]
步骤1004：5g基站选择smd中的最大帧，预估机械臂的上行信道，并计算终端所需的上行资源，确定调度策略。
[0125]
步骤1005：确定所述调度策略与所述视频业务模型描述信息相匹配时，基于所述优化调度策略控制所述视频采集终端所采集的视频信息进行传输。
[0126]
其中，通过本技术提供的机械臂的位置确定方法所获得的医疗视频包括目标对象的同一目标区域的待分割医疗视频的集合可以为同一患者的病灶处的至少一张ct图像或者内窥镜图像。通过机械臂位置调整，可以活着的翻转、旋转、放缩以及对比度增强的医疗视频。其中，所输入的医疗视频的类型可以是二维平面图像或三维图像；例如：电子计算机断层扫描(ct computed tomography) 磁共振成像(mrimagnetic resonance imaging)超声，x光，心电图，脑电图，光学摄影等等由医学仪器生成的图像。
[0127]
步骤1006：当基于所传输的视频，确定所述机械臂的位置与病灶检测位置的坐标差值超过阈值时，对机械臂的位置进行调整。
[0128]
有益技术效果：
[0129]
本发明通过获取视频采集终端所传输的视频业务模型描述信息；获取通信网络的承载标识；基于所述通信网络的承载标识和所述视频业务模型描述信息，为所述视频采集终端配置优化调度策略；确定所述优化调度策略与所述视频业务模型描述信息相匹配时，基于所述优化调度策略控制所述视频采集终端所采集的视频信息进行传输，能够实现优化
调度策略，控制视频采集终端所采集的视频信息进行传输，减少视频传输的时延，保证视频的及时准确地传输，提升用户使用体验。
[0130]
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。