调度视频发送设备的方法和相关设备与流程

文档序号:33140956发布日期:2023-02-03 20:14阅读:26来源:国知局
调度视频发送设备的方法和相关设备与流程

1.本技术实施例涉及通信技术领域,尤其涉及一种调度视频发送设备的方法和相关设备。


背景技术:

2.现今,在多摄像头协同进行日常生产活动的实际应用中,由于网络会同时传输多路摄像头的监控视频,使得多路摄像头的视频帧中的信息帧(i帧)会同时传输,出现多路摄像头间的i帧发生碰撞,导致网络拥塞、视频卡顿和丢帧,从而影响生产领域的操作控制。
3.因此,在多摄像头联合工作场景下,如何避免摄像头间发生i帧碰撞已成为迫切需要解决的技术问题。


技术实现要素:

4.本技术提供一种调度视频发送设备的方法和相关设备,有利于避免i帧碰撞。
5.上述和其它目标通过独立权利要求的主体实现。其它实现方式在从属权利要求、具体实施方式和附图中显而易见。
6.具体实施例在所附独立权利要求中概述,其它实施例在从属权利要求中概述。
7.根据第一方面,本技术涉及一种调度视频发送设备的方法,应用于网络设备,所述方法包括:在多个视频发送设备向网络传输视频图像之前,向所述多个视频发送设备分别发送起始信息帧(i帧)发送时段,所述多个视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述多个视频发送设备中除所述任一个视频发送设备之外的至多预设数量个视频发送设备的起始i帧发送时段重叠。
8.在本技术实施例中,在多个视频发送设备向网络传输视频图像之前,网络设备为多个视频发送设备中的每一个视频发送设备分配起始i帧发送时段,之后,每一个视频发送设备按照分配的起始i帧发送时段向网络传输视频图像;由于本技术在多个视频发送设备向网络传输视频图像之前对多个视频发送设备的起始i帧发送时段进行统一调度,且对于多个视频发送设备中的任一个视频发送设备,这多个视频发送设备中至多有预设数量个视频发送设备的起始i帧发送时段与该任一个视频发送设备的起始i帧发送时段重叠;其中,该预设数量的具体取值可以根据需求来确定,例如该预设数量为零,从而使得多个视频发送设备的起始i帧发送时段不重叠,故可以提前预防视频发送设备之间发生i帧碰撞,增强用户体验。作为一种示例,该预设数量是根据视频图像传输的平均带宽确定的。需要说明的是,发生i帧碰撞并不必然导致网络拥塞、视频卡顿和丢帧;只有发生i帧碰撞的视频发送设备的数量达到一定数量,该一定数量的视频发送设备在该i帧碰撞的时段内的使用的总带宽超过网络规划的视频图像传输的平均带宽,才会导致网络拥塞、视频卡顿和丢帧。如此,可以控制使用同一起始i帧发送时段的视频发送设备的数量在合理范围内,即使发生i帧碰撞,也不会导致网络拥塞、视频卡顿和丢帧。
9.在一种可能的实现方式中,所述多个视频发送设备中的每一个视频发送设备的起
始i帧发送时段是根据所述多个视频发送设备中的视频发送设备的数量和多个起始i帧发送时段中的起始i帧发送时段的数量从所述多个起始i帧发送时段中确定的。应理解,多个起始i帧发送时段是可供用于分配给视频发送设备的多个起始i帧发送时段(也即可用起始i帧发送时段),多个起始i帧发送时段代指一类起始i帧发送时段,具体为视频图像中相邻的两个i帧之间的可用于作为起始i帧发送时段的时段,其中包括一个或多个时段。
10.在本实现方式中,多个视频发送设备中每一个视频发送设备的起始i帧发送时段是根据多个视频发送设备中的视频发送设备的数量和多个起始i帧发送时段中的起始i帧发送时段的数量确定的,故可以提前预防视频发送设备之间发生i帧碰撞,增强用户体验;或者控制使用同一起始i帧发送时段的视频发送设备的数量在合理范围内,即使发生i帧碰撞,也不会导致网络拥塞、视频卡顿和丢帧。
11.在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量小于或等于所述多个起始i帧发送时段中的起始i帧发送时段的数量,所述多个视频发送设备的起始i帧发送时段不重叠。
12.在本实现方式中,如果视频发送设备的数量小于或等于多个起始i帧发送时段中的起始i帧发送时段的数量,在对多个视频发送设备的起始i帧发送时段进行统一调度时,可以使多个视频发送设备中的每一个视频发送设备的起始i帧发送时段都不重叠,从而多个视频发送设备之间就不会发生i帧碰撞。
13.在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于所述多个起始i帧发送时段中的起始i帧发送时段的数量,所述多个视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述多个视频获取设备中的a-1个其他视频获取设备的起始i帧发送时段重叠,所述a的值为所述多个视频发送设备中的视频发送设备的数量与所述多个起始i帧发送时段中的起始i帧发送时段的数量的比值向上取整或向下取整。
14.在本实现方式中,如果视频发送设备的数量大于多个起始i帧发送时段中的起始i帧发送时段的数量,则多个视频发送设备的起始i帧发送时段不可避免地存在重叠;在对多个视频发送设备的起始i帧发送时段进行统一调度时,可以使多个视频发送设备的起始i帧发送时段尽可能均匀分布在多个起始i帧发送时段上;如此,相比于现有技术随机设定多个视频发送设备中的每个视频发送设备的起始i帧发送时段,本技术可以使得i帧碰撞的程度较小,能够避免因i帧碰撞而导致网络拥塞、进而导致视频卡顿/丢帧或降低因i帧碰撞而导致网络拥塞、进而导致视频卡顿/丢帧的程度。
15.在一种可能的实现方式中,所述多个视频发送设备中的第i个视频发送设备的起始i帧发送时段的起始时刻为(i-1)
×a×
b,所述a为视频图像的平均帧间隔,所述b为大于0的整数。
16.在本实现方式中,将多个视频发送设备中的第i个视频发送设备的起始i帧发送时段的起始时刻设置为(i-1)
×a×
b,由于每个视频发送设备的起始i帧发送时段的长度是相同的,故故按本实现方式设置可以实现视频发送设备之间的起始i帧发送时段错开。
17.在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于所述多个起始i帧发送时段中的起始i帧发送时段的数量;所述多个视频发送设备中的第一目标视频发送设备的数量小于或等于所述多个起始i帧发送时段中的第一目标起始i帧发送时段的数量;其中,所述第一目标视频发送设备为传输的视频图像中相邻的两个i帧之间
包含的目标单向预测编码帧(p帧)的数量大于第一预设阈值的视频发送设备,所述目标p帧为大小大于第二预设阈值的p帧;所述第一目标起始i帧发送时段的数量等于所述第一目标视频发送设备的带宽和与网络规划带宽的比值;所述第一目标视频发送设备的起始i帧发送时段是从所述第一目标起始i帧发送时段中确定的,所述第一目标视频发送设备的起始i帧发送时段不重叠。应理解,第一目标视频发送设备是指传输的视频图像中相邻的两个i帧之间包含的大小大于第二预设阈值的p帧的数量大于第一预设阈值的一类视频发送设备,其中包括一个或多个视频发送设备。此外,第一目标起始i帧发送时段为分配给第一目标视频发送设备的起始i帧发送时段,其中包括至少一个起始i帧发送时段。
18.在本实现方式中,传输的视频图像中相邻的两个i帧之间包含的大小大于第二预设阈值的p帧的数量大于第一预设阈值的视频发送设备,也即第一目标视频发送设备,为重要性较高的视频发送设备,这样的视频发送设备在实际应用中传输的视频图像一般为关键生产活动的视频图像;如果视频发送设备的数量大于多个起始i帧发送时段中的起始i帧发送时段的数量,则多个视频发送设备的起始i帧发送时段不可避免地存在重叠;在对多个视频发送设备的起始i帧发送时段进行统一调度时,可以优先为重要性较高的第一目标视频发送设备分配起始i帧发送时段,以确保关键生产活动的视频图像的画质不受影响。进一步地,可以从多个起始i帧发送时段中划分出第一目标起始i帧发送时段用于第一目标视频发送设备传输起始i帧,且划分出的第一目标起始i帧发送时段的数量等于多个视频发送设备中的所有第一目标视频发送设备的带宽和与网络规划带宽的比值;如果多个视频发送设备中的第一目标视频发送设备的数量小于或等于多个起始i帧发送时段中的第一目标起始i帧发送时段的数量,在对多个视频发送设备的起始i帧发送时段进行统一调度时,可以使多个视频发送设备中的每一个第一目标视频发送设备的起始i帧发送时段都不重叠,从而第一目标视频发送设备之间就不会发生i帧碰撞,关键生产活动的视频图像的画质就不会因i帧碰撞而受影响。
19.在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于所述多个起始i帧发送时段中的起始i帧发送时段的数量;所述多个视频发送设备中的第一目标视频发送设备的数量大于所述多个起始i帧发送时段中的第一目标起始i帧发送时段的数量;其中,所述第一目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量大于第一预设阈值的视频发送设备,所述目标p帧为大小大于第二预设阈值的p帧;所述第一目标起始i帧发送时段的数量等于所述第一目标视频发送设备的带宽和与网络规划带宽的比值;所述第一目标视频发送设备的起始i帧发送时段是从所述第一目标起始i帧发送时段中确定的,所述第一目标视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述第一目标视频发送设备中的c-1个其他视频获取设备的起始i帧发送时段重叠,所述c的值为所述第一目标视频发送设备的数量与所述第一目标起始i帧发送时段的数量的比值向上取整或向下取整。
20.在本实现方式中,传输的视频图像中相邻的两个i帧之间包含的大小大于第二预设阈值的p帧的数量大于第一预设阈值的视频发送设备,也即第一目标视频发送设备,为重要性较高的视频发送设备,这样的视频发送设备在实际应用中传输的视频图像一般为关键生产活动的视频图像;如果视频发送设备的数量大于多个起始i帧发送时段中的起始i帧发送时段的数量,则多个视频发送设备的起始i帧发送时段不可避免地存在重叠;在对多个视
频发送设备的起始i帧发送时段进行统一调度时,可以优先为重要性较高的第一目标视频发送设备分配起始i帧发送时段,以确保关键生产活动的视频图像的画质不受影响。进一步地,可以从多个起始i帧发送时段中划分出第一目标起始i帧发送时段用于第一目标视频发送设备传输起始i帧,且划分出的第一目标起始i帧发送时段的数量等于多个视频发送设备中的所有第一目标视频发送设备的带宽和与网络规划带宽的比值;如果多个视频发送设备中的第一目标视频发送设备的数量大于多个起始i帧发送时段中的第一目标起始i帧发送时段的数量,在对多个视频发送设备的起始i帧发送时段进行统一调度时,可以使多个视频发送设备中的第一目标视频发送设备的起始i帧发送时段尽可能均匀分布在多个起始i帧发送时段中的第一目标起始i帧发送时段上;如此,相比于现有技术随机设定多个视频发送设备中的每个视频发送设备的起始i帧发送时段,本技术可以使得重要性较高的第一目标视频发送设备与其他视频发送设备之间i帧碰撞的程度较小,能够避免第一目标视频发送设备传输视频图像时因i帧碰撞而导致网络拥塞、进而导致视频卡顿/丢帧或降低第一目标视频发送设备传输视频图像时因i帧碰撞而导致网络拥塞、进而导致视频卡顿/丢帧的程度,有利于确保关键生产活动的视频图像的画质不受i帧碰撞影响或因i帧碰撞影响小。
21.在一种可能的实现方式中,所述多个视频发送设备中的第二目标视频发送设备的起始i帧发送时段是从第二目标起始i帧发送时段中确定的,所述第二目标视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述第二目标视频发送设备中的d-1个其他视频获取设备的起始i帧发送时段重叠,所述d的值为所述第二目标视频发送设备的数量与所述第二目标起始i帧发送时段的数量的比值向上取整或向下取整;其中,所述第二目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量不大于第一预设阈值的视频发送设备;所述第二目标起始i帧发送时段为所述多个起始i帧发送时段中除所述第一目标起始i帧发送时段之外的起始i帧发送时段。应理解,第二目标视频发送设备是指传输的视频图像中相邻的两个i帧之间包含的大小大于第二预设阈值的p帧的数量不大于第一预设阈值的一类视频发送设备,其中包括一个或多个视频发送设备。此外,第二目标起始i帧发送时段为分配给第二目标视频发送设备的起始i帧发送时段,其中包括至少一个起始i帧发送时段。进一步地,所述第一目标起始i帧发送时段的结束时刻在所述第二目标起始i帧发送时段的起始时刻之前。
22.在本实现方式中,传输的视频图像中相邻的两个i帧之间包含的大小大于第二预设阈值的p帧的数量不大于第一预设阈值的视频发送设备,也即第二目标视频发送设备,为重要性较低的视频发送设备,这样的视频发送设备在实际应用中传输的视频图像一般为非关键生产活动的视频图像;在对多个视频发送设备的起始i帧发送时段进行统一调度时,为重要性较高的第一目标视频发送设备优先分配完第一目标起始i帧发送时段后,将多个起始i帧发送时段中剩下的第二目标起始i帧发送时段分配给重要性较低的第二目标视频发送设备使用,可以使第一目标视频发送设备的起始i帧发送时段尽可能均匀分布在第二目标起始i帧发送时段上;如此,相比于现有技术随机设定多个视频发送设备中的每个视频发送设备的起始i帧发送时段,本技术可以使得重要性较低的第二目标视频发送设备与其他视频发送设备之间i帧碰撞的程度较小,能够第二目标视频发送设备传输视频图像时避免因i帧碰撞而导致网络拥塞、进而导致视频卡顿/丢帧或降低第二目标视频发送设备传输视频图像时因i帧碰撞而导致网络拥塞、进而导致视频卡顿/丢帧的程度,有利于确保非关键
生产活动的视频图像的画质不受i帧碰撞影响或因i帧碰撞影响也小。
23.在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于或等于r/b+1,所述r为视频图像中相邻的两个i帧的间隔,所述b为大于0的整数;所述多个视频发送设备中的第j个第一目标视频发送设备的起始i帧发送时段的起始时刻为(j-1)
×a×
b与(m-1)
×a×
b的余数,所述j大于1且小于所述多个视频发送设备中的视频发送设备的数量,所述a为视频图像的平均帧间隔,所述m为所述多个视频发送设备中的第一目标视频发送设备的带宽和与网络规划带宽的比值;其中,所述第一目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量大于第一预设阈值的视频发送设备,所述目标p帧为大小大于第二预设阈值的p帧;所述多个视频发送设备中的第k个第二目标视频发送设备的起始i帧发送时段的起始时刻为(k-1)
×a×
b+(m-1)
×a×
b与(n-1)
×a×
b的余数,所述k大于1且小于所述多个视频发送设备中的视频发送设备的数量,所述n为多个起始i帧发送时段中的起始i帧发送时段的数量,n=rounddown(r/b+1);其中,所述第二目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量不大于所述第一预设阈值的视频发送设备。
24.在本实现方式中,多个视频发送设备中的第j个第一目标视频发送设备的起始i帧发送时段的起始时刻为(j-1)
×a×
b与(m-1)
×a×
b的余数,多个视频发送设备中的第k个第二目标视频发送设备的起始i帧发送时段的起始时刻为(k-1)
×a×
b+(m-1)
×a×
b与(n-1)
×a×
b的余数;例如,多个起始i帧发送时段包括时段1、时段2、时段3、......、时段m、时段m+1、时段m+2、......、时段n,则时段1、时段2、时段3、......、时段m分配给第一目标视频发送设备使用,时段m+1、时段m+2、......、时段n分配给第二目标视频发送设备使用,故可以实现将多个起始i帧发送时段的优先分配给第一目标视频发送设备;此外,由于每个视频发送设备的起始i帧发送时段的长度是相同的,故按本实现方式设置可以实现视频发送设备之间的起始i帧发送时段错开。
25.根据第二方面,本技术涉及另一种调度视频发送设备的方法,有益效果可以参阅第一方面的描述,此处不再赘述。该调度视频发送设备的方法应用于多个视频发送设备中的每一个视频发送设备,该方法包括:在所述多个视频发送设备向网络传输视频图像之前,接收来自网络设备的起始信息帧(i帧)发送时段,所述多个视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述多个视频发送设备中除所述任一个视频发送设备之外的至多预设数量个视频发送设备的起始i帧发送时段重叠。
26.在一种可能的实现方式中,所述多个视频发送设备中的每一个视频发送设备的起始i帧发送时段是根据所述多个视频发送设备中的视频发送设备的数量和多个起始i帧发送时段中的起始i帧发送时段的数量从所述多个起始i帧发送时段中确定的。
27.在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量小于或等于所述多个起始i帧发送时段中的起始i帧发送时段的数量,所述多个视频发送设备的起始i帧发送时段不重叠。
28.在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于所述多个起始i帧发送时段中的起始i帧发送时段的数量,所述多个视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述多个视频获取设备中的a-1个其他视频获取设备的起始i帧发送时段重叠,所述a的值为所述多个视频发送设备中的视频发送设备的数量
与所述多个起始i帧发送时段中的起始i帧发送时段的数量的比值向上取整或向下取整。
29.在一种可能的实现方式中,所述多个视频发送设备中的第i个视频发送设备的起始i帧发送时段的起始时刻为(i-1)
×a×
b,所述a为视频图像的平均帧间隔,所述b为大于0的整数。
30.在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于所述多个起始i帧发送时段中的起始i帧发送时段的数量;所述多个视频发送设备中的第一目标视频发送设备的数量小于或等于所述多个起始i帧发送时段中的第一目标起始i帧发送时段的数量;其中,所述第一目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标单向预测编码帧(p帧)的数量大于第一预设阈值的视频发送设备,所述目标p帧为大小大于第二预设阈值的p帧;所述第一目标起始i帧发送时段的数量等于所述第一目标视频发送设备的带宽和与网络规划带宽的比值;所述第一目标视频发送设备的起始i帧发送时段是从所述第一目标起始i帧发送时段中确定的,所述第一目标视频发送设备的起始i帧发送时段不重叠。
31.在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于所述多个起始i帧发送时段中的起始i帧发送时段的数量;所述多个视频发送设备中的第一目标视频发送设备的数量大于所述多个起始i帧发送时段中的第一目标起始i帧发送时段的数量;其中,所述第一目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量大于第一预设阈值的视频发送设备,所述目标p帧为大小大于第二预设阈值的p帧;所述第一目标起始i帧发送时段的数量等于所述第一目标视频发送设备的带宽和与网络规划带宽的比值;所述第一目标视频发送设备的起始i帧发送时段是从所述第一目标起始i帧发送时段中确定的,所述第一目标视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述第一目标视频发送设备中的c-1个其他视频获取设备的起始i帧发送时段重叠,所述c的值为所述第一目标视频发送设备的数量与所述第一目标起始i帧发送时段的数量的比值向上取整或向下取整。
32.在一种可能的实现方式中,所述多个视频发送设备中的第二目标视频发送设备的起始i帧发送时段是从第二目标起始i帧发送时段中确定的,所述第二目标视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述第二目标视频发送设备中的d-1个其他视频获取设备的起始i帧发送时段重叠,所述d的值为所述第二目标视频发送设备的数量与所述第二目标起始i帧发送时段的数量的比值向上取整或向下取整;其中,所述第二目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量不大于第一预设阈值的视频发送设备;所述第二目标起始i帧发送时段为所述多个起始i帧发送时段中除所述第一目标起始i帧发送时段之外的起始i帧发送时段。
33.在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于或等于r/b+1,所述r为视频图像中相邻的两个i帧的间隔,所述b为大于0的整数;所述多个视频发送设备中的第j个第一目标视频发送设备的起始i帧发送时段的起始时刻为(j-1)
×a×
b与(m-1)
×a×
b的余数,所述j大于1且小于所述多个视频发送设备中的视频发送设备的数量,所述a为视频图像的平均帧间隔,所述m为所述多个视频发送设备中的第一目标视频发送设备的带宽和与网络规划带宽的比值;其中,所述第一目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量大于第一预设阈值的视频发送设备,
所述目标p帧为大小大于第二预设阈值的p帧;所述多个视频发送设备中的第k个第二目标视频发送设备的起始i帧发送时段的起始时刻为(k-1)
×a×
b+(m-1)
×a×
b与(n-1)
×a×
b的余数,所述k大于1且小于所述多个视频发送设备中的视频发送设备的数量,所述n为多个起始i帧发送时段中的起始i帧发送时段的数量,n=rounddown(r/b+1);其中,所述第二目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量不大于所述第一预设阈值的视频发送设备。
34.在一种可能的实现方式中,所述多个视频发送设备中的任一个视频发送设备根据基准时间和所述任一个视频发送设备的起始i帧发送时段向网络首次发送i帧,在向网络首次发送i帧之后,按照预设周期间隔向网络发送i帧,所述预设周期间隔为视频图像中的i帧间隔。
35.在本实现方式中,对于多个视频发送设备中的任一个视频发送设备,根据基准时间和其起始i帧发送时段向网络首次发送i帧,在向网络首次发送i帧之后,按照预设周期间隔向网络发送i帧,而预设周期间隔可以为视频图像中的i帧间隔;如此,只要多个视频发送设备中的每一个视频发送设备首次发送i帧错开,之后发送i帧也会错开,从而之后的i帧发送也不会碰撞。
36.根据第三方面,本技术涉及一种调度视频发送设备的装置,有益效果可以参阅第一方面的描述,此处不再赘述。所述调度视频发送设备的装置具有实现上述第一方面的方法实例中行为的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一种可能的设计中,所述调度视频发送设备的装置应用于网络设备,所述装置包括:发送单元,用于在多个视频发送设备向网络传输视频图像之前,向所述多个视频发送设备分别发送起始信息帧(i帧)发送时段,所述多个视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述多个视频发送设备中除所述任一个视频发送设备之外的至多预设数量个视频发送设备的起始i帧发送时段重叠。
37.在一种可能的实现方式中,所述多个视频发送设备中的每一个视频发送设备的起始i帧发送时段是根据所述多个视频发送设备中的视频发送设备的数量和多个起始i帧发送时段中的起始i帧发送时段的数量从所述多个起始i帧发送时段中确定的。
38.在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量小于或等于所述多个起始i帧发送时段中的起始i帧发送时段的数量,所述多个视频发送设备的起始i帧发送时段不重叠。
39.在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于所述多个起始i帧发送时段中的起始i帧发送时段的数量,所述多个视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述多个视频获取设备中的a-1个其他视频获取设备的起始i帧发送时段重叠,所述a的值为所述多个视频发送设备中的视频发送设备的数量与所述多个起始i帧发送时段中的起始i帧发送时段的数量的比值向上取整或向下取整。
40.在一种可能的实现方式中,所述多个视频发送设备中的第i个视频发送设备的起始i帧发送时段的起始时刻为(i-1)
×a×
b,所述a为视频图像的平均帧间隔,所述b为大于0的整数。
41.在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于
所述多个起始i帧发送时段中的起始i帧发送时段的数量;所述多个视频发送设备中的第一目标视频发送设备的数量小于或等于所述多个起始i帧发送时段中的第一目标起始i帧发送时段的数量;其中,所述第一目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标单向预测编码帧(p帧)的数量大于第一预设阈值的视频发送设备,所述目标p帧为大小大于第二预设阈值的p帧;所述第一目标起始i帧发送时段的数量等于所述第一目标视频发送设备的带宽和与网络规划带宽的比值;所述第一目标视频发送设备的起始i帧发送时段是从所述第一目标起始i帧发送时段中确定的,所述第一目标视频发送设备的起始i帧发送时段不重叠。
42.在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于所述多个起始i帧发送时段中的起始i帧发送时段的数量;所述多个视频发送设备中的第一目标视频发送设备的数量大于所述多个起始i帧发送时段中的第一目标起始i帧发送时段的数量;其中,所述第一目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量大于第一预设阈值的视频发送设备,所述目标p帧为大小大于第二预设阈值的p帧;所述第一目标起始i帧发送时段的数量等于所述第一目标视频发送设备的带宽和与网络规划带宽的比值;所述第一目标视频发送设备的起始i帧发送时段是从所述第一目标起始i帧发送时段中确定的,所述第一目标视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述第一目标视频发送设备中的c-1个其他视频获取设备的起始i帧发送时段重叠,所述c的值为所述第一目标视频发送设备的数量与所述第一目标起始i帧发送时段的数量的比值向上取整或向下取整。
43.在一种可能的实现方式中,所述多个视频发送设备中的第二目标视频发送设备的起始i帧发送时段是从第二目标起始i帧发送时段中确定的,所述第二目标视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述第二目标视频发送设备中的d-1个其他视频获取设备的起始i帧发送时段重叠,所述d的值为所述第二目标视频发送设备的数量与所述第二目标起始i帧发送时段的数量的比值向上取整或向下取整;其中,所述第二目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量不大于第一预设阈值的视频发送设备;所述第二目标起始i帧发送时段为所述多个起始i帧发送时段中除所述第一目标起始i帧发送时段之外的起始i帧发送时段。
44.在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于或等于r/b+1,所述r为视频图像中相邻的两个i帧的间隔,所述b为大于0的整数;所述多个视频发送设备中的第j个第一目标视频发送设备的起始i帧发送时段的起始时刻为(j-1)
×a×
b与(m-1)
×a×
b的余数,所述j大于1且小于所述多个视频发送设备中的视频发送设备的数量,所述a为视频图像的平均帧间隔,所述m为所述多个视频发送设备中的第一目标视频发送设备的带宽和与网络规划带宽的比值;其中,所述第一目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量大于第一预设阈值的视频发送设备,所述目标p帧为大小大于第二预设阈值的p帧;所述多个视频发送设备中的第k个第二目标视频发送设备的起始i帧发送时段的起始时刻为(k-1)
×a×
b+(m-1)
×a×
b与(n-1)
×a×
b的余数,所述k大于1且小于所述多个视频发送设备中的视频发送设备的数量,所述n为多个起始i帧发送时段中的起始i帧发送时段的数量,n=rounddown(r/b+1);其中,所述第二目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量不大于所
述第一预设阈值的视频发送设备。
45.根据第四方面,本技术涉及另一种调度视频发送设备的装置,有益效果可以参阅第一方面的描述,此处不再赘述。所述调度视频发送设备的装置具有实现上述第二方面的方法实例中行为的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一种可能的设计中,所述调度视频发送设备的装置应用于多个视频发送设备中的每一个视频发送设备,所述装置包括:接收单元,用于在所述多个视频发送设备向网络传输视频图像之前,接收来自网络设备的起始信息帧(i帧)发送时段,所述多个视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述多个视频发送设备中除所述任一个视频发送设备之外的至多预设数量个视频发送设备的起始i帧发送时段重叠。
46.在一种可能的实现方式中,所述多个视频发送设备中的每一个视频发送设备的起始i帧发送时段是根据所述多个视频发送设备中的视频发送设备的数量和多个起始i帧发送时段中的起始i帧发送时段的数量从所述多个起始i帧发送时段中确定的。
47.在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量小于或等于所述多个起始i帧发送时段中的起始i帧发送时段的数量,所述多个视频发送设备的起始i帧发送时段不重叠。
48.在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于所述多个起始i帧发送时段中的起始i帧发送时段的数量,所述多个视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述多个视频获取设备中的a-1个其他视频获取设备的起始i帧发送时段重叠,所述a的值为所述多个视频发送设备中的视频发送设备的数量与所述多个起始i帧发送时段中的起始i帧发送时段的数量的比值向上取整或向下取整。
49.在一种可能的实现方式中,所述多个视频发送设备中的第i个视频发送设备的起始i帧发送时段的起始时刻为(i-1)
×a×
b,所述a为视频图像的平均帧间隔,所述b为大于0的整数。
50.在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于所述多个起始i帧发送时段中的起始i帧发送时段的数量;所述多个视频发送设备中的第一目标视频发送设备的数量小于或等于所述多个起始i帧发送时段中的第一目标起始i帧发送时段的数量;其中,所述第一目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标单向预测编码帧(p帧)的数量大于第一预设阈值的视频发送设备,所述目标p帧为大小大于第二预设阈值的p帧;所述第一目标起始i帧发送时段的数量等于所述第一目标视频发送设备的带宽和与网络规划带宽的比值;所述第一目标视频发送设备的起始i帧发送时段是从所述第一目标起始i帧发送时段中确定的,所述第一目标视频发送设备的起始i帧发送时段不重叠。
51.在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于所述多个起始i帧发送时段中的起始i帧发送时段的数量;所述多个视频发送设备中的第一目标视频发送设备的数量大于所述多个起始i帧发送时段中的第一目标起始i帧发送时段的数量;其中,所述第一目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量大于第一预设阈值的视频发送设备,所述目标p帧为大小大于第二预设阈值的p帧;所述第一目标起始i帧发送时段的数量等于所述第一目标视频发送设备的带宽和与
网络规划带宽的比值;所述第一目标视频发送设备的起始i帧发送时段是从所述第一目标起始i帧发送时段中确定的,所述第一目标视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述第一目标视频发送设备中的c-1个其他视频获取设备的起始i帧发送时段重叠,所述c的值为所述第一目标视频发送设备的数量与所述第一目标起始i帧发送时段的数量的比值向上取整或向下取整。
52.在一种可能的实现方式中,所述多个视频发送设备中的第二目标视频发送设备的起始i帧发送时段是从第二目标起始i帧发送时段中确定的,所述第二目标视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述第二目标视频发送设备中的d-1个其他视频获取设备的起始i帧发送时段重叠,所述d的值为所述第二目标视频发送设备的数量与所述第二目标起始i帧发送时段的数量的比值向上取整或向下取整;其中,所述第二目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量不大于第一预设阈值的视频发送设备;所述第二目标起始i帧发送时段为所述多个起始i帧发送时段中除所述第一目标起始i帧发送时段之外的起始i帧发送时段。
53.在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于或等于r/b+1,所述r为视频图像中相邻的两个i帧的间隔,所述b为大于0的整数;所述多个视频发送设备中的第j个第一目标视频发送设备的起始i帧发送时段的起始时刻为(j-1)
×a×
b与(m-1)
×a×
b的余数,所述j大于1且小于所述多个视频发送设备中的视频发送设备的数量,所述a为视频图像的平均帧间隔,所述m为所述多个视频发送设备中的第一目标视频发送设备的带宽和与网络规划带宽的比值;其中,所述第一目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量大于第一预设阈值的视频发送设备,所述目标p帧为大小大于第二预设阈值的p帧;所述多个视频发送设备中的第k个第二目标视频发送设备的起始i帧发送时段的起始时刻为(k-1)
×a×
b+(m-1)
×a×
b与(n-1)
×a×
b的余数,所述k大于1且小于所述多个视频发送设备中的视频发送设备的数量,所述n为多个起始i帧发送时段中的起始i帧发送时段的数量,n=rounddown(r/b+1);其中,所述第二目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量不大于所述第一预设阈值的视频发送设备。
54.在一种可能的实现方式中,所述多个视频发送设备中的任一个视频发送设备根据基准时间和所述任一个视频发送设备的起始i帧发送时段向网络首次发送i帧,在向网络首次发送i帧之后,按照预设周期间隔向网络发送i帧,所述预设周期间隔为视频图像中的i帧间隔。
55.根据第五方面,本技术涉及一种网络设备,包括:一个或多个处理器;非瞬时性计算机可读存储介质,耦合到所述处理器并存储由所述处理器执行的程序,其中所述程序在由所述处理器执行时,使得所述网络设备执行第一方面任意一种可能的实施例中的方法。需要说明的是,本技术所述的网络设备是指具有计算能力的各类装置,本技术不限定其具体实现。
56.根据第六方面,本技术涉及一种视频发送设备,包括:一个或多个处理器;非瞬时性计算机可读存储介质,耦合到所述处理器并存储由所述处理器执行的程序,其中所述程序在由所述处理器执行时,使得所述视频发送设备执行第二方面任意一种可能的实施例中的方法。需要说明的是,本技术所述的视频发送设备是指具有计算能力的各类装置,本技术
不限定其具体实现。
57.根据第七方面,本技术涉及一种非瞬时性计算机可读存储介质,包括程序代码,当其由计算机设备执行时,用于执行第一方面或第二方面任意一种可能的实施例中的方法。
58.根据第八方面,本技术涉及包括程序代码的计算机程序产品,所述程序代码在运行时执行第一方面或第二方面任意一种可能的实施例中的方法。
59.根据第九方面,本技术涉及了一种芯片,包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有上述芯片的设备执行如上述第一方面或第二方面中任一项上述的方法。
60.附图及以下说明中将详细描述一个或多个实施例。其它特征、目的和优点在说明、附图以及权利要求中是显而易见的。
附图说明
61.下面对本技术实施例用到的附图进行介绍。
62.图1是本技术实施例提供的一种多摄像头协同的应用场景示意图;
63.图2是本技术实施例提供的一种基于移动通信的多摄像头协同的系统;
64.图3是本技术实施例提供的一种多摄像头的起始i帧发送时段的调度流程示意图;
65.图4是本技术实施例提供的一种分光采集流量的示意图;
66.图5是本技术实施例提供的一种路由器镜像采集流量的示意图;
67.图6是本技术实施例提供的一种调度视频发送设备的方法的流程示意图;
68.图7是本技术实施例提供的一种调度视频发送设备的装置的结构示意图;
69.图8是本技术实施例提供的另一种调度视频发送设备的装置的结构示意图;
70.图9是本技术实施例提供的一种网络设备的结构示意图;
71.图10是本技术实施例提供的一种视频发送设备的结构示意图。
具体实施方式
72.首先,对本技术中的部分用语进行解释说明,以便于本领域技术人员理解。
73.第五代移动通信技术(fifth-generation或者5th generation,简称5g),指的是移动电话系统第五代,也是4g之后的延伸。
74.网络数据分析功能(network data analytics function,nwdaf),3gpp标准定义的5g核心网络(the 5th generation core,5gc)的一种网络功能(network function,nf)。nwdaf提供网络切片实例的标识符,以及该网络片实例的负载等级信息。nwdaf允许nf消费者订阅超过阈值时的通知。
75.管理数据分析功能(management data analytics function,mdaf),3gpp标准定义的5gc的一种nf。mdaf为一个或多个nf、网络切片子网实例(network slice subnetinstance,nssi)和/或网络切片实例(network slice instance,nsi)提供管理数据分析服务。
76.客户终端设备(customer-premises equipment,cpe),是位于用户所在地的任何终端和相关设备,并且在分界点连接到运营商的网络。分界点是在建筑物或综合体中建立的一个点,用于将客户设备与位于通信服务提供商的分配基础设施或中心办公室中的设备
分开。cpe一般指的是电话,路由器,网络交换机,住宅网关(rg),机顶盒,固定移动融合产品,家庭网络适配器和互联网接入网关等设备。
77.用户面功能(user plane function,upf),upf(参阅3gpp ts 23.501)承载的功能包括:系统内/间移动的锚定,连接到外部数据网络,分组路由和转发,用户面策略执行,流量使用报告,等。
78.移动边缘计算(mobile edge computing,mec),是一种网络架构,在蜂窝网络的边缘实现云计算功能和it服务环境,是5g网络的重要组成部分。
79.gop(group of pictures),一组图像序列,解码器还原图像的最小单位。通常由一组i帧、p帧、b帧组成,p帧和b帧可选。一个gop通常以一个i帧开始,以下一个i帧的前一帧作为结束。
80.信息帧(intra coded frames,i-frame),简称i帧,也称为帧内编码帧或关键帧。在高级数据链路控制(high-level data link control,hdlc)帧中,i帧用于传送有效信息或数据,以控制字段第一位是二进制数0为标志,又称为内部画面(intra picture)。i帧通常是每个gop的第一个帧,经过适度地压缩,做为随机访问的参考点,可以当成图像。i帧是一种自带全部信息的独立帧,无需参考其他图像便可独立进行解码。视频序列中的第一个帧始终都是i帧。
81.单向预测编码帧(predicted frames,p-frame),简称p帧,也称前向预测编码帧。p帧表示的是当前帧画面与前一帧的差别。解码时需要用之前的画面叠加上本帧定义的差别,生成最终画面。一般来说,现网i帧的码率是p帧码率的10倍。
82.双向预测编码帧(bi-directional predicted frames,b-frame),简称b帧。b帧记录的是本帧与前后帧的差别。要解码b帧,不仅要取得之前的缓存画面,还要解码之后的画面,通过前后画面的与本帧数据的叠加取得最终的画面。b帧压缩率高,但是对解码性能要求较高。
83.网络摄像头或ip摄像头(ip camera,ipc),是一种可产生数字视频流并将视频流通过有线或无线网络进行传输的摄像头。
84.可编程逻辑控制器(programmable logic controller,plc),是专门为在工业环境下应用而设计的数字运算操作电子系统。
85.二层隧道协议(layer two tunneling protocol,l2tp),可以对网络数据流进行加密。
86.网络视频录像机(network video recorder,nvr),是网络视频监控系统的存储转发部分。nvr与视频编码器或网络摄像头协同工作,完成视频的录像、存储及转发功能。
87.超高可靠性超低时延通信(ultra-reliable low-latency communication,urllc),要求高可靠、高可用、低时延,可以支持自动化工厂、远程手术等业务的可靠运行,可以满足自动驾驶,远程控制无人机等业务的低时延需求。
88.其次,对本技术的应用场景进行示例性介绍。
89.大量行业的业务应用需要多摄像头协同来完成,除了工业领域有众多公司与移动运营商合作外,各港口、码头公司也纷纷与移动运营商合作,基于移动运营商的网络进行生产活动。本技术适用领域为所有使用运营商网络进行日常生产活动的领域,包括港口、钢铁、煤炭、物流、仓储、医疗等等。
90.以一工业企业为例,基于移动通信网络的多摄像头协同来进行日常生产活动的详细过程如图1所示:
91.(1)在生产车间里,无人天车旁边安装了多个ipc摄像头,进行现场视频拍摄。
92.(2)ipc摄像头拍摄的现场视频报文通过交换机、5g客户终端设备(5g cpe)接入移动运营商5g网络,将视频报文传送到中控室。
93.(3)中控室内的工作人员通过观察现场视频,进行无人天车远程控制,控制信号同样通过移动运营商的5g网络发送给无人天车。
94.上述应用场景是典型的5g超高可靠性超低时延通信(5g urllc)应用场景,需要ipc摄像头拍摄的现场视频,并实时完整的传送到中控室,才能保障无人天车远程操作的及时准确。在现场视频传输路径上,如果出现网络拥塞,则会影响现场视频的完整、实时的传送到中控室,导致操作失败甚至引起安全事故。
95.视频画面包含大量的数据,因而占用大量带宽。为了减少网络需要传输的数据量,同时减少网络拥塞,通常需要对视频进行压缩后再通过网络传输。在h.264压缩标准中,i帧、p帧、b帧用于表示传输的视频画面。此外,视频监控中需要视频画面是实时的,对画面的流畅性要求较高,而b帧的实时性不强,因此现阶段的监控视频编码都只采用i帧和p帧进行传输。
96.i帧间隔设置的小,可改善图像质量,但同时增加网络带宽;i帧间隔设置过大,会影响编码的稳定性,从而影响图像的质量。市场上各款摄像头的编码,默认i帧间隔是50,中间间隔49个p帧。
97.通常实际应用中,网络会同时传输多路摄像头的监控视频。为了节约带宽资源,网络带宽规划是根据视频传输的平均带宽需求进行的,一旦多路摄像头的i帧同时传输,就可能超出平均带宽,出现多路摄像头间的i帧碰撞,就会导致网络拥塞、视频卡顿和丢帧,从而影响生产领域的操作控制。
98.再次,为了便于理解本技术实施例,进一步分析并提出本技术所具体要解决的技术问题。目前,关于如何解决多摄像头联合工作场景下,摄像头间发生i帧碰撞而导致网络拥塞问题,包括多种技术方案,以下示例性的列举如下三种。
99.方案一:当前摄像头厂家们有考虑在摄像头侧进行一些优化,但都无法很好的解决。比如降低i帧大小,平滑码流,但会牺牲清晰度;或者增加摄像头发送缓存,拉大i帧的发送时间,平滑码流,但会牺牲时延,造成视频画面延迟/卡顿。
100.方案二:网络设备商也有考虑在基站(gnb)上增加缓存,当发生i帧碰撞(网络流量突发增加)时,将视频报文先进行缓存,再平滑发送。此方案的问题是缓存视频码流会引入时延,工业领域需要根据实时视频进行精细操控,视频存在延迟、不同步对工业领域来说难以接受。
101.方案三:后端设备(视频接收设备)判断在预设时间范围是否接收到多个i帧,以此来判断是否发生了i帧碰撞;如果发生了i帧碰撞,将多个摄像头设备中的至少对应碰撞设备的i帧产生时间进行散列调整,以使得后端设备均匀接收到i帧;后端设备下发i帧时刻调整命令给摄像头(前端视频设备)。该方案在网络已经发生了i帧碰撞后才进行摄像头i帧时刻调整,工业生产业务已经受到了一定影响(用户体验受影响)。此外,实际网络中的摄像头维护操作经常进行,比如增加新摄像头等,若基于该方案,网络中还会大量的发生i帧碰撞。
因此,该方案为了使后端设备均匀收到i帧,调整前端视频设备i帧产生的目标时隙,使同一个时隙内所存在的i帧的个数小于等于阈值;如果摄像头数量过多,可能导致各时隙内的i帧个数超过阈值,从而发生网络拥塞,造成视频画面延迟/卡顿。
102.综上,上述方案均没有在系统初始运行时就进行预防性的摄像头参数调整,也即没有提前预防摄像头之间发生i帧碰撞。因此,本技术所要解决的技术问题包括:在多摄像头协同工作场景中,如何提前预防摄像头之间发生i帧碰撞的问题,如何提前预防因i帧碰撞而导致网络拥塞、进而导致视频卡顿/丢帧的问题。
103.基于上述,本技术提供一种基于移动通信的多摄像头协同的系统。请参阅图2,该基于移动通信的多摄像头协同的系统包括:5gc网元、探针、管理节点、摄像头维护平台、多个摄像头等。下面对该基于移动通信的多摄像头协同的系统各个部分进行详细介绍。
104.1、5gc网元。
105.在本技术中,5gc网元负责检测各摄像头的画面变化频率等级,并将该信息上报给管理节点。其中,摄像头的画面变化频率等级也即摄像头传输的视频图像的画面变化频率等级。
106.2、探针。
107.在本技术中,探针是一种进行网络流量的旁路获取并进行网络流量分析,用于网络性能分析的设备,可用于检测各摄像头的画面变化频率等级,并将该信息上报给管理节点。
108.3、管理节点。
109.在本技术中,管理节点至少具备如下功能:
110.(1)接收摄像头维护平台通知的摄像头上线、下线、画面变化频率等级等信息,并动态维护一个在线摄像头的列表,该摄像头列表包含摄像头的唯一标识(id)、摄像头的ip地址(ip)、画面变化频率等级以及摄像头状态(在线/不在线)。
111.其中,管理节点维护的摄像头列表中各参数的定义如表1所示。
112.表1参数定义表
[0113][0114]
(2)确定各在线的摄像头的起始i帧发送时段。其中,管理节点确定的各在线的摄像头的起始i帧发送时段不同,或者各在线的摄像头中的至少部分摄像头的起始i帧发送时段不同。管理节点在确定各在线摄像头的起始i帧发送时段时,如果在线摄像头数量过多,有的摄像头的起始i帧发送时段会重叠,则优先确保画面变化频率等级为高的摄像头的起始i帧发送时段与其他摄像头的起始i帧发送时段不重叠。
[0115]
(3)将摄像头参数调整指令下发给摄像头维护平台。其中,该摄像头参数调整指令中包含摄像头的id/ip和起始i帧发送时段的设置。
[0116]
其中,管理节点可以是3gpp标准中定义的nwdaf或mdaf。
[0117]
4、摄像头维护平台。
[0118]
在本技术中,摄像头维护平台至少具备如下功能:
[0119]
(1)维护一张摄像头列表,其维护的摄像头列表中各参数的定义如表1所示,以及向管理节点通知摄像头上线(如增加了新摄像头、摄像头故障修复)、上线摄像头的id、上线摄像头的ip、上线摄像头的画面变化频率等级,以及摄像头下线(如拆除了摄像头、摄像头故障)、下线摄像头的id、下线摄像头的ip、下线摄像头的画面变化频率等级的等信息。
[0120]
(2)接收管理节点下发的摄像头参数调整指令。
[0121]
(3)按管理节点下发的摄像头参数调整指令,调整相应摄像头的参数。
[0122]
其中,摄像头维护平台属于3gpp标准中定义的应用功能实体(application function,af),摄像头维护平台可以是管理节点中的一个子模块或子功能。
[0123]
5、摄像头。
[0124]
在本技术中,摄像头维护平台至少具备如下功能:
[0125]
(1)接收摄像头维护平台的指令,进行参数设置。
[0126]
(2)获取视频图像以及对获取的视频图像进行压缩编码后向网络发送。
[0127]
其中,摄像头可以为网络摄像头、网络硬盘录像机(network video recorder,nvr)、硬盘录像机(digital video recorder,dvr)等。
[0128]
如图2所示,该基于移动通信的多摄像头协同的系统还可以包括客户终端设备(cpe)、基站(gnb)、路由器(或交换机)以及视频显示设备。其中,多个摄像头采集的视频图像通过客户终端设备发给基站,路由器(或交换机)位于基站与5gc网元之间以及5gc网元与视频显示设备之间,视频显示设备可以为高清显示屏等。
[0129]
现有技术的后端设备随机设定每个摄像头的起始i帧发送时段。本技术的管理节点事先设定每个摄像头的起始i帧发送时段;进一步地,本技术的管理节点可以根据摄像头的画面变化频率级别设定每个摄像头的起始i帧发送时段。现有技术不事先安排每个摄像头的起始i帧发送时段,容易产生i帧冲突;本技术事先安排好每个摄像头的起始i帧发送时段,即尽量错峰发送。现有技术触发每个摄像头按随机设定起始i帧发送时段向后端设备发送视频帧(也即视频图像)。本技术触发每个摄像头按指定的起始i帧发送时段向摄像头维护平台发送视频帧。现有技术的后端设备检测到i帧冲突后,调整发生i帧冲突的摄像头的起始i帧发送时段,故现有技术要等i帧发生冲突之后再做调整,影响用户体验;本技术无需检测冲突,事先设置避免i帧发生冲突。
[0130]
请参阅图3,图3是本技术实施例提供的一种多摄像头的起始i帧发送时段的调度流程示意图。该调度流程基于图2所示的系统实现,该调度流程包括如下步骤。
[0131]
一、系统初始化流程。
[0132]
1.1、摄像头维护平台将其维护的摄像头列表通知给管理节点。
[0133]
具体地,管理节点开始启动运行后,摄像头维护平台向管理节点发通知消息,该通知消息包括摄像头列表,该摄像头列表中包含各摄像头的id、ip、画面变化频率等级以及摄像头状态;管理节点接收到摄像头维护平台发来的摄像头列表后,将其保存在管理节点本地维护的摄像头列表中。假设初始有10个摄像头在线,摄像头维护平台向管理节点发送的摄像头列表如表2所示。
[0134]
表2摄像头列表
[0135]
摄像头id摄像头ip摄像头状态画面变化频率等级id1摄像头ip1在线高id2摄像头ip2在线高id3摄像头ip3在线高id4摄像头ip4在线低id5摄像头ip5在线低id6摄像头ip6在线低id7摄像头ip7在线低id8摄像头ip8在线低id9摄像头ip9在线低id10摄像头ip10在线低
[0136]
二、摄像头信息更新流程。
[0137]
1.2、摄像头维护平台将摄像头上线、摄像头下线情况通知给管理节点。
[0138]
管理节点接收来自摄像头维护平台的通知消息,该通知消息用于通知摄像头上线和/或摄像头下线,该通知消息包括上线或下线的摄像头的id、摄像头的ip、摄像头的画面变化频率等级等信息。
[0139]
具体地,管理节点在运行过程中,摄像头维护平台向管理节点通知摄像头上线(如增加了新摄像头、摄像头故障修复)以及摄像头下线(如拆除了摄像头、摄像头故障)的变化信息。该信息中包含摄像头的id、ip、画面变化频率等级以及摄像头状态。管理节点接收到该信息后,根据摄像头id查找地维护的摄像头列表,并更新对应摄像头的状态、画面变化频率等级等信息。假设,上线了两个摄像头,该上线的两个摄像头的id分别为id11、id12;下线了一个摄像头,该下线的摄像头的id为id3,则管理节点更新后的摄像头列表如表3所示。
[0140]
表3更新后的摄像头列表
[0141]
摄像头id摄像头ip摄像头状态画面变化频率等级id1摄像头ip1在线高id2摄像头ip2在线高id3摄像头ip3不在线高id4摄像头ip4在线低id5摄像头ip5在线低id6摄像头ip6在线低id7摄像头ip7在线低id8摄像头ip8在线低id9摄像头ip9在线低id10摄像头ip10在线低id11摄像头ip11在线低id12摄像头ip12在线低
[0142]
三、摄像头画面变化频率自动检测流程。
[0143]
摄像头的画面变化频率等级可以在摄像头维护平台中由用户预先配置,也可以由5gc网元/探针自动检测得到。如果摄像头维护平台中没有预先配置摄像头的画面变化频率等级,则需要由5gc网元/探针自动检测。下面描述的是由5gc网元探针自动检测的过程。
[0144]
1.3、5gc网元/探针检测摄像头的画面变化频率等级。
[0145]
如果是通过探针进行摄像头的画面变化频率等级的检测,则探针需要先从5gc网络上采集流量。探针从5gc网络上采集流量的方法,有以下几种:
[0146]
(1)分光采集,使用分光器进行采集,分光器是一种无源器件,用于将一条光纤上的光功率分到多条光纤上。分光采集如图4所示。
[0147]
(2)路由器镜像采集,路由器都支持端口镜像功能,该功能可将路由器的一个或多个被监控端口的数据复制一份到指定的监控端口上,以便进行数据的分析和监控。路由器镜像采集如图5所示。
[0148]
作为一种示例,5gc网元或探针检测摄像头画面变化频率等级的方法如下:
[0149]
定义两种预设阈值:(1)第二预设阈值,也即p帧大小预设阈值;(2)第一预设阈值,也即相邻的两个i帧间大小超过第二预设阈值的p帧的个数预设阈值。其中,p帧表示当前帧
画面与前一帧画面的差别,其大小可以用来代表视频画面的变化情况。
[0150]
如此,可以基于第一预设阈值来定义各摄像头的画面变化频率等级的高和低。如果相邻的两个i帧间大小超过第二预设阈值的p帧的个数大于第一预设阈值,则说明摄像头的画面变化频率等级高;例如相邻的两个i帧间有很多p帧大小超过第二预设阈值,则说明摄像头的画面变化频率等级高。如果相邻的两个i帧间大小超过第二预设阈值的p帧的个数不大于第一预设阈值,则说明摄像头的画面变化频率等级低;例如相邻的两个i帧间的所有p帧大小都未超过第二预设阈值,则说明摄像头的画面变化频率等级很低,画面基本处于静止状态。
[0151]
举例来说,第二预设阈值为20k byte,第一预设阈值为30个,基于第一预设阈值来定义各摄像头的画面变化频率[高,低]。举例:当两个i帧间大小超过20k byte的p帧数量大于30个,则摄像头的画面变化频率等级为高;当两个i帧间大小超过20k byte的p帧数量小于或等于30个,则摄像头的画面变化频率等级为低。
[0152]
1.4、5gc网元/探针将检测到的各摄像头的画面变化频率等级通知给管理节点。
[0153]
其中,假设5gc网元或探针初始检测一个摄像头的画面变化频率等级为高,并上报给了管理节点。在后续的检测中,若连续多次(具体次数视具体情况而定,例如为三次)检测到该摄像头的画面变化频率等级均为低,则认为该摄像头的画面变化频率等级变更为低,并上报给管理节点。
[0154]
四、摄像头的起始i帧发送时段确定流程。
[0155]
管理节点主动设置网络中各摄像头的起始i帧发送时段,将各摄像头的i帧发送时间错开。进一步地,优先保证画面变化频率级别为高的摄像头不与其他摄像头的起始i帧发送时段重叠,从而确保从事关键生产活动的摄像头的画质不受影响。
[0156]
2.1、管理节点动态维护摄像头列表,确定各在线摄像头的起始i帧发送时段。
[0157]
(1)预设时段错开规则。
[0158]
管理节点按照预设时段错开规则根据确定各摄像头的起始i帧发送时段,预设时段错开规则为:n个摄像头中的第i个摄像头的起始i帧发送时段的起始时刻为(i-1)
×a×
b,1≤i≤n,a为视频图像的平均帧间隔,b为大于0的整数,其中,i帧发送时段的起始时刻的单位为毫秒(ms)。
[0159]
需要说明的是,a是与帧率有关的参数,例如视频图像中1s播放25帧,则每帧平均需要40ms,则a为40ms。b为相邻传输视频图像的两个摄像头的起始i帧发送时段的错开帧数,理论上差一帧即可错开,也即b的取值为1;但是考虑启动命令延迟,启动的延迟变化,网络抖动等,可以采用多帧错开建立碰撞保护带,也即b的取值大于1,例如b等于3,保护带为3帧;此外,若a为40ms,则保护带时长为120ms。
[0160]
作为一种示例,本技术可以仅确定各在线摄像头的起始i帧发送时段,而不确定不在线摄像头的起始i帧发送时段。例如,有m个在线摄像头,则m个在线摄像头中的第i个在线摄像头的起始i帧发送时段的起始时刻为(i-1)
×a×
b,1≤i≤m,a为视频图像的平均帧间隔,b为大于0的整数,其中,i帧发送时段的起始时刻的单位为毫秒(ms)。
[0161]
具体地,在确定各在线摄像头的起始i帧发送时段时,管理节点遍历其维护的摄像头列表,忽略不在线的摄像头,对于第一个在线的摄像头,设置i为1,计算其起始i帧发送时段的起始时刻为0ms;对于第二个在线的摄像头,i取值为2,计算其起始i帧发送时段的起始
时刻为120ms;后面在线的摄像头,依此类推,从而计算得到所有摄像头状态为在线的摄像头的起始i帧发送时段的起始时刻,并记录在摄像头列表中。
[0162]
举例来说,a为40ms,b为3,起始i帧发送时段错开规则为:对于第i个摄像头,其起始i帧发送时段为(i-1)
×
120ms;假设有10个摄像头在线,则这10个在线摄像头的起始i帧发送时段的起始时刻如表4所示。
[0163]
表4摄像头列表(含起始i帧发送时段的起始时刻)
[0164][0165]
需要说明的是,对于一般情况下的i帧间隔50帧,以1个i帧为起始,余下49个p帧;若平均帧间隔为40ms,也即每帧40ms,那么50帧会在2s时间内发完,在2s后,会重新开始发送1个i帧和49个p帧,如此循环。因此,若按照(n-1)
×
120ms的方式设置在线摄像头的起始i帧发送时段,则到第18个摄像头时,就会循环回来,与第一个在线摄像头的起始i帧发送时段重叠,如表5所示。
[0166]
表5摄像头的起始i帧发送时段的起始时刻表
[0167][0168]
在表5中,摄像头id为id18的在线摄像头的起始i帧发送时段的起始时刻为2040ms,而此时对于摄像头id为id1的在线摄像头来说,其已经完成了一组i帧和p帧(1个i帧+49个p帧)的发送,此时在发送i帧;也即,摄像头id为id18的在线摄像头的起始i帧发送时段与摄像头id为id1的在线摄像头发生了重叠。如此,此时可用起始i帧发送时段的数量为17个。
[0169]
如前描述,按照前述时段错开规则,各摄像头的起始i帧发送时段会均匀分布在各时段,如表6所示。
[0170]
表6摄像头与起始i帧发送时段的对应表
[0171][0172]
(2)考虑摄像头的重要性因素下的预设时段错开规则。
[0173]
管理节点进一步地可以根据摄像头的画面变化频率等级来设置各摄像头的起始i帧发送时段,避免大量低等级摄像头的起始i帧发送时段与高等级摄像头的起始i帧发送时段重叠在一起,影响高等级摄像头的画质。具体分以下两种情况:
[0174]
第一种情况,若n<r/b+1,则摄像头的数量少于多个起始i帧发送时段中的起始i帧发送时段的数量(也即可用起始i帧发送时段的数量)n,n个摄像头中的每个摄像头的起始i帧发送时段不会重叠;其中,n=rounddown(r/b+1),rounddown表示rounddown函数,rounddown函数是指靠近零值,向下(绝对值减小的方向)舍入数字;r为视频图像中相邻的两个i帧的间隔(例如r可以等于50),b为大于0的整数,b的含义解释如前描述。
[0175]
此种情况下,考虑摄像头的重要性因素下的预设时段错开规则为:n个摄像头中的第i个摄像头的起始i帧发送时段的起始时刻为(i-1)
×a×
b,a为视频图像的平均帧间隔,b为大于0的整数,其中,i帧发送时段的起始时刻的单位为毫秒(ms)。
[0176]
例如,a为40ms,b为3,若n《r
×
40/120+1=r/3+1,则对于第i(1≤i≤n)个摄像头,其起始i帧发送时段的起始时刻表示为:tsend-i=(i-1)
×
120ms。
[0177]
第二种情况,若n≥r/b+1,则摄像头的数量大于多个起始i帧发送时段中的起始i帧发送时段的数量,n个摄像头中存在起始i帧发送时段重叠的摄像头;其中,r为视频图像中相邻的两个i帧的间隔,b为大于0的整数,b的含义解释如前描述。
[0178]
此种情况下,考虑摄像头的重要性因素下的预设时段错开规则为:n个摄像头中的第j个第一目标摄像头的起始i帧发送时段的起始时刻为(j-1)
×a×
b与(m-1)
×a×
b的余数,j为大于1且小于n的整数,a为视频图像的平均帧间隔,m为n个摄像头中的所有第一目标摄像头的带宽和与网络规划带宽的比值;其中,第一目标摄像头传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量大于第一预设阈值,目标p帧为大小大于第二预设阈值的p帧;n个摄像头中的第k个第二目标摄像头的起始i帧发送时段的起始时刻为(k-1)
×a×
b+(m-1)
×a×
b与(n-1)
×a×
b的余数,k为大于1且小于n的整数,n为多个起始i帧发送时段中的起始i帧发送时段的数量;其中,第二目标摄像头传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量不大于第一预设阈值;其中,i帧发送时段的起始时刻的单位为毫秒(ms)。公式表示如下:
[0179]
tsend-j=rem((j-1)
×a×
b,(m-1)
×a×
b);
[0180]
tsend-k=rem((k-1)
×a×
b+(m-1)
×a×
b,(n-1)
×a×
b);
[0181]
其中,send-j表示第j个第一目标摄像头的起始i帧发送时段的起始时刻,rem表示取余数,tsend-k表示第k个第二目标摄像头的起始i帧发送时段的起始时刻。
[0182]
也即,考虑摄像头的重要性因素下的预设时段错开规则为:n个摄像头中的第j个画面变化频率等级为高的摄像头的起始i帧发送时段的起始时刻为(j-1)
×a×
b与(m-1)
×a×
b的余数,j为大于1且小于n的整数,a为视频图像的平均帧间隔,m为n个摄像头中的所有画面变化频率等级为高的摄像头的带宽和与网络规划带宽的比值;n个摄像头中的第k个画面变化频率等级为低的摄像头的起始i帧发送时段的起始时刻为(k-1)
×a×
b+(m-1)
×a×
b与(n-1)
×a×
b的余数,k为大于1且小于n的整数,n为多个起始i帧发送时段中的起始i帧发送时段的数量,n=rounddown(r/b+1);其中,i帧发送时段的起始时刻的单位为毫秒(ms)。公式表示如下:
[0183]
tsend-j=rem((j-1)
×a×
b,(m-1)
×a×
b);
[0184]
tsend-k=rem((k-1)
×a×
b+(m-1)
×a×
b,(n-1)
×a×
b);
[0185]
tsend-j表示第j个画面变化频率等级为高的摄像头的起始i帧发送时段的起始时刻,rem表示取余数,tsend-k表示第k个画面变化频率等级为低的摄像头的起始i帧发送时段的起始时刻。
[0186]
例如,a为40ms,b为3,若n≥r
×
40/120+1=r/3+1,则将画面变化频率等级为高和低的摄像头进行时段划分,优先将时段安排给画面变化频率等级为高的摄像头。
[0187]
多个起始i帧发送时段数量为n,n=rounddown(r
×
40/120+1),rounddown表示rounddown函数,r表示视频图像中相邻的两个i帧的间隔;以时段m作为分界,时段1至时段m作为第一目标起始i帧发送时段,供画面变化频率等级为高的摄像头使用;时段m+1至时段n作为第二目标起始i帧发送时段,供画面变化频率等级为低的摄像头使用。其中,m=[画面变化频率等级为高的摄像头个数]
×
[单摄像头平均带宽]/[网络规划带宽]。
[0188]
对于画面变化频率为高的摄像头:画面变化频率为高的摄像头中的第j(1《j《n)个摄像头,其起始i帧发送时段的起始时刻表示为:tsend-j=rem((j-1)
×
120,(m-1)
×
120)毫秒,即用(j-1)
×
120的计算结果与(m-1)
×
120取余数,得到该第j(1《j《n)个摄像头的起始i帧发送时段的起始时刻。
[0189]
对于画面变化频率为低的摄像头:画面变化频率为低的摄像头中的第k(1《k《n)个摄像头,其起始i帧发送时段的起始时刻表示为:tsend-k=rem((k-1)
×
120+(m-1)
×
120),(n-1)
×
120),即用(k-1)
×
120的计算结果加上(m-1)
×
120后再与(n-1)
×
120取余数,得到该第k(1《k《n)个摄像头的起始i帧发送时段的起始时刻。
[0190]
如表7所示,表7为可用起始i帧发送时段及各时段内分布的摄像头的位图示例,可以看出画面变化频率为高的摄像头所在时段内的摄像头分布较稀疏;画面变化频率为低的摄像头所在时段内的摄像头分布较密集。
[0191]
表7各时段内分布的摄像头表
[0192]
时段1时段2时段3时段4时段5时段6

时段m

时段n-1时段n高高高高高高高高低低低高高高高高高高高低低低
‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑
低低低
‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑
低低低
‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑
低低低
[0193]
其中,在表7中,“高”表示画面变化频率等级为高的摄像头,“低”表示画面变化频率等级为低的摄像头。
[0194]
作为一种示例,本技术可以仅确定各在线摄像头的起始i帧发送时段,而不确定不
在线摄像头的起始i帧发送时段。例如,有m个在线摄像头,具体分以下两种情况:
[0195]
第一种情况,若m<r/b+1,则在线摄像头的数量少于多个起始i帧发送时段中的起始i帧发送时段的数量n,m个在线摄像头中的每个在线摄像头的起始i帧发送时段不会重叠;其中,n=rounddown(r/b+1),rounddown表示rounddown函数,rounddown函数是指靠近零值,向下(绝对值减小的方向)舍入数字;r和b的含义解释如前描述。
[0196]
此种情况下,考虑摄像头的重要性因素下的预设时段错开规则为:m个在线摄像头中的第i个在线摄像头的起始i帧发送时段的起始时刻为(i-1)
×a×
b,a为视频图像的平均帧间隔,b为大于0的整数,其中,i帧发送时段的起始时刻的单位为毫秒(ms)。
[0197]
第二种情况,若m≥r/b+1,则在线摄像头的数量大于多个起始i帧发送时段中的起始i帧发送时段的数量n,m个在线摄像头中存在起始i帧发送时段重叠的在线摄像头;其中,n、r和b的含义解释如前描述。
[0198]
此种情况下,考虑摄像头的重要性因素下的预设时段错开规则为:m个在线摄像头中的第j个画面变化频率等级为高的在线摄像头的起始i帧发送时段的起始时刻为(j-1)
×a×
b与(m-1)
×a×
b的余数,j为大于1且小于m的整数,a为视频图像的平均帧间隔,m为m个在线摄像头中的所有画面变化频率等级为高的在线摄像头的带宽和与网络规划带宽的比值;m个在线摄像头中的第k个画面变化频率等级为低的在线摄像头的起始i帧发送时段的起始时刻为(k-1)
×a×
b+(m-1)
×a×
b与(n-1)
×a×
b的余数,k为大于1且小于n的整数,n为多个起始i帧发送时段中的起始i帧发送时段的数量;其中,i帧发送时段的起始时刻的单位为毫秒(ms)。公式表示如下:
[0199]
tsend-j=rem((j-1)
×a×
b,(m-1)
×a×
b);
[0200]
tsend-k=rem((k-1)
×a×
b+(m-1)
×a×
b,(n-1)
×a×
b);
[0201]
tsend-j表示第j个画面变化频率等级为高的在线摄像头的起始i帧发送时段的起始时刻,rem表示取余数,tsend-k表示第k个画面变化频率等级为低的在线摄像头的起始i帧发送时段的起始时刻。
[0202]
需要说明的是,本技术中,由于发送每帧的时长是相同的,故确定摄像头的起始i帧发送时段与确定摄像头的起始i帧发送时段的起始时刻是等效的。
[0203]
综上可知,本技术在给摄像头分配起始i帧发送时段时,存在以下四种可能:
[0204]
第一种可能:摄像头数量小于或等于多个起始i帧发送时段中的起始i帧发送时段的数量,摄像头之间的起始i帧发送时段不重叠。
[0205]
第二种可能:摄像头数量大于多个起始i帧发送时段中的起始i帧发送时段的数量,将摄像头的起始i帧发送时段尽量均匀分布在多个起始i帧发送时段上,摄像头之间的起始i帧发送时段存在重叠。
[0206]
第三种可能:摄像头数量大于多个起始i帧发送时段中的起始i帧发送时段的数量,从多个起始i帧发送时段中划分出一部分起始i帧发送时段,优先分配给画面变化频率等级高的摄像头;若画面变化频率等级高的摄像头较少,此时画面变化频率等级高的摄像头之间的起始i帧发送时段不重叠;将画面变化频率等级低的摄像头的起始i帧发送时段尽量均匀分布在剩下起始i帧发送时段上,此时画面变化频率等级低的摄像头的起始i帧发送时段存在重叠。
[0207]
第四种可能:摄像头数量大于多个起始i帧发送时段中的起始i帧发送时段的数
量,从多个起始i帧发送时段中划分出一部分起始i帧发送时段,优先分配给画面变化频率等级高的摄像头;若画面变化频率等级高的摄像头较多,将画面变化频率等级高的摄像头的起始i帧发送时段尽量均匀分布在划分出的该部分起始i帧发送时段上,此时画面变化频率等级高的摄像头之间的起始i帧发送时段存在重叠;将画面变化频率等级低的摄像头的起始i帧发送时段尽量均匀分布在剩下起始i帧发送时段上,此时画面变化频率等级低的摄像头的起始i帧发送时段存在重叠。
[0208]
作为一种示例,在需要分配起始i帧发送时段的摄像头数量大于可供分配的起始i帧发送时段的数量时,为了实现上述尽量均匀分布,可采取以下分配方式:对于可供分配的起始i帧发送时段中的任意两个起始i帧发送时段之间,它们被重复分配的次数相差1次或0次。
[0209]
具体地,计算需要分配起始i帧发送时段的摄像头数量与可供分配的起始i帧发送时段的数量的比值,对该比值向上取整以及向上取整,在分配时,对于任意一个起始i帧发送时段,其可能分配给该比值向上取整以及向上取整个摄像头使用。
[0210]
2.2、管理节点将各在线摄像头的起始i帧发送时段通知给摄像头维护平台。
[0211]
管理节点将各在线摄像头的起始i帧发送时段通知给摄像头维护平台,此通知消息包括各在线摄像头的id和各在线摄像头的起始i帧发送时段;或者,此通知消息包括各在线摄像头的id和各在线摄像头的起始i帧发送时段的起始时刻。例如,通知消息中包含[摄像头id1,时刻0ms]、[摄像头id2,时刻120ms]、
……
、[摄像头id20,时刻1800ms]等。
[0212]
五、摄像头的起始i帧发送时段设置流程。
[0213]
3.1、摄像头维护平台设置摄像头参数。
[0214]
具体地,摄像头维护平台收到管理节点下发的包含各摄像头的起始i帧发送时段的通知消息后,对各摄像头的起始i帧发送时段参数进行设置。摄像头维护平台生成所有在线摄像头统一的基准时间,将基准时间和各摄像头的起始i帧发送时段发送给各摄像头;或者,将基准时间和各在线摄像头的起始i帧发送时段的起始时刻发送给各摄像头。
[0215]
3.2、摄像头维护平台向各摄像头下发起始i帧发送时段设置消息,通知各摄像头设置起始i帧发送时段。
[0216]
对于多个摄像头中的任意一个摄像头,其在收到该起始i帧发送时段设置消息后,从该起始i帧发送时段设置消息中获取基准时间和该摄像头的起始i帧发送时段或起始i帧发送时段的起始时刻;应理解,该基准时间+该摄像头的起始i帧发送时段的起始时刻为该摄像头首次发送i帧的时刻,故该摄像头再按该基准时间+该摄像头的起始i帧发送时段的起始时刻,启动首次i帧发送操作;在首次i帧发送操作之后,并按i帧间隔参数来发送后续的i帧。
[0217]
举例来说,假设i帧间隔为50帧,余下49个p帧,平均帧间隔为40ms,两个i帧之间相差2000ms;以表5中摄像头id为id2的摄像头为例,该摄像头的起始i帧发送时段的起始时刻为120ms,则该摄像头在基准时间+120ms的时刻首次发送i帧,在基准时间+2120ms的时刻第2次发送i帧,在基准时间+4120ms的时刻第3次发送i帧,以此类推。
[0218]
在本技术实施例中,管理节点对多摄像头的起始i帧发送时段进行统一调整,以避免i帧碰撞的发生或最大程度的避免i帧碰撞的发生;进一步地,根据各摄像头的画面变化频率级别进行起始i帧发送时段的调整,优先保证高画面变化频率级别摄像头的网络带宽
使用,确保从事关键生产活动的摄像头的画质不受影响,避免对工业生产业务的产生影响。而且,在解决多摄像头i帧碰撞问题的同时,低成本,不需要增加网络带宽;不会引入额外时延;不会影响从事关键生产活动摄像头的视频清晰度。
[0219]
请参阅图6,图6是本技术实施例提供的一种调度视频发送设备的方法的过程600的流程图。过程600描述为一系列的步骤或操作,应当理解的是,过程600可以以各种顺序执行和/或同时发生,不限于图6所示的执行顺序。过程600包括但不限于如下步骤或操作:
[0220]
601、网络设备在多个视频发送设备向网络传输视频图像之前,向所述多个视频发送设备分别发送起始信息帧(i帧)发送时段,所述多个视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述多个视频发送设备中除所述任一个视频发送设备之外的至多预设数量个视频发送设备的起始i帧发送时段重叠。
[0221]
作为一种示例,若该预设数量为零,则多个视频发送设备的起始i帧发送时段不重叠,多个视频发送设备不会发生i帧碰撞。
[0222]
作为一种示例,该预设数量是根据视频图像传输的平均带宽确定的。
[0223]
需要说明的是,发生i帧碰撞并不必然导致网络拥塞、视频卡顿和丢帧;只有发生i帧碰撞的视频发送设备的数量达到一定数量,该一定数量的视频发送设备在该i帧碰撞的时段内的使用的总带宽超过网络规划的视频图像传输的平均带宽,才会导致网络拥塞、视频卡顿和丢帧。如此,可以控制使用同一起始i帧发送时段的视频发送设备的数量在合理范围内,即使发生i帧碰撞,也不会导致网络拥塞、视频卡顿和丢帧。
[0224]
例如,网络规划视频图像传输的平均带宽,假设视频图像传输的平均带宽为100,每个i帧占用的带宽为10,则在该视频图像传输的平均带宽内可供至多10个视频发送设备传输视频图像,当在该视频图像传输的平均带宽内超过10个视频发送设备同时传输i帧时,就会因i帧碰撞而发生网络堵塞,进而导致视频卡顿和丢帧。因此,对于多个视频发送设备中的任一个视频发送设备,满足这多个视频发送设备中至多有9个视频发送设备的起始i帧发送时段与该任一个视频发送设备的起始i帧发送时段重叠时,就不会因i帧碰撞而发生网络堵塞,进而导致视频卡顿和丢帧。
[0225]
其中,多个视频发送设备向网络传输视频图像中的网络可以是5g网络、4g网络、3g网络、2g网络等,本技术对此不作具体限定。
[0226]
其中,本技术中的视频发送设备是指:具备对视频图像进行压缩编码后向网络发送的设备,或者具备获取视频图像以及对获取的视频图像进行压缩编码后向网络发送的设备。具体地,视频发送设备可以为具备对视频图像进行压缩编码后向网络发送的摄像头,例如图2所示的摄像头;视频发送设备也可以为具备视频图像采集的各类终端。需要说明的是,本技术对视频发送设备具体实现不作具体限定,一切能将视频图像编码成i帧、p帧、b帧发送的设备均可。
[0227]
其中,本技术中的网络设备是指:任何具备管理本技术中的视频发送设备的功能的设备。例如网络设备可以为图2所示的管理节点,管理节点和摄像头维护平台,包括管理节点的5gc网元,包括管理节点的5gc网元和基站等。需要说明的是,前述对网络设备仅是进行了示例性的举例,本技术对视频发送设备具体实现不作具体限定,一切能满足本技术方案需求功能的设备均可。
[0228]
此外,本技术中的网络设备也可以是多个视频发送设备传输视频图像的对象,例
如多个视频发送设备是向网络设备传输视频图像的。
[0229]
602、多个视频发送设备中的每一个视频发送设备接收来自网络设备的起始信息帧(i帧)发送时段。
[0230]
在本技术实施例中,在多个视频发送设备向网络传输视频图像之前,网络设备为多个视频发送设备中的每一个视频发送设备分配起始i帧发送时段,之后,每一个视频发送设备按照分配的起始i帧发送时段向网络传输视频图像;由于本技术在多个视频发送设备向网络传输视频图像之前对多个视频发送设备的起始i帧发送时段进行统一调度,且对于多个视频发送设备中的任一个视频发送设备,这多个视频发送设备中至多有预设数量个视频发送设备的起始i帧发送时段与该任一个视频发送设备的起始i帧发送时段重叠;其中,该预设数量的具体取值可以根据需求来确定,例如该预设数量为零,从而使得多个视频发送设备的起始i帧发送时段不重叠,故可以提前预防视频发送设备之间发生i帧碰撞,增强用户体验。作为一种示例,该预设数量是根据视频图像传输的平均带宽确定的。需要说明的是,发生i帧碰撞并不必然导致网络拥塞、视频卡顿和丢帧;只有发生i帧碰撞的视频发送设备的数量达到一定数量,该一定数量的视频发送设备在该i帧碰撞的时段内的使用的总带宽超过网络规划的视频图像传输的平均带宽,才会导致网络拥塞、视频卡顿和丢帧。如此,可以控制使用同一起始i帧发送时段的视频发送设备的数量在合理范围内,即使发生i帧碰撞,也不会导致网络拥塞、视频卡顿和丢帧。
[0231]
在一种可能的实现方式中,所述多个视频发送设备中的每一个视频发送设备的起始i帧发送时段是根据所述多个视频发送设备中的视频发送设备的数量和多个起始i帧发送时段中的起始i帧发送时段的数量从所述多个起始i帧发送时段中确定的。
[0232]
应理解,多个起始i帧发送时段是可供用于分配给视频发送设备的多个起始i帧发送时段(也即可用起始i帧发送时段),多个起始i帧发送时段代指一类起始i帧发送时段,具体为视频图像中相邻的两个i帧之间的可用于作为起始i帧发送时段的时段,其中包括一个或多个时段。
[0233]
在本实现方式中,多个视频发送设备中每一个视频发送设备的起始i帧发送时段是根据多个视频发送设备中的视频发送设备的数量和多个起始i帧发送时段中的起始i帧发送时段的数量确定的,故可以提前预防视频发送设备之间发生i帧碰撞,增强用户体验;或者控制使用同一起始i帧发送时段的视频发送设备的数量在合理范围内,即使发生i帧碰撞,也不会导致网络拥塞、视频卡顿和丢帧。
[0234]
在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量小于或等于所述多个起始i帧发送时段中的起始i帧发送时段的数量,所述多个视频发送设备的起始i帧发送时段不重叠。
[0235]
在本实现方式中,如果视频发送设备的数量小于或等于多个起始i帧发送时段中的起始i帧发送时段的数量,在对多个视频发送设备的起始i帧发送时段进行统一调度时,可以使多个视频发送设备中的每一个视频发送设备的起始i帧发送时段都不重叠,从而多个视频发送设备之间就不会发生i帧碰撞。
[0236]
在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于所述多个起始i帧发送时段中的起始i帧发送时段的数量,所述多个视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述多个视频获取设备中的a-1个其他视频获取设
备的起始i帧发送时段重叠,所述a的值为所述多个视频发送设备中的视频发送设备的数量与所述多个起始i帧发送时段中的起始i帧发送时段的数量的比值向上取整或向下取整。
[0237]
在本实现方式中,如果视频发送设备的数量大于多个起始i帧发送时段中的起始i帧发送时段的数量,则多个视频发送设备的起始i帧发送时段不可避免地存在重叠;在对多个视频发送设备的起始i帧发送时段进行统一调度时,可以使多个视频发送设备的起始i帧发送时段尽可能均匀分布在多个起始i帧发送时段上;如此,相比于现有技术随机设定多个视频发送设备中的每个视频发送设备的起始i帧发送时段,本技术可以使得i帧碰撞的程度较小,能够避免因i帧碰撞而导致网络拥塞、进而导致视频卡顿/丢帧或降低因i帧碰撞而导致网络拥塞、进而导致视频卡顿/丢帧的程度。
[0238]
在一种可能的实现方式中,所述多个视频发送设备中的第i个视频发送设备的起始i帧发送时段的起始时刻为(i-1)
×a×
b,所述a为视频图像的平均帧间隔,所述b为大于0的整数。
[0239]
在本实现方式中,将多个视频发送设备中的第i个视频发送设备的起始i帧发送时段的起始时刻设置为(i-1)
×a×
b,由于每个视频发送设备的起始i帧发送时段的长度是相同的,故故按本实现方式设置可以实现视频发送设备之间的起始i帧发送时段错开。
[0240]
在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于所述多个起始i帧发送时段中的起始i帧发送时段的数量;所述多个视频发送设备中的第一目标视频发送设备的数量小于或等于所述多个起始i帧发送时段中的第一目标起始i帧发送时段的数量;其中,所述第一目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标单向预测编码帧(p帧)的数量大于第一预设阈值的视频发送设备,所述目标p帧为大小大于第二预设阈值的p帧;所述第一目标起始i帧发送时段的数量等于所述第一目标视频发送设备的带宽和与网络规划带宽的比值;所述第一目标视频发送设备的起始i帧发送时段是从所述第一目标起始i帧发送时段中确定的,所述第一目标视频发送设备的起始i帧发送时段不重叠。应理解,第一目标视频发送设备是指传输的视频图像中相邻的两个i帧之间包含的大小大于第二预设阈值的p帧的数量大于第一预设阈值的一类视频发送设备,其中包括一个或多个视频发送设备;例如,第一目标视频发送设备为前述第一目标摄像头。此外,第一目标起始i帧发送时段为分配给第一目标视频发送设备的起始i帧发送时段,其中包括至少一个起始i帧发送时段。
[0241]
在本实现方式中,传输的视频图像中相邻的两个i帧之间包含的大小大于第二预设阈值的p帧的数量大于第一预设阈值的视频发送设备,也即第一目标视频发送设备,为重要性较高的视频发送设备,这样的视频发送设备在实际应用中传输的视频图像一般为关键生产活动的视频图像;如果视频发送设备的数量大于多个起始i帧发送时段中的起始i帧发送时段的数量,则多个视频发送设备的起始i帧发送时段不可避免地存在重叠;在对多个视频发送设备的起始i帧发送时段进行统一调度时,可以优先为重要性较高的第一目标视频发送设备分配起始i帧发送时段,以确保关键生产活动的视频图像的画质不受影响。进一步地,可以从多个起始i帧发送时段中划分出第一目标起始i帧发送时段用于第一目标视频发送设备传输起始i帧,且划分出的第一目标起始i帧发送时段的数量等于多个视频发送设备中的所有第一目标视频发送设备的带宽和与网络规划带宽的比值;如果多个视频发送设备中的第一目标视频发送设备的数量小于或等于多个起始i帧发送时段中的第一目标起始i
帧发送时段的数量,在对多个视频发送设备的起始i帧发送时段进行统一调度时,可以使多个视频发送设备中的每一个第一目标视频发送设备的起始i帧发送时段都不重叠,从而第一目标视频发送设备之间就不会发生i帧碰撞,关键生产活动的视频图像的画质就不会因i帧碰撞而受影响。
[0242]
在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于所述多个起始i帧发送时段中的起始i帧发送时段的数量;所述多个视频发送设备中的第一目标视频发送设备的数量大于所述多个起始i帧发送时段中的第一目标起始i帧发送时段的数量;其中,所述第一目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量大于第一预设阈值的视频发送设备,所述目标p帧为大小大于第二预设阈值的p帧;所述第一目标起始i帧发送时段的数量等于所述第一目标视频发送设备的带宽和与网络规划带宽的比值;所述第一目标视频发送设备的起始i帧发送时段是从所述第一目标起始i帧发送时段中确定的,所述第一目标视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述第一目标视频发送设备中的c-1个其他视频获取设备的起始i帧发送时段重叠,所述c的值为所述第一目标视频发送设备的数量与所述第一目标起始i帧发送时段的数量的比值向上取整或向下取整。
[0243]
在本实现方式中,传输的视频图像中相邻的两个i帧之间包含的大小大于第二预设阈值的p帧的数量大于第一预设阈值的视频发送设备,也即第一目标视频发送设备,为重要性较高的视频发送设备,这样的视频发送设备在实际应用中传输的视频图像一般为关键生产活动的视频图像;如果视频发送设备的数量大于多个起始i帧发送时段中的起始i帧发送时段的数量,则多个视频发送设备的起始i帧发送时段不可避免地存在重叠;在对多个视频发送设备的起始i帧发送时段进行统一调度时,可以优先为重要性较高的第一目标视频发送设备分配起始i帧发送时段,以确保关键生产活动的视频图像的画质不受影响。进一步地,可以从多个起始i帧发送时段中划分出第一目标起始i帧发送时段用于第一目标视频发送设备传输起始i帧,且划分出的第一目标起始i帧发送时段的数量等于多个视频发送设备中的所有第一目标视频发送设备的带宽和与网络规划带宽的比值;如果多个视频发送设备中的第一目标视频发送设备的数量大于多个起始i帧发送时段中的第一目标起始i帧发送时段的数量,在对多个视频发送设备的起始i帧发送时段进行统一调度时,可以使多个视频发送设备中的第一目标视频发送设备的起始i帧发送时段尽可能均匀分布在多个起始i帧发送时段中的第一目标起始i帧发送时段上;如此,相比于现有技术随机设定多个视频发送设备中的每个视频发送设备的起始i帧发送时段,本技术可以使得重要性较高的第一目标视频发送设备与其他视频发送设备之间i帧碰撞的程度较小,能够避免第一目标视频发送设备传输视频图像时因i帧碰撞而导致网络拥塞、进而导致视频卡顿/丢帧或降低第一目标视频发送设备传输视频图像时因i帧碰撞而导致网络拥塞、进而导致视频卡顿/丢帧的程度,有利于确保关键生产活动的视频图像的画质不受i帧碰撞的影响或因i帧碰撞影响小。
[0244]
在一种可能的实现方式中,所述多个视频发送设备中的第二目标视频发送设备的起始i帧发送时段是从第二目标起始i帧发送时段中确定的,所述第二目标视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述第二目标视频发送设备中的d-1个其他视频获取设备的起始i帧发送时段重叠,所述d的值为所述第二目标视频发送设备的数量与所述第二目标起始i帧发送时段的数量的比值向上取整或向下取整;其中,所述第二目标视
频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量不大于第一预设阈值的视频发送设备;所述第二目标起始i帧发送时段为所述多个起始i帧发送时段中除所述第一目标起始i帧发送时段之外的起始i帧发送时段。应理解,第二目标视频发送设备是指传输的视频图像中相邻的两个i帧之间包含的大小大于第二预设阈值的p帧的数量不大于第一预设阈值的一类视频发送设备,其中包括一个或多个视频发送设备;例如,第二目标视频发送设备为前述第二目标摄像头。此外,第二目标起始i帧发送时段为分配给第二目标视频发送设备的起始i帧发送时段,其中包括至少一个起始i帧发送时段。进一步地,所述第一目标起始i帧发送时段的结束时刻在所述第二目标起始i帧发送时段的起始时刻之前。
[0245]
在本实现方式中,传输的视频图像中相邻的两个i帧之间包含的大小大于第二预设阈值的p帧的数量不大于第一预设阈值的视频发送设备,也即第二目标视频发送设备,为重要性较低的视频发送设备,这样的视频发送设备在实际应用中传输的视频图像一般为非关键生产活动的视频图像;在对多个视频发送设备的起始i帧发送时段进行统一调度时,为重要性较高的第一目标视频发送设备优先分配完第一目标起始i帧发送时段后,将多个起始i帧发送时段中剩下的第二目标起始i帧发送时段分配给重要性较低的第二目标视频发送设备使用,可以使第一目标视频发送设备的起始i帧发送时段尽可能均匀分布在第二目标起始i帧发送时段上;如此,相比于现有技术随机设定多个视频发送设备中的每个视频发送设备的起始i帧发送时段,本技术可以使得重要性较低的第二目标视频发送设备与其他视频发送设备之间i帧碰撞的程度较小,能够避免第二目标发送设备传输视频图像时因i帧碰撞而导致网络拥塞、进而导致视频卡顿/丢帧或降低第二目标视频发送设备传输视频图像时因i帧碰撞而导致网络拥塞、进而导致视频卡顿/丢帧的程度,有利于确保非关键生产活动的视频图像的画质不受i帧碰撞的影响或因i帧碰撞影响也小。
[0246]
在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于或等于r/b+1,所述r为视频图像中相邻的两个i帧的间隔,所述b为大于0的整数;所述多个视频发送设备中的第j个第一目标视频发送设备的起始i帧发送时段的起始时刻为(j-1)
×a×
b与(m-1)
×a×
b的余数,所述j大于1且小于所述多个视频发送设备中的视频发送设备的数量,所述a为视频图像的平均帧间隔,所述m为所述多个视频发送设备中的第一目标视频发送设备的带宽和与网络规划带宽的比值;其中,所述第一目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量大于第一预设阈值的视频发送设备,所述目标p帧为大小大于第二预设阈值的p帧;所述多个视频发送设备中的第k个第二目标视频发送设备的起始i帧发送时段的起始时刻为(k-1)
×a×
b+(m-1)
×a×
b与(n-1)
×a×
b的余数,所述k大于1且小于所述多个视频发送设备中的视频发送设备的数量,所述n为多个起始i帧发送时段中的起始i帧发送时段的数量,n=rounddown(r/b+1);其中,所述第二目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量不大于所述第一预设阈值的视频发送设备。
[0247]
在本实现方式中,多个视频发送设备中的第j个第一目标视频发送设备的起始i帧发送时段的起始时刻为(j-1)
×a×
b与(m-1)
×a×
b的余数,多个视频发送设备中的第k个第二目标视频发送设备的起始i帧发送时段的起始时刻为(k-1)
×a×
b+(m-1)
×a×
b与(n-1)
×a×
b的余数;例如,多个起始i帧发送时段包括时段1、时段2、时段3、......、时段m、时段m+1、时段m+2、......、时段n,则时段1、时段2、时段3、......、时段m分配给第一目标视频
发送设备使用,时段m+1、时段m+2、......、时段n分配给第二目标视频发送设备使用,故可以实现将多个起始i帧发送时段的优先分配给第一目标视频发送设备;此外,由于每个视频发送设备的起始i帧发送时段的长度是相同的,故按本实现方式设置可以实现视频发送设备之间的起始i帧发送时段错开。
[0248]
在一种可能的实现方式中,所述多个视频发送设备中的任一个视频发送设备根据基准时间和所述任一个视频发送设备的起始i帧发送时段向网络首次发送i帧,在向网络首次发送i帧之后,按照预设周期间隔向网络发送i帧,所述预设周期间隔为视频图像中的i帧间隔。
[0249]
在本实现方式中,对于多个视频发送设备中的任一个视频发送设备,根据基准时间和其起始i帧发送时段向网络首次发送i帧,在向网络首次发送i帧之后,按照预设周期间隔向网络发送i帧,而预设周期间隔可以为视频图像中的i帧间隔;如此,只要多个视频发送设备中的每一个视频发送设备首次发送i帧错开,之后发送i帧也会错开,从而之后的i帧发送也不会碰撞。
[0250]
需要说明的是,图6所示的过程600的实现还可以对应参照图2至图5所示的实施例的相应描述。
[0251]
请参阅图7,图7是本技术实施例提供的一种调度视频发送设备的装置的结构示意图;所述调度视频发送设备的装置700具有实现上述图6所示的方法实例中网络设备的行为的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
[0252]
在一种可能的设计中,所述调度视频发送设备的装置700应用于网络设备,所述调度视频发送设备的装置700包括:发送单元701,用于在多个视频发送设备向网络传输视频图像之前,向所述多个视频发送设备分别发送起始信息帧(i帧)发送时段,所述多个视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述多个视频发送设备中除所述任一个视频发送设备之外的至多预设数量个视频发送设备的起始i帧发送时段重叠。
[0253]
在一种可能的实现方式中,所述多个视频发送设备中的每一个视频发送设备的起始i帧发送时段是根据所述多个视频发送设备中的视频发送设备的数量和多个起始i帧发送时段中的起始i帧发送时段的数量从所述多个起始i帧发送时段中确定的。
[0254]
在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量小于或等于所述多个起始i帧发送时段中的起始i帧发送时段的数量,所述多个视频发送设备的起始i帧发送时段不重叠。
[0255]
在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于所述多个起始i帧发送时段中的起始i帧发送时段的数量,所述多个视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述多个视频获取设备中的a-1个其他视频获取设备的起始i帧发送时段重叠,所述a的值为所述多个视频发送设备中的视频发送设备的数量与所述多个起始i帧发送时段中的起始i帧发送时段的数量的比值向上取整或向下取整。
[0256]
在一种可能的实现方式中,所述多个视频发送设备中的第i个视频发送设备的起始i帧发送时段的起始时刻为(i-1)
×a×
b,所述a为视频图像的平均帧间隔,所述b为大于0的整数。
[0257]
在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于
所述多个起始i帧发送时段中的起始i帧发送时段的数量;所述多个视频发送设备中的第一目标视频发送设备的数量小于或等于所述多个起始i帧发送时段中的第一目标起始i帧发送时段的数量;其中,所述第一目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标单向预测编码帧(p帧)的数量大于第一预设阈值的视频发送设备,所述目标p帧为大小大于第二预设阈值的p帧;所述第一目标起始i帧发送时段的数量等于所述第一目标视频发送设备的带宽和与网络规划带宽的比值;所述第一目标视频发送设备的起始i帧发送时段是从所述第一目标起始i帧发送时段中确定的,所述第一目标视频发送设备的起始i帧发送时段不重叠。
[0258]
在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于所述多个起始i帧发送时段中的起始i帧发送时段的数量;所述多个视频发送设备中的第一目标视频发送设备的数量大于所述多个起始i帧发送时段中的第一目标起始i帧发送时段的数量;其中,所述第一目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量大于第一预设阈值的视频发送设备,所述目标p帧为大小大于第二预设阈值的p帧;所述第一目标起始i帧发送时段的数量等于所述第一目标视频发送设备的带宽和与网络规划带宽的比值;所述第一目标视频发送设备的起始i帧发送时段是从所述第一目标起始i帧发送时段中确定的,所述第一目标视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述第一目标视频发送设备中的c-1个其他视频获取设备的起始i帧发送时段重叠,所述c的值为所述第一目标视频发送设备的数量与所述第一目标起始i帧发送时段的数量的比值向上取整或向下取整。
[0259]
在一种可能的实现方式中,所述多个视频发送设备中的第二目标视频发送设备的起始i帧发送时段是从第二目标起始i帧发送时段中确定的,所述第二目标视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述第二目标视频发送设备中的d-1个其他视频获取设备的起始i帧发送时段重叠,所述d的值为所述第二目标视频发送设备的数量与所述第二目标起始i帧发送时段的数量的比值向上取整或向下取整;其中,所述第二目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量不大于第一预设阈值的视频发送设备;所述第二目标起始i帧发送时段为所述多个起始i帧发送时段中除所述第一目标起始i帧发送时段之外的起始i帧发送时段。
[0260]
在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于或等于r/b+1,所述r为视频图像中相邻的两个i帧的间隔,所述b为大于0的整数;所述多个视频发送设备中的第j个第一目标视频发送设备的起始i帧发送时段的起始时刻为(j-1)
×a×
b与(m-1)
×a×
b的余数,所述j大于1且小于所述多个视频发送设备中的视频发送设备的数量,所述a为视频图像的平均帧间隔,所述m为所述多个视频发送设备中的第一目标视频发送设备的带宽和与网络规划带宽的比值;其中,所述第一目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量大于第一预设阈值的视频发送设备,所述目标p帧为大小大于第二预设阈值的p帧;所述多个视频发送设备中的第k个第二目标视频发送设备的起始i帧发送时段的起始时刻为(k-1)
×a×
b+(m-1)
×a×
b与(n-1)
×a×
b的余数,所述k大于1且小于所述多个视频发送设备中的视频发送设备的数量,所述n为多个起始i帧发送时段中的起始i帧发送时段的数量,n=rounddown(r/b+1);其中,所述第二目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量不大于所
述第一预设阈值的视频发送设备。
[0261]
其中,该调度视频发送设备的装置700还可以包括存储单元703,用于存储网络设备的程序代码和数据。可选地,若该网络设备是该多个视频发送设备传输视频图像的对象,该调度视频发送设备的装置700还可以包括接收单元702,用于接收该多个视频发送设备向其传输的视频图像。
[0262]
需要说明的是,各个单元的实现还可以对应参照图6所示的方法实施例的相应描述。
[0263]
在图7所描述的调度视频发送设备的装置700中,在多个视频发送设备向网络传输视频图像之前,为多个视频发送设备中的每一个视频发送设备分配起始i帧发送时段,之后,每一个视频发送设备按照分配的起始i帧发送时段向网络传输视频图像;由于本技术是在多个视频发送设备向网络传输视频图像之前,对多个视频发送设备的起始i帧发送时段进行统一调度的,故可以提前预防视频发送设备之间发生i帧碰撞,有利于避免i帧碰撞,增强用户体验;以及可以控制使用同一起始i帧发送时段的视频发送设备的数量在合理范围内,即使发生i帧碰撞,也不会导致网络拥塞、视频卡顿和丢帧。
[0264]
请参阅图8,图8是本技术实施例提供的另一种调度视频发送设备的装置的结构示意图;所述调度视频发送设备的装置800具有实现上述图6所示的方法实例中视频发送设备的行为的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
[0265]
在一种可能的设计中,所述调度视频发送设备的装置800应用于多个视频发送设备中的每一个视频发送设备,所述调度视频发送设备的装置800包括:接收单元801,用于在所述多个视频发送设备向网络传输视频图像之前,接收来自网络设备的起始信息帧(i帧)发送时段,所述多个视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述多个视频发送设备中除所述任一个视频发送设备之外的至多预设数量个视频发送设备的起始i帧发送时段重叠。
[0266]
在一种可能的实现方式中,所述多个视频发送设备中的每一个视频发送设备的起始i帧发送时段是根据所述多个视频发送设备中的视频发送设备的数量和多个起始i帧发送时段中的起始i帧发送时段的数量从所述多个起始i帧发送时段中确定的。
[0267]
在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量小于或等于所述多个起始i帧发送时段中的起始i帧发送时段的数量,所述多个视频发送设备的起始i帧发送时段不重叠。
[0268]
在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于所述多个起始i帧发送时段中的起始i帧发送时段的数量,所述多个视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述多个视频获取设备中的a-1个其他视频获取设备的起始i帧发送时段重叠,所述a的值为所述多个视频发送设备中的视频发送设备的数量与所述多个起始i帧发送时段中的起始i帧发送时段的数量的比值向上取整或向下取整。
[0269]
在一种可能的实现方式中,所述多个视频发送设备中的第i个视频发送设备的起始i帧发送时段的起始时刻为(i-1)
×a×
b,所述a为视频图像的平均帧间隔,所述b为大于0的整数。
[0270]
在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于
所述多个起始i帧发送时段中的起始i帧发送时段的数量;所述多个视频发送设备中的第一目标视频发送设备的数量小于或等于所述多个起始i帧发送时段中的第一目标起始i帧发送时段的数量;其中,所述第一目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标单向预测编码帧(p帧)的数量大于第一预设阈值的视频发送设备,所述目标p帧为大小大于第二预设阈值的p帧;所述第一目标起始i帧发送时段的数量等于所述第一目标视频发送设备的带宽和与网络规划带宽的比值;所述第一目标视频发送设备的起始i帧发送时段是从所述第一目标起始i帧发送时段中确定的,所述第一目标视频发送设备的起始i帧发送时段不重叠。
[0271]
在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于所述多个起始i帧发送时段中的起始i帧发送时段的数量;所述多个视频发送设备中的第一目标视频发送设备的数量大于所述多个起始i帧发送时段中的第一目标起始i帧发送时段的数量;其中,所述第一目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量大于第一预设阈值的视频发送设备,所述目标p帧为大小大于第二预设阈值的p帧;所述第一目标起始i帧发送时段的数量等于所述第一目标视频发送设备的带宽和与网络规划带宽的比值;所述第一目标视频发送设备的起始i帧发送时段是从所述第一目标起始i帧发送时段中确定的,所述第一目标视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述第一目标视频发送设备中的c-1个其他视频获取设备的起始i帧发送时段重叠,所述c的值为所述第一目标视频发送设备的数量与所述第一目标起始i帧发送时段的数量的比值向上取整或向下取整。
[0272]
在一种可能的实现方式中,所述多个视频发送设备中的第二目标视频发送设备的起始i帧发送时段是从第二目标起始i帧发送时段中确定的,所述第二目标视频发送设备中的任一个视频发送设备的起始i帧发送时段与所述第二目标视频发送设备中的d-1个其他视频获取设备的起始i帧发送时段重叠,所述d的值为所述第二目标视频发送设备的数量与所述第二目标起始i帧发送时段的数量的比值向上取整或向下取整;其中,所述第二目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量不大于第一预设阈值的视频发送设备;所述第二目标起始i帧发送时段为所述多个起始i帧发送时段中除所述第一目标起始i帧发送时段之外的起始i帧发送时段。
[0273]
在一种可能的实现方式中,所述多个视频发送设备中的视频发送设备的数量大于或等于r/b+1,所述r为视频图像中相邻的两个i帧的间隔,所述b为大于0的整数;所述多个视频发送设备中的第j个第一目标视频发送设备的起始i帧发送时段的起始时刻为(j-1)
×a×
b与(m-1)
×a×
b的余数,所述j大于1且小于所述多个视频发送设备中的视频发送设备的数量,所述a为视频图像的平均帧间隔,所述m为所述多个视频发送设备中的第一目标视频发送设备的带宽和与网络规划带宽的比值;其中,所述第一目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量大于第一预设阈值的视频发送设备,所述目标p帧为大小大于第二预设阈值的p帧;所述多个视频发送设备中的第k个第二目标视频发送设备的起始i帧发送时段的起始时刻为(k-1)
×a×
b+(m-1)
×a×
b与(n-1)
×a×
b的余数,所述k大于1且小于所述多个视频发送设备中的视频发送设备的数量,所述n为多个起始i帧发送时段中的起始i帧发送时段的数量,n=rounddown(r/b+1);其中,所述第二目标视频发送设备为传输的视频图像中相邻的两个i帧之间包含的目标p帧的数量不大于所
述第一预设阈值的视频发送设备。
[0274]
在一种可能的实现方式中,所述多个视频发送设备中的任一个视频发送设备根据基准时间和所述任一个视频发送设备的起始i帧发送时段向网络首次发送i帧,在向网络首次发送i帧之后,按照预设周期间隔向网络发送i帧,所述预设周期间隔为视频图像中的i帧间隔。
[0275]
其中,该调度视频发送设备的装置800还可以包括存储单元803,用于存储网络设备的程序代码和数据。可选地,该调度视频发送设备的装置800还可以包括发送单元802,用于向网络发送视频图像。
[0276]
需要说明的是,各个单元的实现还可以对应参照图6所示的方法实施例的相应描述。
[0277]
在图8所描述的调度视频发送设备的装置800中,在多个视频发送设备向网络传输视频图像之前,接收来自网络设备为其分配起始i帧发送时段,之后,每一个视频发送设备按照分配的起始i帧发送时段向网络传输视频图像;由于本技术是在多个视频发送设备向网络传输视频图像之前,对多个视频发送设备的起始i帧发送时段进行统一调度的,故可以提前预防视频发送设备之间发生i帧碰撞,有利于避免i帧碰撞,增强用户体验;以及可以控制使用同一起始i帧发送时段的视频发送设备的数量在合理范围内,即使发生i帧碰撞,也不会导致网络拥塞、视频卡顿和丢帧。
[0278]
请参阅图9,图9是本技术实施例提供的一种网络设备910的结构示意图,该网络设备910包括处理器911、存储器912和通信接口913,上述处理器911、存储器912和通信接口913通过总线914相互连接。
[0279]
存储器912包括但不限于是随机存储记忆体(random access memory,ram)、只读存储器(read-only memory,rom)、可擦除可编程只读存储器(erasable programmable read only memory,eprom)、或便携式只读存储器(compact disc read-only memory,cd-rom),该存储器912用于相关计算机程序及数据。通信接口913用于接收和发送数据。
[0280]
处理器911可以是一个或多个中央处理器(central processing unit,cpu),在处理器911是一个cpu的情况下,该cpu可以是单核cpu,也可以是多核cpu。
[0281]
该网络设备910中的处理器911用于读取上述存储器912中存储的计算机程序代码,执行图6所示由网络设备实现的方法步骤。
[0282]
需要说明的是,网络设备910的各个操作的实现还可以对应参照图6所示的方法实施例的相应描述。
[0283]
在图9所描述的网络设备910中,在多个视频发送设备向网络传输视频图像之前,为多个视频发送设备中的每一个视频发送设备分配起始i帧发送时段,之后,每一个视频发送设备按照分配的起始i帧发送时段向网络传输视频图像;由于本技术是在多个视频发送设备向网络传输视频图像之前,对多个视频发送设备的起始i帧发送时段进行统一调度的,故可以提前预防视频发送设备之间发生i帧碰撞,有利于避免i帧碰撞,增强用户体验;以及可以控制使用同一起始i帧发送时段的视频发送设备的数量在合理范围内,即使发生i帧碰撞,也不会导致网络拥塞、视频卡顿和丢帧。
[0284]
请参阅图10,图10是本技术实施例提供的一种视频发送设备1010的结构示意图,该视频发送设备1010包括处理器1011、存储器1012和通信接口1013,上述处理器1011、存储
rate sdram,ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram,esdram)、同步连接动态随机存取存储器(synchlink dram,sldram)和直接内存总线随机存取存储器(direct rambus ram,dr ram)。
[0295]
需要说明的是,当处理器为通用处理器、dsp、asic、fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时,存储器(存储模块)集成在处理器中。
[0296]
应注意,本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
[0297]
还应理解,本文中涉及的第一、第二、第三、第四以及各种数字编号仅为描述方便进行的区分,并不用来限制本技术的范围。
[0298]
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
[0299]
应理解,在本技术的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本技术实施例的实施过程构成任何限定。
[0300]
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
[0301]
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0302]
在本技术所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0303]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0304]
另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
[0305]
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例所示方法的全部或部分步骤。
而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0306]
本技术实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
[0307]
本技术实施例装置中的模块可以根据实际需要进行合并、划分和删减。
[0308]
以上,以上实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1