一种远程驾驶自适应视频码率控制传输方法与系统与流程

1.本发明属于远程驾驶领域，具体涉及一种远程驾驶自适应视频码率控制传输方法与系统。


背景技术：

2.5g远程驾驶(5g remote driving)作为智能驾驶产业的一个分支，在无人驾驶技术尚不成熟的前提下，具有很高的应用价值和应用前景。5g技术以其低延时、超高可靠性及大带宽的特性，提供了精准可靠的信息传输，使得驾驶员可以在千里之外远程操控无人驾驶的车辆。5g远程驾驶因其具有的安全性和便捷性，可以应用在一些特殊场景，例如救灾、道路抢修，来降低营救工作的危险性，提高营救效率；还可以实现远程精准作业，如矿山、油田和荒地等区域的生产作业。
3.远端控制室通过车辆终端实时传输的路况视频图像作为判断是否进行远程驾驶或远程控制汽车行驶的依据。由于车辆在道路上行驶时会在许多不同制式的网络覆盖范围内快速穿过，一些网络自身的特性不能满足车辆终端实时视频传输，会导致连接时间过短甚至连接中断。同时，由于行车条件的多变性、极端的天气状况、城市的高层建筑物等等，都会对信号传输造成影响。


技术实现要素：

4.本发明的目的在于，提供一种远程驾驶自适应视频码率控制传输方法与系统，解决了车辆远程驾驶模式下因行车条件的多变性、极端的天气状况、城市的高层建筑物等因素造成车端网络波动带宽降低，影响远程驾驶员无法实时监控远程车辆周围交通环境的问题，进而确保了整个行驶任务的安全性。
5.为解决上述技术问题，本发明的技术方案为：一种远程驾驶自适应视频码率控制传输方法，包括以下步骤：
6.在驾驶模式切换为远程驾驶后，周期性检测网络状态；
7.当位于车辆的视频发送端在单位时间内的数据传输量低于网络信道欠载阈值时，提升视频发送端的视频码率使数据传输量超过网络信道欠载阈值；
8.当视频发送端在单位时间内的数据传输量高于网络信道欠载阈值且低于网络信道满载阈值时，维持此时视频发送端的视频码率；
9.当视频发送端在单位时间内的数据传输量高于网络信道满载阈值时，降低视频发送端的视频码率使数据传输量低于网络信道满载阈值。
10.还包括将数据丢包率λi作为网络状态的参考因子，根据以下公式对数据丢包率进行平滑处理：
11.λi＝αl+(1-α)λ
i-1
12.式中，λi和λ
i-1
分别代表经过平滑处理后，某一段时间内当前时刻与前一个时刻内的视频数据丢失率，l表示未经处理的当前时刻实际的数据丢失率，α是权重系数，且0《α《1；
13.根据以下公式对网络状态与视频码率以及编码量化参数的关系进行相应调节：
[0014][0015]
式中，n
up
为视频发送端的编码量化参数的快速增加参数，快速下降参数设为n
down
为视频发送端的编码量化参数的快速下降参数，n
cur
和n
pre
分别表示为某段时间内当前时刻及其前一时刻的量化参数值，n
max
和n
min
则为视频发送端视频码率调节过程网络信道能够承受的最大量化值和最小量化值，λ1是网络信道欠载阈值，λ2是网络信道满载阈值；
[0016]
当λi《λ1时，提升视频发送端的视频码率使数据传输量超过网络信道欠载阈值；
[0017]
当λ1≤λi≤λ2时，维持此时视频发送端的视频码率；
[0018]
当λi》λ2时，降低视频发送端的视频码率使数据传输量低于网络信道满载阈值。
[0019]
还包括引入网络时延抖动j
cur
后的修正公式：
[0020][0021]
式中，j为预设的时延抖动阈值，n1为量化参数基本调整数值；
[0022]
当j
cur
≤j时，维持此时视频发送端的视频码率；
[0023]
当j
cur
》j时，降低视频发送端的视频码率使网络时延抖动小于或等于时延抖动阈值。
[0024]
α值取0.8。
[0025]
还提供一种远程驾驶自适应视频码率控制系统，包括：
[0026]
车载摄像头，用于采集远程驾驶车辆周围交通环境信息的视频图像数据并发送至车载网联终端；
[0027]
车载网联终端，用于将车辆行驶状态数据和视频图像数据发送至调度云平台，在驾驶模式切换为远程驾驶后，周期性检测网络状态；当位于车辆的视频发送端在单位时间内的数据传输量低于网络信道欠载阈值时，提升视频发送端的视频码率使数据传输量超过网络信道欠载阈值；当视频发送端在单位时间内的数据传输量高于网络信道欠载阈值且低于网络信道满载阈值时，维持此时视频发送端的视频码率；当视频发送端在单位时间内的数据传输量高于网络信道满载阈值时，降低视频发送端的视频码率使数据传输量低于网络信道满载阈值；还用于接收调度云平台发送的远程驾驶信号；
[0028]
调度云平台，用于接收车载网联终端上传的远程被控车辆行驶状态数据、周围交通环境数据信息和转发远程驾驶台架发出的控制信号；
[0029]
远程驾驶台架，用于远程代驾驾驶员远程接管控制车辆。
[0030]
还包括将数据丢包率λi作为网络状态的参考因子，根据以下公式对数据丢包率进行平滑处理：
[0031]
λi＝αl+(1-α)λ
i-1
[0032]
式中，λi和λ
i-1
分别代表经过平滑处理后，某一段时间内当前时刻与前一个时刻内的视频数据丢失率，l表示未经处理的当前时刻实际的数据丢失率，α是权重系数，且0《α《1；
[0033]
根据以下公式对网络状态与视频码率以及编码量化参数的关系进行相应调节：
[0034][0035]
式中，n
up
为视频发送端的编码量化参数的快速增加参数，快速下降参数设为n
down
为视频发送端的编码量化参数的快速下降参数，n
cur
和n
pre
分别表示为某段时间内当前时刻及其前一时刻的量化参数值，n
max
和n
min
则为视频发送端视频码率调节过程网络信道能够承受的最大量化值和最小量化值，λ1是网络信道欠载阈值，λ2是网络信道满载阈值；
[0036]
当λi《λ1时，提升视频发送端的视频码率使数据传输量超过网络信道欠载阈值；
[0037]
当λ1≤λi≤λ2时，维持此时视频发送端的视频码率；
[0038]
当λi》λ2时，降低视频发送端的视频码率使数据传输量低于网络信道满载阈值。
[0039]
还包括引入网络时延抖动j
cur
后的修正公式：
[0040][0041]
式中，j为预设的时延抖动阈值，n1为量化参数基本调整数值；
[0042]
当j
cur
≤j时，维持此时视频发送端的视频码率；
[0043]
当j
cur
》j时，降低视频发送端的视频码率使网络时延抖动小于或等于时延抖动阈值。
[0044]
α值取0.8。
[0045]
还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一项所述方法的步骤。
[0046]
还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述方法的步骤。
[0047]
与现有技术相比，本发明的有益效果为：
[0048]
本发明解决了车辆远程驾驶模式下因行车条件的多变性、极端的天气状况、城市的高层建筑物等因素造成车端网络波动带宽降低，影响远程驾驶员无法实时监控远程车辆周围交通环境的问题，进而确保了整个行驶任务的安全性。
附图说明
[0049]
图1为本发明实施例的方法流程示意图；
[0050]
图2为本发明实施例的系统架构图；
[0051]
图3为本发明实施例的算法流程示意图。
具体实施方式
[0052]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0053]
本发明的技术方案如下：
[0054]
(1)远程驾驶系统具备对车辆远程视频监控、远程驾驶遥控等功能，如图2所示，本系统包括：车载摄像头、车载网联终端、调度云平台、和远程驾驶台架。车载摄像头用于采集远程被控车辆周围交通环境信息并将采集到的视频图像数据发送给车载网联终端；车载网联终端用于接收调度云平台下发的远程驾驶信号和发送远程被控车辆行驶状态数据以及周围交通环境数据信息；调度云平台用于接收车载网联终端上传的远程被控车辆行驶状态数据、周围交通环境数据信息和转发远程驾驶台架发出的控制信号；远程驾驶台架用于远程代驾驾驶员远程接管控制车辆。
[0055]
(2)车辆在道路上行驶时，由于车辆所处的网络环境会快速变换，车载网联终端不能够自适应地调控视频源端的数据发送速率，使得车辆端视频数据的实时传输速率不能够与当前网络可用带宽相互匹配，进而导致视频传输过程中会出现网络拥塞、时延等现象。在远程驾驶模式下，远程驾驶室主要通过汽车终端实时回传的视频数据来判断是否进行远程驾驶。车辆在道路上行驶时，由于车辆节点在不断移动，车辆所面对的网络环境在不断变化，车载网联终端的网络时延、带宽等也有明显的差异，为了确保车端视频数据在网络传输中的稳定性和准确性，除了对车载网联终端进行升级和优化，最确实有效的方法就是使视频数据的传输速率与当前网络可用带宽实时匹配。
[0056]
基于探测的码率调控方法以aimd方法中的“平稳上升，快速下降”为原则，对视频源端编码速率进行管控，具体调整策略如下所示：
[0057]
①
当视频发送端在单位时间内的数据传输量低于网络信道负载门限(即网络信道欠载阈值)时，网络处于空载状态，可以适当提升视频终端的传输速度，以到达网络信道负载正常状态，避免浪费网络资源。
[0058]
②
当视频发送端在单位时间内的数据传输量位于网络信道负载的门限附近时，此时不对视频源端的发送速率做出调整，不改变视频源端的编码速率，此时网络信道利用率达到最高。
[0059]
③
当视频发送端在单位时间内的数据传输量超过网络信道承载的最大容量(即网络信道满载阈值)时，网络环境会变得拥塞，此时应以较快速度降低源端数据发送码率，快速降低视频终端的发送速率，使数据传输量回到信道负载门限值以内。
[0060]
(3)如图1所示，第一阶段驾驶模式切换为自动驾驶模式时，车载网联终端周期性地检测当前使用网络是否满足驾驶需求，当视频发送端在单位时间内的数据传输量低于网络信道负载门限且上远程驾驶室接收到的视频清晰度满足远程驾驶员的监测需求，或者视频发送端在单位时间内的数据传输量位于网络信道负载的门限附近时，不对视频源端的发送速率做出调整，不改变视频源端的编码速率；当视频发送端在单位时间内的数据传输量超过网络信道承载的最大容量时，网络环境会变得拥塞，此时应以较快速度降低源端数据发送码率，通过降低传输视频的清晰度进而降低视频终端的发送速率，使数据传输量回到
信道负载门限值以内。aimd方法的主要思路是将数据包的丢包率作为网络状态的参考因子，根据数据包丢失率的具体数值对网络状态进行划分。由于网络的波动性和偶然性，对于视频源端获取的数据丢包率需要经过平滑处理，才能减少突发情况对调控机制的影响。一般使用一阶低通滤波对数据丢失率进行处理，如公式所示：
[0061]
λi＝αl+(1-α)λ
i-1
[0062]
式中，λi和λ
i-1
分别代表经过平滑处理后，某一段时间内当前时刻与前一个时刻内的视频数据丢失率，l表示未经处理的当前时刻实际的数据丢失率，α是权重系数，且0《α《1，由上式可以看出α的值影响着系统的平滑处理，α值越大，对网络状态的反馈程度越清晰，因此为了更好发挥其平滑性能，取α值为0.8。
[0063]
将网络状态划分为欠载、满载、超载三个层次，平滑数据丢失率λ1是网络环境由欠载进入满载时的门限，平滑数据丢失率λ2是网络环境由满载进入超载时的门限。将源端的编码量化参数的快速增加参数设为n
p
，快速下降参数设为n
down
，n
cur
和n
pre
分别表示某段时间内当前时刻和前一时刻的量化参数值，n
max
和n
min
则为视频源端码率调节过程网络信道能够承受的最大量化值和最小量化值，n
thre
为网络超载时的量化参数门限，是一个变量。
[0064]
网络信道负载的划分和aimd方法的速率调控策略，可以对网络状态与视频编码码率以及量化参数之间的关系进行相应调节，具体可按下式来进行。
[0065][0066]
①
当λi《λ1时，表示网络信道负载处于空闲状态，可以适当减小当前时刻量化参数值，提高传输视频的清晰度加大视频源端发送码率，快速提升单位时间内视频数据发送量，提高网络信道带宽利用率。
[0067]
②
当λ1≤λi≤λ2时，表示此时网络负载相对平稳，视频单位时间内数据传输量与网络信道可承受的负载处于平衡状态，视频发送端不需要对视频码率做出调整，视频传输处于最佳状态。
[0068]
③
当λi》λ2时，表示单位时间内视频数据发送量已经超出网络信道的最大负载，此时网络环境恶劣，视频数据丢失量和传输时延加剧，需要快速增加量化参数值，降低视频源端的发送码率，使网络信道可用带宽尽快恢复到正常状态，避免对视频传输造成过大的影响。
[0069]
(3)第二阶段车载网联终端周期性地检测当前使用网络是否满足驾驶需求，在上述方法中，将数据丢包率作为主要网络状态参考对象，但是实际应用中，数据丢包率主要反映中长时间段的网络拥塞情况，面对车辆在道路上的网络环境，还需要引入能够短期反应网络状态的参数。在上述方法基础上进行改进，首先引入新的网络参数，将网络时延抖动与数据丢包率共同加入对下一时刻网络状态的预测，然后对上述方法中的码率调控策略进行改进，使其能够更加适用于车辆终端的应用场景保证视频稳定、快速传输。
[0070]
在码率调控方法基础上进行改进，使其更加适用于远程驾驶模式下车端实时视频的传输。首先引入新的网络评估参数，根据视频数据丢包率和网络信道时延抖动重新对下一时刻网络状态进行评估，然后在具体的码率调控机制上，采用动态调整视频源端量化参
数的方法，使视频传输速率与网络信道实时匹配，更好的保证车端在道路行驶时的视频传输。如图3所示，根据上述方法对公式进行改进：
[0071][0072]
设n1为量化参数基本调整数值，取值为1，式中，n
down
定义为量化参数快速下降参数,是一个变量，快速增长参数n
up
设置为一个常量，n
down
和n
up
的初始数值如式所示：
[0073]ndown
＝n
up
＝2*n1[0074]
当视频数据的平滑丢包率λ1≤λi≤λ2时，则可以认为网络信道负载处于满载平衡状态，此时引入新的网络评估参数，将网络时延抖动j
cur
加入评估，设置时延抖动的门限值为j，当j
cur
≤j时，则表示网络信道负载均衡，此时不对视频源端的量化参数进行调整，保持视频发送端原来的码率，当j
cur
》j时，则视为单位时间内的视频发送量正要超过网络负载的最大容量，此时应适当的增加视频发送端的量化参数数值，降低视频源端编码码率，使网络信道回归平稳状态。
[0075]
当视频数据的平滑丢包率λi》λ2时，可以得出当前时刻网络正处于超载状态，需迅速增大源端的量化参数值，降低视频终端的传输码率，并记录下超载时的量化参数值，令n
thre
》n
cur
，即对上一时刻超载时的量化参数值门限n
thre
进行更新。
[0076]
当视频数据的平滑丢包率λi《λ1时，此时网络信道处于空闲状态，应对其分超载过、未超载两种情况分析。
[0077]
①
若视频终端在视频传输过程中从未出现过网络超载现象，则量化参数的快速下降参数n
down
保持不变，即：
[0078]ndown
＝2*n1[0079]
此时，可以认为单位时间内的视频数据发送量，尚未到达网络信道的负载上限，应对当前时刻的量化参数进行调整，快速减小量化参数值，提升视频终端的码率，降低视频终端调控的时间，减少网络资源的浪费。
[0080]
②
若视频终端在视频传输过程中出现过网络超载现象，则量化参数的快速下降参数n
down
需根据具体情况进行调整：
[0081]
设nm为衡量当前时刻量化参数值n
cur
与上一时刻n
thre
接近程度的参数，取值为2。当n
cur-n
thre
》nm，说明当前时刻量化参数值n
cur
还未达到上一时刻的超载门限n
thre
，视频终端单位时间内数据发送量尚未达到网络负载门限，此时应加速减小量化参数值，令n
down
＝2*n1。当0≤n
cur-n
thre
《nm，表明此时视频终端的码率已经非常接近上一时刻网络超载时的视频码率，但还没有超出门限，网络负载还没有进入平衡状态，此时应适当的减小视频的量化参数值，缓缓的提升源端的视频码率，使网络信道趋于饱和，令n
down
＝n1。
[0082]
当n
cur-n
thre
《0时，表示当前时刻视频源端量化参数值已经超过上一时刻的量化参数值门限，但此时网络仍处于空闲状态，表明在这段时间里视频终端的编码速率一直处于较低的水平，没有达到过网络负载满载状态，因此应该选取较大的量化参数减少参数，令n
down
＝2*n1，加速视频源端编码速率的提升，使网络信道快速攀升到负载均衡状态，减少对
网络资源的浪费，保证视频传输的稳定性。
[0083]
(4)第三阶段系统检测到当前使用网络负载满载时，则系统进行降低视频源端的发送码率，使网络信道可用带宽尽快恢复到正常状态，避免对视频传输造成过大的影响，进而影响到远程驾驶的安全性。
[0084]
①
当视频清晰度尚未降低到远程驾驶员要求的最低边界时，便使得网络负载相对平稳，则不再降低传输视频的清晰度。
[0085]
②
当视频清晰度降低到远程驾驶员要求的最低边界时，仍不能够使得网络负载相对平稳，则不再降低传输视频的清晰度，而是改为减少远程驾驶员所监控的视角。
[0086]
(5)第四阶段系统检测到视频发送端在单位时间内的数据传输量低于网络信道负载门限，网络处于空载状态时，可以适当提升视频终端的传输速度，首先恢复远程驾驶员的监测视角，进而提高传输视频的清晰度，提升远程驾驶任务的安全性。
[0087]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。