本发明涉及视频处理技术领域，更具体的说是涉及一种基于毫米波系统的自适应鲁棒视频编码方法。
背景技术
毫米波通信为大数据量的高清视频服务提供了丰富的带宽，然而由于其天然的物理特性，网络频繁切换问题、传输路径的遮挡问题，对需要实时、持续的视频服务提出了新的挑战。
现有的视频编码方案，要么在追求鲁棒性的同时，忽视了鲁棒编码对编码效率的影响，要么对网络切换的容忍度不够。通信路径内的人和物体的遮挡均会造成通信链路的长时中断问题，用户的移动和物体经过通信路径时的短时遮挡也会造成短时的通信中断和重连问题。
因此，如何提供一种基于毫米波系统的自适应高效视频编码方法是本领域技术人员亟需解决的问题。
技术实现要素：
有鉴于此，本发明提供了一种基于毫米波系统的自适应鲁棒视频编码方法，从编码效率、编码鲁棒性之间的相互作用机理出发，提供了优质的视频服务。
为了实现上述目的，本发明采用如下技术方案：
一种基于毫米波系统的自适应鲁棒视频编码方法，包括：
1)对视频源进行张量分解显著性提取，并结合码率分配，将视频内容分配给编码器；
2)结合用户视频服务信息的汇聚、融合和分析，进行场景建模；
3)通过场景建模控制编码器运行，具体包括以下情况：
31)若视线路径和中继路径通畅时，场景建模控制shvc编码器运行，并控制路径数和路径信道状态进而确定自适应多描述编码器的编码路数，实现视线路径和/或中继路径的视频传输；
32)若视线路径和/或中继路径不稳定时，场景建模控制shvc编码器运行，并控制路径数和路径信道状态进而确定自适应多描述编码器的编码路数，通过喷泉编码实现中继路径、视线路径和一阶反射路径其中两者或者三者的视频传输。
进一步，对视频源进行张量分解显著性提取的具体步骤为：
11)：读入视频序列，并通过帧差法计算视频的运动剧烈程度，得到运动剧烈程度曲线；
12)：以30帧为一个gop，计算gop运动剧烈程度曲线；
13)：将gop运动剧烈程度曲线进行归一化，计算每个gop的帧率下采样度，并结合运动剧烈程度曲线将帧率下采样度进行分级；
14)：将视频序列逐帧分为16×16或32×32的视频块，并以视频块内像素平均值作为该块视频数据；
15)：依据视频块以及分级后的帧率下采样度，通过最优秩-稀疏分解算法提取视频前景，并进行滤波处理，标注视频前景所在的视频块；
16)：针对视频前景和视频背景，分配不同的码率。
进一步，将帧率下采样度分为三个等级，依次为不下进行采样、每隔一帧采样一次和每隔两帧采样一次。
进一步，针对运动剧烈程度曲线中运动缓慢的帧序列每隔一帧采样一次，针对运动剧烈程度曲线中运动强烈的帧序列不进行下采样，针对运动曲线中运动适中的帧序列每隔两帧采样一次。
进一步，通过用户视频服务信息的汇聚、融合和分析，并根据以下公式进行场景建模:
s.t.(c1):min(l),
(c2):l≥max(l1,l2,…lu),
(c3):n≥max(n1,n2,…nu),
(c6):ε≥var(s1,s2,…su)
其中，i表示第i个用户，u＝{1,2,...i,...u}为网络中所有用户的集合；
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于毫米波系统的自适应鲁棒视频编码方法，通过用户视频服务信息的汇聚、融合和分析进行场景建模，通过场景建模控制编码器运行，当视线路径和中继路径通畅时，采用hevc编码器，并结合通信路径数、通信路径信道状态，确定多描述编码的编码路数，实现了视频的多路径传输，避免了单一路径传输被遮挡导致的通信中断问题；当视线路径和/或中继路径不稳定或不通畅时，融合shvc编码、多描述编码、喷泉编码，并借助一阶反射路径辅助视频传输，保障了基本的视频服务，并且借鉴喷泉编码的思想，为视频信号提供前向纠错无需重传的能力，避免短时中断和反复重连造成的重发延迟，保障视频的流畅传输。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的一种基于毫米波系统的自适应鲁棒编码方法视频传输流程图。
图2附图为本发明提供的张量分解显著性提取流程图。
图3附图为本发明提供的张量分解显著性提取效果图。
图4附图为本发明实施例1的室内毫米波通信路径示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于毫米波系统的自适应鲁棒视频编码方法，参考附图1，包括：
1)对视频源进行张量分解显著性提取，并结合码率分配，将视频内容分配给编码器；
2)通过用户视频服务信息的汇聚、融合和分析，进行场景建模；
3)通过场景建模控制编码器运行，具体包括以下情况：
31)若视线路径和中继路径通畅时，场景建模控制hevc编码器运行，并控制通信路径数和路径信道状态进而确定自适应多描述编码器的编码路数，实现视线路径和/或中继路径的视频传输；
32)若视线路径和/或中继路径不稳定时，场景建模控制shvc编码器运行，并控制路径数和路径信道状态进而确定自适应多描述编码器的编码路数，通过喷泉编码实现中继路径、视线路径和一阶反射路径其中两者或者三者的视频传输。
本发明在高离网率高随机性的毫米波通信系统中传输海量的视频数据，通过张量分解显著性提取快速准确的提取视频显著性区域，并以可伸缩视频编码的方式优先传输视频的主要信息，保障用户在恶劣的网络条件下的基本视频服务，而在较稳定的网络条件下，尽可能提高视频质量。
为进一步优化上述技术方案，对视频源进行张量分解显著性提取的具体步骤为：
11)：读入视频序列，并通过帧差法计算视频的运动剧烈程度，得到运动剧烈程度曲线；
12)：以30、60或90帧为一个gop，计算gop运动剧烈程度曲线；
13)：将gop运动剧烈程度曲线进行归一化，依次计算每个gop的帧率下采样度，并结合运动剧烈程度曲线将帧率下采样度分为三个等级，依次为针对运动剧烈程度曲线中运动缓慢的帧序列每隔一帧采样一次，针对运动剧烈程度曲线中运动强烈的帧序列每隔两帧采样一次，针对运动曲线中运动适中的帧序列不进行下采样；
14)：将视频序列逐帧分为16×16或32×32的视频块，并以视频块内像素平均值作为该块视频数据；
15)：依据视频块以及分级后的帧率下采样度，通过最优秩-稀疏分解算法提取视频前景，并进行滤波处理，标注视频前景所在的视频块；
16)：针对视频前景和视频背景，分配不同的码率。
需要说明的是，gop表示一组连续的画面，也就是以视频序列中的30帧或60帧或90帧为一组连续的画面。
本方法通过视频块和帧率下采样度两种方式提高视频显著性提取的处理速度，减少计算复杂度，解决了传统基于三维时、空结构化张量分解的视频显著性提取技术，通常以像素为单位进行，这种方式一方面容易受到视频信号中广泛存在的椒盐噪声的影响，造成提取区域的“毛边”和不规整问题，另一方面，高清、超高清视频的庞大数据量使得该方法很难同时满足实时性和精准性，难以应用于毫米波系统中的技术问题。具体的，首先，依据视频中目标的运动剧烈程度，选择帧率下采样，对于运动较为缓慢的帧序列进行较强的帧率下采样，即每隔一帧采样一次，突出物体的运动，以便于准确提取显著性区域，避免漏检，对于运动较强的帧序列不进行下采样，保留物体的运动轨迹信息，避免错检；其次，将视频帧进行块化处理，一方面将三维结构化张量分解的处理单位由像素变为块，减少运算量，另一方面，为后续基于块的视频编码方案提供便利；此外，针对由噪声引起的显著性区域提取中的漏检和错检，采用图像滤波的方式，如腐蚀和膨胀操作，提高视频显著性区域提取的准确性。
为进一步优化上述技术方案，通过用户视频服务信息的汇聚、融合和分析，并根据以下公式进行场景建模：
s.t.(c1):min(l),
(c2):l≥max(l1,l2,…lu),
(c3):n≥max(n1,n2,…nu),
(c6):ε≥var(s1,s2,…su)
其中，i表示第i个用户，u＝{1,2,...i,...u}为网络中所有用户的集合；
本方法综合考虑网络参数、用户移动性、视距遮挡等因素导致的网络中断和重连对用户体验的影响，以最大化网络中所有用户视频服务指标总和为目标，以最小化传输数据量为约束建立最优化模型，在编码效率和视频的可分级性上找到合理的平衡点，在保障视频主要信息的优先传输的基础上，降低传输数据量，提高传输效率。
实施例1：参考附图4，在室内布置中继的方式，为视频传输提供额外的中继路径，保障流畅的视频服务，借助室内墙面、屋顶及天花板的反射，为毫米波通信提供四个一阶反射路径，辅助视频传输。
具体的步骤为：
1)对视频源进行张量分解显著性提取，包括以下步骤：
11)：读入视频序列，并通过帧差法计算视频的运动剧烈程度，得到运动剧烈程度曲线；
12)：以30帧为一个gop，计算gop运动剧烈程度曲线；
13)：将gop运动剧烈程度曲线进行归一化，计算每个gop的帧率下采样度，并结合运动剧烈程度曲线将帧率下采样度分为三个等级，依次为不进行下采样、每隔一帧采样一次和每隔两帧采样一次，针对运动剧烈程度曲线中运动缓慢的帧序列每隔一帧采样一次，针对运动剧烈程度曲线中运动强烈的帧序列不进行下采样，针对运动曲线中运动适中的帧序列每隔两帧采样一次；
14)：将视频序列逐帧分为16×16的视频块，并以视频块内像素平均值作为该块视频数据；
15)：依据视频块以及分级后的帧率下采样度，通过最优秩-稀疏分解算法提取视频前景，对提取结果先膨胀后腐蚀，并去除噪声，标注视频前景所在的视频块；
16)：针对视频前景和视频背景，分配不同的码率，将视频前景所在的视频块量化参数qp设置为26，将视频背景所在的视频块量化参数qp设置为30，以此在优先保障视频前景的精细编码的同时，提高视频压缩编码效率；
需要说明的是，在视频编码中，qp是量化参数，与量化步长一一对应，qp越小量化步长越小，量化越精细，编码失真越小，码率越高。
其中，附图3为根据上述流程对视频源进行张量分解显著性提取的效果图，从图中可以看出，通过本发明提供的方法可以准确地提取视频显著性区域，有效消除了噪声引起的显著性区域提取中的漏检和错检。
2)结合用户视频服务信息的汇聚、融合和分析，并通过以下公式进行场景建模：
s.t.(c1):min(l),
(c2):l≥max(l1,l2,…lu),
(c3):n≥max(n1,n2,…nu),
(c6):ε≥var(s1,s2,…su)
其中，i表示第i个用户，u＝{1,2,...i,...u}为网络中所有用户的集合；
3)通过场景建模控制编码器运行，具体包括以下情况：
31)若视线路径和中继路径通畅时，场景建模控制hevc编码器运行，并控制通信路径数和路径信道状态进而确定自适应多描述编码器的编码路数；
32)若视线路径和/或中继路径不稳定时，场景建模控制shvc编码器运行，并控制路径数和路径信道状态进而确定自适应多描述编码器的编码路数，通过喷泉编码提高中继路径、视线路径、一阶反射路径的视频传输鲁棒性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。