一种即时视频的传输方法和电子设备的制造方法_3

文档序号:9251239阅读:来源:国知局
br>[0112] 若网络带宽小于第二预设值,且大于或者等于第三预设值,则判定网络带宽满足 第三预设条件;
[0113] 若网络带宽小于第三预设条件,则判定网络带宽满足第四预设条件。
[0114] 判断网络带宽与第一预设值、第二预设值和第三预设值之间的数值关系的过程可 以为:
[0115] 判断网络带宽是否大于或者等于第一预设值,若是,则判定网络带宽满足第一预 设条件,并执行步骤203 ;若不是,则判断网络带宽是否大于或者等于第二预设值,若是,则 判定网络带宽满足第二预设条件,并执行步骤205 ;若不是,则判断网络带宽是否大于或者 等于第三预设值,若是,则判定网络带宽满足第三预设条件,并执行步骤208 ;若不是,则判 定网络带宽满足第四预设条件,并执行步骤210。
[0116] 其中,在实际应用中,第一预设值可以为100kb/s,第二预设值可以为50kb/s,第 三预设值可以为l〇kb/S。
[0117] 可选的,由于网络传输时网络带宽的不稳定性,所以,可以判断当前时刻之前的预 设时间段内网络带宽的平均值是否满足第一预设条件、第二预设条件、第三预设条件和第 四预设条件中的任意一个。
[0118] 其中,在实际应用中,预设时间段可以为0. 2秒。
[0119] 通过判断当前时刻之间的预设时间段内网络带宽的平均值是否满足预设条件,消 除了网络传输时网络带宽的不稳定性,保证了即时视频编码的可靠性,提高了用户体验。
[0120] 需要说明的是,若网络带宽大于或者等于第一预设值,且电子设备不支持第一传 输策略,则通过常规的传输方式传输即时视频帧。
[0121] 若网络带宽小于第一预设值,大于或者等于第二预设值,且电子设备不支持第二 传输策略,则通过常规的传输方式传输即时视频帧。
[0122] 若网络带宽小于第二预设值,大于或者等于第三预设值,且电子设备不支持第三 传输策略,则通过常规的传输方式传输即时视频帧。
[0123] 若网络带宽小于第三预设值,且电子设备不支持第四传输策略,则通过常规的传 输方式传输即时视频帧。
[0124] 由于通过判断网络带宽是否满足预设条件,所以在判定网络带宽低时,对即时视 频进行处理,可以提高网络带宽的利用率,节省网络资源,提高了即时视频的传输效率,提 尚了用户体验。
[0125] 203、根据与当前即时视频帧对应的重要性矩阵,对当前即时视频进行处理,获取 处理后的即时视频帧。
[0126] 具体的,对当前即时视频帧进行低通滤波于对兴趣区域进行低通滤波的过程相 同,此处再不加以赘述。
[0127] 根据滤波后的当前即时视频帧、当前即时视频帧以及重要性矩阵,获取处理后的 即时视频帧。
[0128] 可以通过预设的生成算法,在重要性矩阵的基础上,对当前即时视频帧和滤波后 的当前即时视频帧进行融合,获取处理后的即时视频帧,该算法可以为:
[0129] out = d* src+ (1-d)*low
[0130] 其中,out为处理后的即时视频帧,src为当前即时视频帧,low为滤波后的当前即 时视频帧,5为重要性矩阵。
[0131] 通过对当前即时视频进行低通滤波,消除该当前即时视频中的高频信号,减少当 前即时视频所占用的带宽资源,从而可以进一步提高即时视频的传输效率,提高用户体验; 另外,由于重要性矩阵指示了即时视频帧内的兴趣区域和非兴趣区域,所以,通过重要性矩 阵,对重要性矩阵所指示的兴趣区域进行保留,利用低通滤波后的即时视频帧内的非兴趣 区域替换即时视频帧内的非兴趣区域,使得输出的处理后的即时视频帧中兴趣区域的图像 为不失真的原始图像,非兴趣区域的图像为不包括高频信号的图像,从而使得在传输该处 理后的即时视频帧时,减少了传输时所需的带宽资源,提高了即时视频的传输效率,提高了 用户体验。
[0132]204、传输处理后的即时视频帧,结束。
[0133] 具体的,将该处理后的即时视频帧输入编码器,由编码器对该处理后的即时视频 帧编码,生成码流数据;
[0134] 传输该码流数据,本发明实施例对具体的传输方式不加以限定。
[0135] 值得注意的是,步骤203至步骤204是实现根据第一传输策略,传输包括兴趣区域 的当前即时视频帧的过程,除了上述步骤所述的方式之外,还可以通过其他方式实现该过 程,本发明实施例对具体的方式不加以限定。
[0136] 由于本发明实施例是根据重要性矩阵对当前即时视频帧进行处理,而重要性矩阵 指示了当前即时视频内每一个像素的重要性度量值,从而对每一个像素点进行处理,提高 了处理后的即时视频的画面质量,从而进一步提高了用户体验。
[0137] 若网络带宽满足第一预设条件,且电子设备不支持第一传输策略,则结束,并在结 束之后,通过常规的传输方式传输即时视频帧。
[0138] 205、将至少包括兴趣区域的即时视频帧划分为至少一个宏块,并设置组成至少一 个宏块所对应的量化参数。
[0139] 具体的,可以按照预设的划分规则将处理后的当前即时视频帧划分为至少一个宏 块,本发明实施例对具体的划分规则不加以限定。
[0140] 设置包括全部或者部分兴趣区域的宏块的量化参数为第一数值;由于在实际应用 中,量化参数的取值范围为〇至51之间,所以该第一数值可以为0至25之间用户或者系统 中的任意一个所定义的任意数值。
[0141] 设置不包括全部或者部分兴趣区域的宏块的量化参数为第二数值;该第二数值可 以为25至51之间用户或者系统中的任意一个所定义的任意数值。
[0142] 由于在即时视频交互的场景下,交互双方对于即时视频中如人脸所在区域等兴趣 区域的关注度和画面质量要求大于其他区域,所以,可以通过设置该包括全部或者部分兴 趣区域的宏块的量化参数为第一数值,在编码过程中,较多的保留该兴趣区域的细节,使得 在即时视频过程中能够保证兴趣区域的画面质量,满足用户对兴趣区域的画面细节的要 求,进一步提高了用户体验。另外,由于在即时视频交互的场景下,交互双方对于即时视频 中如人脸所在区域等兴趣区域的关注度和画面质量要求大于其他区域,所以,可以设置不 包括全部或者部分兴趣区域的宏块的量化参数为第二数值,在编码过程中,对该不包括全 部或者部分兴趣区域的宏块的细节不进行保留,减少不包括全部或者部分兴趣区域的宏块 在传输时所占用的带宽,使得相比于传统的即时视频传输方法,该方法所需的带宽资源更 少,从而能够进一步节省带宽资源,提高即时视频传输的效率,提高用户体验。另外,通过设 置包括全部或者部分兴趣区域的宏块的量化参数为第一数值,设置不包括全部或者部分兴 趣区域的宏块的量化参数为第二数值,使得在编码过程中,保留了兴趣区域的细节,对非兴 趣区域的细节不进行保留,使得在对兴趣区域进行不失真传输的基础上,进一步减少了非 兴趣区域在传输时所占用的带宽,使得相比于传统的即时视频传输方法,该方法不仅能够 保证兴趣区域的画面质量,而且所需的带宽资源更少,从而能够进一步节省带宽资源,提高 即时视频传输的效率,提高用户体验。
[0143] 206、根据量化参数,对至少一个宏块进行编码,生成编码后的即时视频帧。
[0144] 具体的,根据第一数值和第二数值对该处理后的即时视频帧进行编码。
[0145] 本发明实施例对具体的编码方式不加以限定。
[0146] 207、传输编码后的即时视频帧,结束。
[0147] 具体的,本发明实施例对具体的传输方式不加以限定。
[0148] 值得注意的是,步骤205至步骤207是实现根据第二传输策略,传输包括兴趣区域 的当前即时视频帧的过程,除了上述步骤所述的方式之外,还可以根据其他方式实现该过 程,本发明实施例对具体的方式不加以限定。
[0149] 由于根据用于指示宏块在编码过程中的精细程度的量化参数,对至少一个宏块进 行编码,使得在编码过程中,保留了兴趣区域的细节,非兴趣区域的细节不加以保留,不仅 将更多的宽带资源用于兴趣区域的传输,而且保证了即时视频中兴趣区域的画面质量,从 而保证了兴趣区域的传输,进一步提高了即时视频的传输效率,提高了用户体验。
[0150] 若网络带宽满足第二预设条件,且电子设备不支持第二传输策略,则结束,并在结 束之后,通过常规的传输方式传输即时视频帧。
[0151] 可选的,在实际应用中,在执行步骤205之前,还可以执行步骤203。
[0152] 208、获取包括兴趣区域的当前即时视频帧与参考帧之间的残差数据。
[0153] 具体的,从当前即时视频帧中获取兴
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1