一种即时视频的编码方法和电子设备的制造方法_4

文档序号:9251289阅读:来源:国知局
的关注度和画面质量要求大于其他区域,所以,可以通过本发明实施例所提供的方法, 只传输兴趣区域与参考帧的兴趣区域之间的残差数据,对其他其余区域的数据不进行传 输,使得相比于传统的即时视频传输方法,该方法所需的带宽资源更少,从而能够进一步节 省带宽资源,同时还可以保证兴趣区域的画面质量,进一步提高即时视频传输的效率,提高 用户体验。
[0178] 本发明实施例提供了一种即时视频的编码方法,通过判断网络带宽是否满足预设 条件,从而可以在判定网络带宽低时,对即时视频进行处理,从而提高了网络带宽的利用 率,节省网络资源,提高了即时视频的传输效率,提高了用户体验;另外,由于本发明实施例 所述的方法是在从当前即时视频帧中获取兴趣区域后,对当前即时视频帧进行处理,使得 相比于传统的即时视频编码方法,在带宽资源不变的情况下,将更多的宽带资源用于兴趣 区域的传输,从而保证了兴趣区域的传输,进一步提高了即时视频的传输效率,提高了用户 体验;另外,由于获取并传输包括所述兴趣区域的当前即时视频帧与参考帧之间的残差数 据,相比于传统的传输全部即时视频帧,该方法进一步节省了网络带宽资源,同时保证了即 时视频中兴趣区域的画面质量,保证了兴趣区域的传输,从而进一步提高了即时视频的传 输效率,提高了用户体验。另外,由于在即时视频交互的场景下,交互双方对于即时视频中 如人脸所在区域等兴趣区域的关注度和画面质量要求大于其他区域,所以,可以通过本发 明实施例所提供的方法,对兴趣区域进行传输,对其他区域不进行传输,使得相比于传统的 即时视频传输方法,该方法所需的带宽资源更少,从而能够进一步节省带宽资源,提高即时 视频传输的效率,提高用户体验。另外,由于重要性矩阵指示了即时视频帧内的兴趣区域和 非兴趣区域,所以,通过重要性矩阵,对重要性矩阵所指示的兴趣区域进行保留,利用低通 滤波后的即时视频帧内的非兴趣区域替换即时视频帧内的非兴趣区域,使得输出的处理后 的即时视频帧中兴趣区域的图像为不失真的原始图像,非兴趣区域的图像为不包括高频信 号的图像,从而使得在传输该处理后的即时视频帧时,减少了传输时所需的带宽资源,提高 了即时视频的传输效率,提高了用户体验。另外,通过设置包括全部或者部分兴趣区域的宏 块的量化参数为第一数值,设置不包括全部或者部分兴趣区域的宏块的量化参数为第二数 值,使得在编码过程中,保留了兴趣区域的细节,对非兴趣区域的细节不进行保留,使得在 对兴趣区域进行不失真传输的基础上,进一步减少了非兴趣区域在传输时所占用的带宽, 使得相比于传统的即时视频传输方法,该方法不仅能够保证兴趣区域的画面质量,而且所 需的带宽资源更少,从而能够进一步节省带宽资源,提高即时视频传输的效率,提高用户体 验。另外,由于兴趣区域的位置参数与姿态参数进一步描述了该兴趣区域在当前即时视频 帧中的位置和当前姿态,所以,通过获取参考帧中的位置参数和姿态参数,可以保证在即时 视频传输过程中兴趣区域的画面质量,进一步提高用户体验;另外,通过获取兴趣区域的位 置参数与姿态参数,相比于对获取整个兴趣区域的所有数据,减少了即时视频传输过程中 的数据传输量和处理量,进一步提高了即时视频的传输效率,提高了用户体验。
[0179] 实施例四为本发明实施例提供的一种即时视频的显示方法,参照图4所示,为该 方法包括:
[0180] 401、获取与当前即时视频帧对应的残差数据,当前即时视频帧包括兴趣区域。
[0181] 具体的,可以接收其他电子设备发送的残差数据,也可以在电子设备自身生成残 差数据后,获取该残差数据。
[0182] 还可以通过其他方式获取该残差数据,本发明实施例对具体的获取方式不加以限 定。
[0183] 402、获取兴趣区域的位置参数与姿态参数。
[0184] 具体的,获取兴趣区域的位置参数与姿态参数;
[0185] 可以接收其他电子设备发送的兴趣区域的位置参数与姿态参数,也可以在电子设 备自身生成兴趣区域的位置参数与姿态参数后,获取该兴趣区域的位置参数与姿态参数。
[0186] 还可以通过其他方式获取该兴趣区域的位置参数与姿态参数,本发明实施例对具 体的获取方式不加以限定。
[0187] 由于兴趣区域的位置参数与姿态参数进一步描述了该兴趣区域在当前即时视频 帧中的位置和当前姿态,所以,通过获取参考帧中的位置参数和姿态参数,可以保证在即时 视频显示过程中兴趣区域的画面质量,进一步提高用户体验;另外,通过获取兴趣区域的位 置参数与姿态参数,相比于对获取整个兴趣区域的所有数据,减少了即时视频显示过程中 的数据传输量和处理量,进一步提高了用户体验。
[0188] 403、根据残差数据、兴趣区域的位置参数、兴趣区域的姿态参数和参考帧,显示当 前即时视频帧。
[0189] 具体的,根据该残差数据与参考帧,获取标准姿态下的兴趣区域;
[0190] 根据兴趣区域的位置参数和姿态参数,将标准姿态下的兴趣区域还原为当前姿态 下的兴趣区域。
[0191] 值得注意的是,步骤402至步骤403是根据残差数据和参考帧,显示当前即时视频 帧的过程,除了上述步骤所述的方式之外,还可以通过其他方式实现该过程,本发明实施例 对具体的方式不加以限定。
[0192] 由于在即时视频交互的场景下,交互双方对于即时视频中如人脸所在区域等兴趣 区域的关注度和画面质量要求大于其他区域,所以,可以通过本发明实施例所提供的方法, 只传输兴趣区域与参考帧的兴趣区域之间的残差数据,对其他其余区域的数据不进行传 输,然后根据该残差数据与预先发送的参考帧,显示该兴趣区域,使得相比于传统的即时视 频传输和显示方法,该方法所需的带宽资源更少,从而能够进一步节省带宽资源,同时还可 以保证兴趣区域的画面质量,进一步提高即时视频传输和显示的效率,提高用户体验。
[0193] 在本发明实施例中,残差数据是根据当前即时视频帧与参考帧获取的。
[0194] 本发明实施例提供一种即时视频的显示方法,通过只传输兴趣区域与参考帧的兴 趣区域之间的残差数据,对其他其余区域的数据不进行传输,然后根据该残差数据与预先 发送的参考帧,显示该兴趣区域,节省了带宽资源,同时还可以保证兴趣区域的画面质量, 提高了即时视频传输和显示的效率,提高了用户体验。
[0195] 实施例五为本发明实施例提供的一种电子设备5,参照图5所不,该电子设备5包 括:
[0196] 第一处理模块51,用于在当前即时视频帧中获取兴趣区域;
[0197] 第二处理模块52,用于在网络参数满足预设条件时,获取包括兴趣区域的当前即 时视频帧与参考帧之间的残差数据;
[0198] 发送模块53,用于将残差数据发送至其他电子设备。
[0199] 可选的,第二处理模块52具体用于:
[0200] 获取兴趣区域的位置参数与姿态参数;
[0201] 对位置参数与姿态参数进行归一化处理,生成标准位置参数与标准姿态参数;
[0202] 根据标准位置参数与标准姿态参数,获取包括兴趣区域的当前即时视频帧与参考 帧之间的残差数据。
[0203] 可选的,电子设备还包括编码模块,编码模块用于:
[0204] 设置组成当前即时视频帧的至少一个宏块的量化参数,并根据所述量化参数,对 所述当前即时视频帧进行编码,生成编码后的当前即时视频帧。
[0205] 可选的,编码模块具体用于:
[0206] 根据当前即时视频帧的重要性矩阵,对至少包括区域的当前即时视频帧进行处 理,获取处理后的当前即时视频帧;
[0207] 设置组成处理后的当前即时视频帧的至少一个宏块的量化参数,并根据所述量化 参数,对所述当前即时视频帧进行编码,生成编码后的当前即时视频帧。
[0208] 可选的,电子设备还包括获取模块,获取模块用于:
[0209] 从已传输的至少一个即时视频帧中获取参考帧。
[0210] 可选的,
[0211] 发送模块具体用于将所述残差数据、所述兴趣区域的位置参数与姿态参数发送至 所述其他电子设备。
[0212] 本发明实施例提供了一种电子设备,该电子设备通过判断网络带宽是否满足预设 条件,从而可以在判定网络带宽低时,对即时视频进行处理,从而提高了网络带宽的利用 率,节省网络资源,提高了即时视频的传输效率,提高了用户体验;另外,由于本发明实施例 所述的方法是在从当前即时视频帧中获取兴趣区域后,对当前即时视频帧进行处理,使得 相比于传统的即时视频编码方法,在带宽资源不变的情况下,将更多的宽带资源用于兴趣 区域的传输,从而保证了兴趣区域的传输,进一步提高了即时视频的传输效率,提高了用户 体验;另外,由于获取并传输包括所述兴趣区域的当前即时视频帧与参考帧之间的残差数 据,相比于传统的传输全部即时视频帧,该方法进一步节省了网络带宽资源,同时保证了即 时视频中兴趣区域的画面质量,保证了兴趣区域的传输,从而进一步提高了即时视频的传 输效率,提高了用户体验。
[0213] 实施例六为本发明实施例提供的一种电子设备6,参照图6所不,该电子设备6包 括发送模块61、存储器62以及与发送模块61、存储器62连接的处理器63,其中,存储器62 用于存储一组程序代码,处理器63调用存储器62所存储的程序代码用于执行以下操作:
[0214] 在当前即时视频帧中获取兴趣区域;
[0215] 若网络参数满足预设条件,则获取包括兴趣区域的当前即时视频帧与参考帧之间 的残差数据;
[0216] 将残差数据发送至其他电子设备。
[0217] 可选的,处理器63
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1