一种即时视频的传输方法和电子设备的制造方法_3

文档序号:9331024阅读:来源:国知局
应的重要性矩阵,对当前即时视频进行处理,获取 处理后的即时视频帧;
[0192] 具体的,对当前即时视频帧进行低通滤波,本发明实施例对具体的滤波方式不加 以限定。
[0193] 根据滤波后的当前即时视频帧、当前即时视频帧以及重要性矩阵,获取处理后的 即时视频帧。
[0194] 可以通过预设的生成算法,在重要性矩阵的基础上,对当前即时视频帧和滤波后 的当前即时视频帧进行融合,获取处理后的即时视频帧,该算法可以为:
[0195] out=c ^ src4- (1 - c) ^low
[0196] 其中,out为处理后的即时视频帧,src为当前即时视频帧,low为滤波后的当前即 时视频帧,自为重要性矩阵。
[0197] 通过对当前即时视频进行低通滤波,消除该当前即时视频中的高频信号,减少当 前即时视频所占用的带宽资源,从而可以提高即时视频的传输效率,进一步满足了用户对 即时视频中的某一区域的关注度大于其他区域、用户对某一区域的清晰度以及细节保留量 的要求大于其他区域以及用户希望即时视频交互的其他参与者将关注度迀移至用户所指 定的区域的多样化需求,提高了用户体验;另外,由于重要性矩阵指示了即时视频帧内的预 设形状所指示的区域和非预设形状所指示的区域,所以,通过重要性矩阵,对重要性矩阵所 指示的预设形状所指示的区域进行保留,利用低通滤波后的即时视频帧内的非预设形状所 指示的区域替换即时视频帧内的非预设形状所指示的区域,使得输出的处理后的即时视频 帧中预设形状所指示的区域的图像为不失真的原始图像,非预设形状所指示的区域的图像 为不包括高频信号的图像,从而使得在传输该处理后的即时视频帧时,减少了传输时所需 的带宽资源,提高了即时视频的传输效率,进一步满足了用户对即时视频中的某一区域的 关注度大于其他区域、用户对某一区域的清晰度以及细节保留量的要求大于其他区域以及 用户希望即时视频交互的其他参与者将关注度迀移至用户所指定的区域的多样化需求,提 尚了用户体验。
[0198] 305、传输处理后的即时视频帧,结束。
[0199] 具体的,将该处理后的即时视频帧输入编码器,由编码器对该处理后的即时视频 帧编码,生成码流数据;
[0200] 传输该码流数据,本发明实施例对具体的传输方式不加以限定。
[0201] 值得注意的是,步骤304至步骤305是实现根据第一传输策略,传输包括预设形状 所指示的区域的当前即时视频帧的过程,除了上述步骤所述的方式之外,还可以通过其他 方式实现该过程,本发明实施例对具体的方式不加以限定。
[0202] 由于本发明实施例是根据重要性矩阵对当前即时视频帧进行处理,而重要性矩阵 指示了当前即时视频内每一个像素的重要性度量值,从而对每一个像素点进行处理,提高 了处理后的即时视频的画面质量,进一步满足了用户对即时视频中的某一区域的关注度大 于其他区域、用户对某一区域的清晰度以及细节保留量的要求大于其他区域以及用户希望 即时视频交互的其他参与者将关注度迀移至用户所指定的区域的多样化需求,提高了用户 体验。
[0203] 306、将至少包括预设形状所指示的区域的即时视频帧划分为至少一个宏块,并设 置组成至少一个宏块所对应的量化参数。
[0204] 具体的,可以按照预设的划分规则将处理后的当前即时视频帧划分为至少一个宏 块,本发明实施例对具体的划分规则不加以限定。
[0205] 设置包括全部或者部分预设形状所指示的区域的宏块的量化参数为第一数值;由 于在实际应用中,量化参数的取值范围为0至51之间,所以该第一数值可以为0至25之间 用户或者系统中的任意一个所定义的任意数值。
[0206] 设置不包括全部或者部分预设形状所指示的区域的宏块的量化参数为第二数值; 该第二数值可以为25至51之间用户或者系统中的任意一个所定义的任意数值。
[0207] 由于在即时视频交互的场景下,交互双方对于即时视频中如人脸所在区域等预设 形状所指示的区域的关注度和画面质量要求大于其他区域,所以,可以通过设置该包括全 部或者部分预设形状所指示的区域的宏块的量化参数为第一数值,在编码过程中,较多的 保留该预设形状所指示的区域的细节,使得在即时视频过程中能够保证预设形状所指示的 区域的画面质量,满足用户对预设形状所指示的区域的画面细节的要求,进一步满足了用 户对即时视频中的某一区域的关注度大于其他区域、用户对某一区域的清晰度以及细节保 留量的要求大于其他区域以及用户希望即时视频交互的其他参与者将关注度迀移至用户 所指定的区域的多样化需求,提高了用户体验。另外,由于在即时视频交互的场景下,交互 双方对于即时视频中如人脸所在区域等预设形状所指示的区域的关注度和画面质量要求 大于其他区域,所以,可以设置不包括全部或者部分预设形状所指示的区域的宏块的量化 参数为第二数值,在编码过程中,对该不包括全部或者部分预设形状所指示的区域的宏块 的细节不进行保留,减少不包括全部或者部分预设形状所指示的区域的宏块在传输时所占 用的带宽,使得相比于传统的即时视频传输方法,该方法所需的带宽资源更少,从而能够节 省带宽资源,提高即时视频传输的效率,进一步满足了用户对即时视频中的某一区域的关 注度大于其他区域、用户对某一区域的清晰度以及细节保留量的要求大于其他区域以及用 户希望即时视频交互的其他参与者将关注度迀移至用户所指定的区域的多样化需求,提高 了用户体验。另外,通过设置包括全部或者部分预设形状所指示的区域的宏块的量化参数 为第一数值,设置不包括全部或者部分预设形状所指示的区域的宏块的量化参数为第二数 值,使得在编码过程中,保留了预设形状所指示的区域的细节,对非预设形状所指示的区域 的细节不进行保留,使得在对预设形状所指示的区域进行不失真传输的基础上,进一步减 少了非预设形状所指示的区域在传输时所占用的带宽,使得相比于传统的即时视频传输方 法,该方法不仅能够保证预设形状所指示的区域的画面质量,而且所需的带宽资源更少,从 而能够进一步节省带宽资源,提高即时视频传输的效率,进一步满足了用户对即时视频中 的某一区域的关注度大于其他区域、用户对某一区域的清晰度以及细节保留量的要求大于 其他区域以及用户希望即时视频交互的其他参与者将关注度迀移至用户所指定的区域的 多样化需求,提高了用户体验。
[0208] 307、根据量化参数,对至少一个宏块进行编码,生成编码后的即时视频帧。
[0209] 具体的,根据第一数值和第二数值对该处理后的即时视频帧进行编码。
[0210] 本发明实施例对具体的编码方式不加以限定。
[0211] 308、传输编码后的即时视频帧,结束。
[0212] 具体的,本发明实施例对具体的传输方式不加以限定。
[0213] 值得注意的是,步骤306至步骤308是实现根据第二传输策略,传输包括预设形状 所指示的区域的当前即时视频帧的过程,除了上述步骤所述的方式之外,还可以通过其他 方式实现该过程,本发明实施例对具体的方式不加以限定。
[0214] 由于根据用于指示宏块在编码过程中的精细程度的量化参数,对至少一个宏块进 行编码,使得在编码过程中,保留了预设形状所指示的区域的细节,非预设形状所指示的区 域的细节不加以保留,不仅将更多的宽带资源用于预设形状所指示的区域的传输,而且保 证了即时视频中预设形状所指示的区域的画面质量,从而保证了预设形状所指示的区域的 传输,提高了即时视频的传输效率,进一步满足了用户对即时视频中的某一区域的关注度 大于其他区域、用户对某一区域的清晰度以及细节保留量的要求大于其他区域以及用户希 望即时视频交互的其他参与者将关注度迀移至用户所指定的区域的多样化需求,提高了用 户体验。
[0215] 可选的,在实际应用中,在执行步骤306之前,还可以执行步骤304。
[0216] 309、获取包括预设形状所指示的区域的当前即时视频帧与参考帧之间的残差数 据。
[0217] 具体的,从当前即时视频帧中获取预设形状所指示的区域的位置参数与姿态参 数。
[0218] 对位置参数与姿态参数进行归一化处理,生成标准位置参数与标准姿态参数。
[0219] 根据标准位置参数与标准姿态参数,获取包括预设形状所指示的区域的当前即时 视频帧与参考帧之间的残差数据。其中,该参考帧中预设形状所指示的区域的姿态参数为 标准姿态参数。
[0220] 由于当前即时视频帧中预设形状所指示的区域的姿态参数与参考帧中预设形状 所指示的区域的姿态参数为标准姿态参数,所以根据标准位置参数与标准姿态参数,获取 包括预设形状所指示的区域的当前即时视频帧与参考帧之间的残差数据,相比于根据当前 即时视频帧中预设形状所指示的区域的姿态参数位置参数,与参考帧中的位置参数和姿态 参数,生成残差数据,减少了即时视频传输过程中数据传输量和处理量,提高了即时视频的 传输效率,进一步满足了用户对即时视频中的某一区域的关注度大于其他区域、用户对某 一区域的清晰度以及细节保留量的要求大于其他区域以及用户希望即时视频交互的其他 参与者将关注度迀移至用户所指定的区域的多样化需求,提高了用户体验。另外,通过获取 当前即时视频帧中的预设形状所指示的区域与参考帧中的预设形状所指示的区域之间的 残差数据,实现即时视频的传输,相比于传统的即时视频传输方法,该方法进一步减少了即 时视频传输过程中数据传输量和处理量,从而提高了即时视频的传输效率,进一步满足了 用户对即时视频中的某一区域的关注度大于其他区域、用户对某一区域的清晰度以及细节 保留量的要求大于其他区域以及用户希望即时视频交互的其他参与者将关注度迀移至用 户所指定的区域的多样化需求,提高了用户体验。
[0221] 310、传输残差数据,结束。
[0222] 具体的,本发明实施例对具体的传输方式不加以限定。
[0223] 值得注意的是,步骤309至步骤310是实现根据第三传输策略,传输包括预设形状 所指示的区域的当前即时视频帧的过程,除了上述步骤所述的方式之外,还可以通过其他 方式实现该过程,本发明实施例对具体的方式不加以限定。
[0224] 由于获取并传输包括预设形状所指示的区域的当前即时视频帧与参考帧之间的 残差数据,相比于传统的传输全部即时视频帧,该方法节省了网络带宽资源,同时保证了即 时视频中预设形状所指示的区域的画面质量,保证了预设形状所指示的区域的传输,从而 提高了即时视频的传输效率,进一步满足了用户对即时视频中的某一区域的关注度大于其 他区域、用户对某一区域的清晰度以及细节保留量的要求大于其他区域以及用户希望即时 视频交互的其他参与者将关注度迀移至用户所指定的区域的多样化需求,提高了用户体 验。
[0225] 可选的,在实际应用中,在执行步骤309之前,还可以执行步骤304和步骤306中 的至少一个。
[0226] 311、获取用于描述预设形状所指示的区域的特征参数。
[0227] 具体的,对预设形状所指示的区域进行三角分割,获取至少一个三角区域。
[0228] 获取用于描述任意一个三角区域的三个特征点的位置参数和姿态参数。
[0229] 根据三个特征点的位置参数和姿态参数,生成与任意一个三角区域对应的姿态参 数和位置参数。
[0230] 根据至少一个三角区域对应的姿态参数和位置参数,生成特征参数。
[0231] 本发明实施例对具体的生成方式不加以限定。
[0232] 由于三角区域的姿态参数和位置参数指示了三角区域当前的位置和姿态,通过调 整该特征参数,可以实现对三角区域的驱动,通过该当前即时视频中组成该预设形状所指 示的区域的至少一个三角区域的姿态参数和位置参数,调整已经传输的即时视频帧中相同 三角区域的姿态参数和位置参数,可以实现将当前即时视频帧中的预设形状所指示的区域 迀移至已经传输的即时视频帧,相比于传输当前即时视频帧,节省了网络带宽,提高了即时 视频的传输效率,进一步满足了用户对即时视频中的某一区域的关注度大于其他区域、用 户对某一区域的清晰度以及细节保留量的要求大于其他区域以及用户希望即时视频交互 的其他参与者将关注度迀移至用户所指定的区域的多样化需求,提高了用户体验。
[0233] 312、传输特征参数,结束。
[0234] 具体的,本发明实施例对具体的传输方式不加以限定。
[0235] 值得注意的是,步骤311至步骤312是实现根据第四传输策略,传输包括预设形状 所指示的区域的当前即时视频帧的过程,除了上述步骤所述的方式之外,还可以通过其他 方式实现该过程,本发明实施例对具体的方式不加以限定。
[0236] 通过只传输用于描述预设形状所指示的区域的特征参数,相比于传输全部即时视 频帧数据,节省了带宽资源,从而进一步提高了即时视频的传输效率,进一步满足了用户对 即时视频中的某一区域的关注度大于其他区域、用户对某一区域的清晰度以及细节保留量 的要求大于其他区域以及用户希望即时视频交互的其他参与者将关注度迀移至用户所指 定的区域的多样化需求,提高了用户体验。
[0237] 可选的,除了上述步骤之外,本发明实施例所提供的方法还可以包括:
[0238] 将选择指令发送至其他电子设备。
[0239] 通过将该选择指令发送至其他电子设备,使得其他电子设备可以显示该选择指令 所指示的预设形状,增加了即时视频的交互形式,满足了用户在即时视频过程中的多样化 需求,进一步提高了用户体验。另外,通过将该选择指令发送至其他电子设备,相较于将该 预设形状的数据发送至其他电子设备,减少了传输时的数据量,节省了网络资源,提高了即 时视频的传输效率,进一步提高了用户体验。
[0240] 为了进一步说明本发明实施例提供的方法所达到的效果,下面将结合附图对本发 明实施例所提供的方法作出进一步的说明,假设用户所选定的预设形状为图6所示的形 状,对图7中的a执行本发明实施例的方法后,生成的界面可以参照图7中的b所示,在图7 中,第二显示效果所指示的清晰度以及细节保留量大于或者等于第一显示效果所指示的清 晰度以及细节保留量,第三显示效果所指示的清晰度以及细节保留量小于第一显示效果所 指示的清晰度以及细节保留量。
[0241] 在即时视频交互的场景下,本发明实施例所提供的方法满足了用户对即时视频中 的某一区域的关注度大于其他区域、用户对某一区域的清晰度以及细节保留量的要求大于 其他区域以及用户希望即时视频交互的其他参与者将关注度迀移至用户所指定的区域的 多样化需求,增加了即时视频的交互性和趣味性,进一步提高了用户体验。
[0242] 本发明实施例提供了一种即时视频的传输方法,通过判断网络带宽是否满足第一 预设条件、第二预设条件、第三预设条件和第四预设条件中的任意一个,从而可以根据不同 的网络带宽对包括预设形状所指示的区域的当前即时视频帧采取不同的传输策略,相比于 传统的即时视频的传输方法,不仅满足了用户对即时视频中的某一区域的关注度大于其他 区域、用户对某一区域的清晰度以及细节保留量的要求大于其他区域以及用户希望即时视 频交互的其他参与者将关注度迀移至用户所指定的区域的多样化需求,提高了用户体验, 还提高了网络带宽的利用率,节省网络资源,从而提高了即时视频的传输效率,提高了用户 体验;另外,由于本发明实施例的方法是在从当前即时视频帧中获取预设形状所指示的区 域后,对当前即时视频帧进行处理,使得相比于传统的即时视频编码方法,在带宽资源不变 的情况下,将更多的宽带资源用于预设形状所指示的区域的传输,从而保证了预设形状所 指示的区域的传输,进一步满足了用户对即时视频中的某一区域的关注度大于其他区域、 用户对某一区域的清晰度以及细节保留量的要求大于其他区域以及用户希望即时视频交 互的其他参与者将关注度迀移至用户所指定的区域的多样化需求,提高了用户体验。
[0243] 实施例四为本发明实施例提供的一种即时视频的显示方法,参照图8所示,在本 发明实施例中,预设形状的位置参数包括坐标参数,该方法具体包括:
[0244] 801、获取电子设备根据第一传输策略、第二传输策略、第三传输策略以及第四传 输策略中的任意一个传输的当前即时视频帧。
[0245] 具体的,电子设备可以接收其他电子设备发送的处理后的当前即时视频帧,也可 以在本电子设备接收用户触发的用于指示用户所选择的预设形状的选择指令,且网络带宽 满足预设条件后,根据预设形状所指示的区域的重要性矩阵,对至少包括区域的当前即时 视频帧进行处理,获取处理后的当前即时视频帧。
[0246] 802、获取用户触发的选择指令,选择指令用于指示用户所选择的预设形状。
[0247] 具体的,该选择指令包括预设形状的位置参数,该位置参数包括坐标参数。
[0248] 电子设备可以接收其他电子设备发送的选择指令,也可以在本电子设备接收用户 触发的用于指示用户所选择的预设形状的选择指令,且网络带宽满足预设条件后,根据预 设形状所指示的区域的重要性矩阵,
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1