一种即时视频的传输方法和电子设备的制造方法_4

文档序号:9331024阅读:来源:国知局
对至少包括区域的当前即时视频帧进行处理,获取处 理后的当前即时视频帧后,获取该选择指令。
[0249] 803、根据选择指令以及电子设备所支持的传输策略,显示当前即时视频帧。
[0250] 具体的,显示该选择指令所指示的区域;
[0251] 根据坐标参数,显示处理后的当前即时视频帧。
[0252] 本发明实施例对具体的显示方式不加以限定。
[0253] 其中,若该电子设备不支持获取的当前即时视频帧所对应的传输策略,则向发送 该即时视频帧的电子设备或者服务器发送提示信息,以提示该电子设备不支持获取的当前 即时视频帧所对应的传输策略,以使服务器或者发送该即时视频帧的电子设备在接收到该 提示信息后,向该电子设备发送与该传输策略对应的代码,以便该电子设备配置该代码。
[0254] 由于当前即时视频帧中预设形状所指示的区域的画面质量优于其他区域,从而满 足了将本电子设备的用户关注度迀移至即时视频中预设形状所指示的区域,从而满足了用 户对即时视频中的某一区域的关注度大于其他区域、用户对某一区域的清晰度以及细节保 留量的要求大于其他区域以及用户希望即时视频交互的其他参与者将关注度迀移至用户 所指定的区域的多样化需求,提高了用户体验。另外,通过显示预设形状,可以进一步实现 将本电子设备的用户关注度迀移至即时视频中预设形状所指示的区域,从而满足了用户对 即时视频中的某一区域的关注度大于其他区域、用户对某一区域的清晰度以及细节保留量 的要求大于其他区域以及用户希望即时视频交互的其他参与者将关注度迀移至用户所指 定的区域的多样化需求,提高了用户体验。另外,由于选择指令包括预设形状的大小参数、 预设形状的位置参数、预设形状的边框参数以及预设形状的特效参数中的至少一个,所以 增加了即时视频的显示形式,进一步满足了用户的多样化需求,提高了用户体验。
[0255] 为了进一步说明本发明实施例提供的方法所达到的效果,下面将结合附图对本发 明实施例所提供的方法作出进一步的说明,假设用户所选定的预设形状为图6所示的形 状,获取处理后的当前即时视频帧显示的界面可以参照图9中的b所示,图9中的a是获取 当前即时视频帧后显示的界面,在图9中,第二显示效果所指示的清晰度以及细节保留量 大于或者等于第一显示效果所指示的清晰度以及细节保留量,第三显示效果所指示的清晰 度以及细节保留量小于第一显示效果所指示的清晰度以及细节保留量。
[0256] 本发明实施例提供了一种即时视频的显示方法,通过获取并显示根据第一传输策 略、第二传输策略、第三传输策略以及第四传输策略中的任意一个传输的当前即时视频帧, 满足了即时视频过程中用户希望对所选择的区域的清晰度以及细节保留量大于其他区域 的需求,进一步提高了用户体验。另外,通过获取并显示用户触发的选择指令,增加了用户 选择该区域的方式,增加了用户在即时视频交互过程中的互动方式,进一步满足了用户的 多样化需求,提高了用户体验。
[0257] 实施例五为本发明实施例提供的一种即时视频的传输方法,参照图10所示,所 示,在本发明实施例中,预设形状的位置参数包括描述参数,该描述参数用于描述即时视频 帧中用户所选定的预设形状所指示区域内的细节,示例性的,若用户所选定的预设形状所 指示区域内至少包括人脸,则该细节可以为用户的眼睛、鼻子、嘴部和眉毛等,该方法具体 包括:
[0258] 1001、接收用户触发的选择指令,选择指令用于指示用户所选择的预设形状。
[0259] 具体的,该步骤与步骤301相同,此处再不加以赘述。
[0260] 在即时视频交互的场景下,当用户对即时视频中的某一区域的关注度大于其他区 域;或者,当用户对某一区域的清晰度以及细节保留量的要求大于其他区域;或者,当用户 希望即时视频交互的其他参与者将关注度迀移至用户所指定的区域时,通过获取用户触发 的选择指令,根据该选择指令确定用户所选择的预设形状确定用户所选择的区域,不仅满 足了即时视频过程中用户希望对所选择的区域的清晰度以及细节保留量大于其他区域的 需求,更进一步的增加了用户选择该区域的方式,增加了用户在即时视频交互过程中的互 动方式,进一步满足了用户的多样化需求,提高了用户体验。另外,由于选择指令包括预设 形状的大小参数、预设形状的位置参数、预设形状的边框参数以及预设形状的特效参数中 的至少一个,所以增加了即时视频的显示形式,进一步满足了用户的多样化需求,提高了用 户体验。
[0261] 1002、在当前即时视频帧中识别描述参数所指示的细节。
[0262] 具体的,获取当前即时视频帧内所有特征点的描述参数;
[0263] 获取描述参数与选择指令中所包括的描述参数之间的相似度大于或者等于预设 阈值的所有描述点;
[0264] 确定该所有描述点所组成的细节为描述参数所指示的细节。
[0265] 用户对即时视频中的某一区域的关注度大于其他区域、用户对某一区域的清晰度 以及细节保留量的要求大于其他区域以及用户希望即时视频交互的其他参与者将关注度 迀移至用户所指定的区域的多样化需求,是对该区域内的细节的关注度大于其他区域、对 该区域的细节的清晰度以及细节保留量的要求大于其他区域以及希望即时视频交互的其 他参与者将关注度迀移至用户所指定的区域的细节,通过在当前即时视频帧中识别描述参 数所指示的细节,满足了用户对该区域内的细节的关注度大于其他区域、对该区域的细节 的清晰度以及细节保留量的要求大于其他区域以及希望即时视频交互的其他参与者将关 注度迀移至用户所指定的区域的细节的多样化需求。
[0266] 1003、根据细节,在当前即时视频帧中确定预设形状所指示的区域。
[0267] 具体的,将该组成该细节的描述点的坐标设置为预设形状所指示的区域中的点的 坐标。
[0268] 除此之外,还可以通过其他方式,实现根据细节,在当前即时视频帧中确定预设形 状所指示的区域,本发明实施例对具体的方式不加以限定。
[0269] 由于预设形状所指示的区域内的细节的位置会发生改变,所以根据细节在当前即 时视频帧中确定预设形状所指示的区域,进一步的满足了用户对即时视频中的某一区域的 关注度大于其他区域、用户对某一区域的清晰度以及细节保留量的要求大于其他区域以及 用户希望即时视频交互的其他参与者将关注度迀移至用户所指定的区域的多样化需求,增 加了即时视频的交互性和趣味性,进一步提高了用户体验。
[0270] 值得注意的是,步骤1002至步骤1003是实现在当前即时视频帧中确定预设形状 所指示的区域的过程,除了上述步骤所述的方式之外,还可以通过其他方式实现该过程,本 发明实施例对具体的方式不加以限定。
[0271] 通过在当前即时视频帧中识别描述参数所指示的细节,并根据细节,在当前即时 视频帧中确定预设形状所指示的区域,在即时视频帧中预设形状所指示的区域内的细节位 置发生变化的情况下,满足了用户对预设形状所指示的区域内的细节的关注度大于其他区 域、对预设形状所指示的区域的细节的清晰度以及细节保留量的要求大于其他区域以及希 望即时视频交互的其他参与者将关注度迀移至预设形状所指示的区域的细节,从而进一步 满足了用户对即时视频中的某一区域的关注度大于其他区域、用户对某一区域的清晰度以 及细节保留量的要求大于其他区域以及用户希望即时视频交互的其他参与者将关注度迀 移至用户所指定的区域的多样化需求,增加了即时视频的交互性和趣味性,进一步提高了 用户体验。
[0272] 1004、判断网络带宽是否大于或者等于第一预设值,若是,且电子设备支持第一传 输策略,则执行步骤1005 ;若不是,则判断网络带宽是否小于第一预设值,且大于或者等于 第二预设值;若是,且电子设备支持第二传输策略,则执行步骤1007 ;若不是,则判断网络 带宽小于第二预设值,且大于或者等于第三预设值;若是,且电子设备支持第三传输策略, 则执行步骤1010 ;若不是,且电子设备支持第四传输策略,则执行步骤1012。
[0273] 具体的,该步骤与步骤303相同,此处再不加以赘述。
[0274] 可选的,由于网络传输时网络带宽的不稳定性,所以,可以判断当前时刻之前的预 设时间段内网络带宽的平均值是否满足第一预设条件、第二预设条件、第三预设条件和第 四预设条件中的任意一个。
[0275] 其中,在实际应用中,预设时间段可以为0. 2秒。
[0276] 通过判断当前时刻之间的预设时间段内网络带宽的平均值是否满足预设条件,消 除了网络传输时网络带宽的不稳定性,保证了即时视频编码的可靠性,提高了用户体验。
[0277] 需要说明的是,若网络带宽大于或者等于第一预设值,且电子设备不支持第一传 输策略,则通过常规的传输方式传输即时视频帧。
[0278] 若网络带宽小于第一预设值,大于或者等于第二预设值,且电子设备不支持第二 传输策略,则通过常规的传输方式传输即时视频帧。
[0279] 若网络带宽小于第二预设值,大于或者等于第三预设值,且电子设备不支持第三 传输策略,则通过常规的传输方式传输即时视频帧。
[0280] 若网络带宽小于第三预设值,且电子设备不支持第四传输策略,则通过常规的传 输方式传输即时视频帧。
[0281] 由于通过判断网络带宽是否满足预设条件,所以在判定网络带宽低时,对即时视 频进行处理,不仅可以提高网络带宽的利用率,节省网络资源,提高即时视频的传输效率, 还可以在网络带宽低时,满足用户对即时视频中的某一区域的关注度大于其他区域、用户 对某一区域的清晰度以及细节保留量的要求大于其他区域以及用户希望即时视频交互的 其他参与者将关注度迀移至用户所指定的区域的多样化需求,进一步提高了用户体验。
[0282] 1005、根据与当前即时视频帧对应的重要性矩阵,对当前即时视频进行处理,获取 处理后的即时视频帧;
[0283] 具体的,该步骤与步骤304相同,此处再不加以赘述。
[0284] 通过对当前即时视频进行低通滤波,消除该当前即时视频中的高频信号,减少当 前即时视频所占用的带宽资源,从而可以提高即时视频的传输效率,进一步满足了用户对 即时视频中的某一区域的关注度大于其他区域、用户对某一区域的清晰度以及细节保留量 的要求大于其他区域以及用户希望即时视频交互的其他参与者将关注度迀移至用户所指 定的区域的多样化需求,提高了用户体验;另外,由于重要性矩阵指示了即时视频帧内的预 设形状所指示的区域和非预设形状所指示的区域,所以,通过重要性矩阵,对重要性矩阵所 指示的预设形状所指示的区域进行保留,利用低通滤波后的即时视频帧内的非预设形状所 指示的区域替换即时视频帧内的非预设形状所指示的区域,使得输出的处理后的即时视频 帧中预设形状所指示的区域的图像为不失真的原始图像,非预设形状所指示的区域的图像 为不包括高频信号的图像,从而使得在传输该处理后的即时视频帧时,减少了传输时所需 的带宽资源,提高了即时视频的传输效率,进一步满足了用户对即时视频中的某一区域的 关注度大于其他区域、用户对某一区域的清晰度以及细节保留量的要求大于其他区域以及 用户希望即时视频交互的其他参与者将关注度迀移至用户所指定的区域的多样化需求,提 尚了用户体验。
[0285] 1006、传输处理后的即时视频帧,结束。
[0286] 具体的,该步骤与步骤305相同,此处再不加以赘述。
[0287] 值得注意的是,步骤1005至步骤1006是实现根据第一传输策略,传输包括预设形 状所指示的区域的当前即时视频帧的过程,除了上述步骤所述的方式之外,还可以通过其 他方式实现该过程,本发明实施例对具体的方式不加以限定。
[0288] 由于本发明实施例是根据重要性矩阵对当前即时视频帧进行处理,而重要性矩阵 指示了当前即时视频内每一个像素的重要性度量值,从而对每一个像素点进行处理,提高 了处理后的即时视频的画面质量,进一步满足了用户对即时视频中的某一区域的关注度大 于其他区域、用户对某一区域的清晰度以及细节保留量的要求大于其他区域以及用户希望 即时视频交互的其他参与者将关注度迀移至用户所指定的区域的多样化需求,提高了用户 体验。
[0289] 1007、将至少包括预设形状所指示的区域的即时视频帧划分为至少一个宏块,并 设置组成至少一个宏块所对应的量化参数。
[0290] 具体的,该步骤与步骤306相同,此处再不加以赘述。
[0291] 由于在即时视频交互的场景下,交互双方对于即时视频中如人脸所在区域等预设 形状所指示的区域的关注度和画面质量要求大于其他区域,所以,可以通过设置该包括全 部或者部分预设形状所指示的区域的宏块的量化参数为第一数值,在编码过程中,较多的 保留该预设形状所指示的区域的细节,使得在即时视频过程中能够保证预设形状所指示的 区域的画面质量,满足用户对预设形状所指示的区域的画面细节的要求,进一步满足了用 户对即时视频中的某一区域的关注度大于其他区域、用户对某一区域的清晰度以及细节保 留量的要求大于其他区域以及用户希望即时视频交互的其他参与者将关注度迀移至用户 所指定的区域的多样化需求,提高了用户体验。另外,由于在即时视频交互的场景下,交互 双方对于即时视频中如人脸所在区域等预设形状所指示的区域的关注度和画面质量要求 大于其他区域,所以,可以设置不包括全部或者部分预设形状所指示的区域的宏块的量化 参数为第二数值,在编码过程中,对该不包括全部或者部分预设形状所指示的区域的宏块 的细节不进行保留,减少不包括全部或者部分预设形状所指示的区域的宏块在传输时所占 用的带宽,使得相比于传统的即时视频传输方法,该方法所需的带宽资源更少,从而能够节 省带宽资源,提高即时视频传输的效率,进一步满足了用户对即时视频中的某一区域的关 注度大于其他区域、用户对某一区域的清晰度以及细节保留量的要求大于其他区域以及用 户希望即时视频交互的其他参与者将关注度迀移至用户所指定的区域的多样化需求,提高 了用户体验。另外,通过设置包括全部或者部分预设形状所指示的区域的宏块的量化参数 为第一数值,设置不包括全部或者部分预设形状所指示的区域的宏块的量化参数为第二数 值,使得在编码过程中,保留了预设形状所指示的区域的细节,对非预设形状所指示的区域 的细节不进行保留,使得在对预设形状所指示的区域进行不失真传输的基础上,进一步减 少了非预设形状所指示的区域在传输时所占用的带宽,使得相比于传统的即时视频传输方 法,该方法不仅能够保证预设形状所指示的区域的画面质量,而且所需的带宽资源更少,从 而能够进一步节省带宽资源,提高即时视频传输的效率,进一步满足了用户对即时视频中 的某一区域的关注度大于其他区域、用户对某一区域的清晰度以及细节保留量的要求大于 其他区域以及用户希望即时视频交互的其他参与者将关注度迀移至用户所指定的区域的 多样化需求,提高了用户体验。
[0292] 1008、根据量化参数,对至少一个宏块进行编码,生成编码后的即时视频帧。
[0293] 具体的,该步骤与步骤307相同,此处再不加以赘述。
[0294] 1009、传输编码后的即时视频帧,结束。
[0295] 具体的,该步骤与步骤308相同,此处再不加以赘述。
[0296] 值得注意的是,步骤1007至步骤1009是实现根据第二传输策略,传输包括预设形 状所指示的区域的当前即时视频帧的过程,除了上述步骤所述的方式之外,还可以通过其 他方式实现该过程,本发明实施例对具体的方式不加以限定。
[0297] 由于根据用于指示宏块在编码过程中的精细程度的量化参数,对至少一个宏块进 行编码,使得在编码过程中,保留了预设形状所指示的区域的细节,非预设形状所指示的区 域的细节不加以保留,不仅将更多的宽带资源用于预设形状所指示的区域的传输,而且保 证了即时视频中预设形状所指示的区域的画面质量,从而保证了预设形状所指示的区域的 传输,提高了即时视频的传输效率,进一步满足了用户对即时视频中的某一区域的关注度 大于其他区域、用户对某一区域的清晰度以及细节保留量的要求大于其他区域以及用户希 望即时视频交互的其他参与者将关注度迀移至用户所指定的区域的多样化需求,提高了用 户体验。
[0298] 可选的,在实际应用中,在执行步骤1007之前,还可以执行步骤1005。
[0299] 1010、获取包括预设形状所指示的区域的当前即时视频帧与参考帧之间的残差数 据;
[0300] 具体的,该步骤与步骤309相同,此处再不加以赘述。
[0301] 由于当前即时视频帧中预设形状所指示的区域的姿态参数与参考帧中预设形状 所指示的区域的姿态参数为标准姿态参数,所以根据标准位置参数与标准姿态参数,获取 包括预设形状所指示的区域的当前即时视频帧与参考帧之间的残差数据,相比于根据当前 即时视频帧中预设形状所指示的区域的姿态参数位置参数,与参考帧中的位置参数和姿态 参数,生成残差数据,减少了即时视频传输过程中数据传输量和处理量,提高了即时视频的 传输效率
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1