一种图像处理的方法、装置、可读存储介质和电子设备与流程

文档序号:25735041发布日期:2021-07-06 18:43阅读:来源:国知局

技术特征:

1.一种图像处理的方法,其特征在于,该方法包括:

获取第一视频流,其中,所述第一视频流包括至少一帧第一图像,所述第一图像包括人物;

确定所述第一图像中人物的第一情感类别;

响应于所述第一情感类别与所述第一图像对应的第二情感类别不同,根据所述第二情感类别修改所述第一图像中人物的表情,生成第二图像;

根据所述第二图像生成第二视频流。

2.如权利要求1所述的方法,其特征在于,所述第一图像对应的第二情感类别根据情感预测模型预先确定。

3.如权利要求1所述的方法,其特征在于,所述第一图像对应的第二情感类别为预先设置的。

4.如权利要求2所述的方法,其特征在于,根据情感预测模型预先确定所述第一图像对应的第二情感类别,具体包括:

将所述第一视频流中第一视频包输入到自动语音识别模型,输出所述第一视频包对应的文本信息,其中,所述第一视频包为任一所述第一图像之前设定时长的视频包;

将所述文本信息输入到语义分析模型,输出所述文本信息对应候选情感类别;

将所述候选情感类别与所述第一视频包之前n个视频包对应的历史情感类别输入到情感预测模型,输出所述第一图像对应的第二情感类别,其中,n为大于或等于1的正整数。

5.如权利要求1所述的方法,其特征在于,所述情感类别包括愉快、悲伤、平淡、厌烦、惊讶以及生气中的至少一项。

6.如权利要求1所述的方法,其特征在于,所述确定所述第一图像中人物的第一情感类别,具体包括:

通过迭代最近点icp算法,根据所述第一图像识别确定所述第一情感类别。

7.如权利要求1所述的方法,其特征在于,所述根据所述第二情感类别修改所述第一图像中人物的表情,具体包括:

通过voxelhashing算法,将所述第一图像中人物的表情从所述第一情感类别修改为所述第二情感类别。

8.如权利要求4所述的方法,其特征在于,所述自动语音识别模型包括神经网络模型或者端到端模型。

9.如权利要求4所述的方法,其特征在于,所述语义分析模型包括xgboost模型、聚类模型或者端到端模型。

10.如权利要求4所述的方法,其特征在于,所述情感预测模型为隐马尔可夫hmm模型。

11.一种图像处理的装置,其特征在于,该装置包括:

获取单元,用于获取第一视频流,其中,所述第一视频流包括至少一帧第一图像,所述第一图像包括人物;

确定单元,用于确定所述第一图像中人物的第一情感类别;

处理单元,响应于所述第一情感类别与所述第一图像对应的第二情感类别不同,用于根据所述第二情感类别修改所述第一图像中人物的表情,生成第二图像;

生成单元,用于根据所述第二图像生成第二视频流。

12.一种计算机可读存储介质,其上存储计算机程序指令,其特征在于,所述计算机程序指令在被处理器执行时实现如权利要求1-10中任一项所述的方法。

13.一种电子设备,包括存储器和处理器,其特征在于,所述存储器用于存储一条或多条计算机程序指令,其中,所述一条或多条计算机程序指令被处理器执行以实现如权利要求1-10任一项所述的方法。


技术总结
本发明实施例公开了一种图像处理的方法、装置、可读存储介质和电子设备。本发明实施例通过获取第一视频流,确定第一视频流包括的第一图像中人物的第一情感类别;当所述第一情感类别与所述第一图像对应的第二情感类别不同时,根据所述第二情感类别修改所述第一图像中人物的表情,生成第二图像;根据所述第二图像生成第二视频流。通过上述方法,当第一图像中人物的表情影响交流效果时,通过与第一情感类别不同的第二情感类别修改第一图像中人物的表情,得到需要的人物表情,即有效的对人物的表情进行控制,提高交流的效果。

技术研发人员:陈昌儒;杨惠;徐培来
受保护的技术使用者:北京大米科技有限公司
技术研发日:2021.03.17
技术公布日:2021.07.06
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1