一种信息处理方法和电子设备的制造方法_3

文档序号:9582037阅读:来源:国知局
用于,根据接收的连续的每一帧的第一图像信息和第一信息,连续的播放与每一帧的第一图像信息对应的第一信息。
[0079]通过本发明的实施例四,在第一电子设备处于无法采集语音的情况下,第一电子设备仍能够通过对采集图像的唇语识别技术,将第一电子设备的用户的唇语表达翻译为相应的文字和/或语音信息发送给第二电子设备,而第二电子设备的用户也能够根据接收的文字和/或语音信息明白第一电子设备的用户的语义表达,从而保证视频通信的正常进行。
[0080]需要说明的是,上述信息接收单元40可以由第二电子设备的通信功能芯片实现,显示播放单元50可以由第二电子设备的显示器以及CPU、MPU、DSP或FPGA共同实现。
[0081]还需要说明的是,在实际应用中,视频通信中的一台电子设备通常既要采集本端的图像信息发送给对端,也要接收对端发送的图像信息在本端进行显示;那也就是说,实际应用中的一台电子设备可以同时具备上述实施例三的第一电子设备的功能、以及实施例四的第二电子设备功能。
[0082]实施例五
[0083]本实施例提供一种同时具备第一电子设备功能和第二电子设备功能的电子设备,如图5所示,该电子设备包括:
[0084]图像采集单元10,用于对视频通信本端的操作体进行图像采集,获得第一图像信息;
[0085]信息获取单元20,用于提取第一图像信息中至少一个预定子区域的图像信息进行分析,获得第二图像信息,解析第二图像信息,生成对应第一图像信息的第一信息;
[0086]信息发送单元30,用于将第一信息和第一图像信息发送至视频通信对端的电子设备。
[0087]较佳的,信息获取单元20进一步用于,对第一图像信息进行子区域划分,并从已划分子区域的第一图像信息中提取至少一个预定子区域的图像信息;对所提取的图像信息进行图像特征分析和唇部图像识别,并根据图像特征分析和唇部图像识别的结果,生成第二图像信息。第二图像信息中主要包括的是识别出的唇部图像信息。
[0088]较佳的,信息获取单元20进一步用于,根据第二图像信息查询预定的图像信息库,获得图像信息库中与第二图像信息匹配的第三图像信息,并获得第三图像信息对应的第一信息;
[〇〇89]其中,图像信息库中包括第三图像信息与第一信息的映射关系。
[〇〇9〇]较佳的,所示第一信息为文字类型的第一信息和/或语音类型的第一信息;
[0091]所述信息发送单元30进一步用于,
[0092]根据视频通信对端的电子设备所处的模式,在对端处于第一模式时,向对端发送第一图像信息、以及相应文字类型的第一信息;
[〇〇93]在对端处于第二模式时,向对端发送第一图像信息、以及相应语音类型的第一信息;
[0094]在对端处于第三模式时,向对端发送第一图像信息、以及相应文字和语音类型的第一信息。
[〇〇95]较佳的,信息发送单元30进一步用于,将连续的每一帧的第一图像信息及其对应的第一信息发送至视频通信对端的电子设备。
[0096]该电子设备还包括:
[〇〇97]信息接收单元40,用于接收视频通信对端的电子设备发送的第一图像信息、以及与第一图像信息对应的第一信息;
[0098]显示播放单元50,用于显示第一图像信息,并根据对端所处的模式,同步播放匹配类型的第一信息。
[0099]较佳的,显示播放单元50进一步用于,
[0100]在对端处于第一模式时,同步显示文字类型的第一信息;
[0101]在对端处于第二模式时,同步播放语音类型的第一信息;
[0102]在对端处于第三模式时,同步显示文字类型的第一信息,并同步播放语音类型的第一信息。
[0103]较佳的,显示播放单元50进一步用于,根据接收的连续的每一帧的第一图像信息和第一信息,连续的播放与每一帧的第一图像信息对应的第一信息。
[0104]需要说明的是,上述图像采集单元10可以由电子设备的摄像头实现,信息获取单元20可以由电子设备的CPU、MPU、DSP或FPGA实现,信息发送单元30和信息接收单元40可以由电子设备的通信功能芯片实现,显示播放单元50可以由电子设备的显示器以及CPU、MPU、DSP或FPGA共同实现。
[0105]下面再举例对本发明实施例的信息处理方法和电子设备进一步详细阐述。
[0106]实施例六
[〇1〇7]在本发明的实施例六中,第一电子设备处于静音环境下,即不能进行语音采集,第二电子设备处于第一模式,第一电子设备中预设有图像信息库,图像信息库中包括唇语信息与相应文字信息的映射关系。视频通信过程中的信息处理方法主要包括:
[0108]1、第一电子设备通过其图像采集单元对本端用户进行图像采集,获得第一图像信息;对于获得的每一帧第一图像信息,提取第一图像信息中至少一个预定子区域的图像信息进行图像特征分析和唇部图像识别,获得识别出的唇部图像信息;根据识别出的唇部图像信息查询预定的图像信息库,获得图像数据库中相匹配的唇语信息(也为表示唇部的各种图像信息)所对应的文字信息;
[0109]2、第一电子设备获知第二电子设备处于第一模式,从而将连续的每一帧的第一图像信息及其对应的文字信息发送至第二电子设备;或者,第一电子设备无需获知第二电子设备所处的模式,而直接将连续的每一帧的第一图像信息及其对应的文字信息发送至第二电子设备;
[0110]3、第二电子设备接收来自第一电子设备的第一图像信息和文字信息,判断第二电子设备当前处于第一模式,从而通过其显示播放单元连续的显示每一帧的第一图像信息,并同步显示与每一帧的第一图像信息对应的文字信息。
[0111]实施例七
[0112]在本发明的实施例七中,第一电子设备处于静音环境下,即不能进行语音采集,第二电子设备处于第二模式,第一电子设备中预设有图像信息库,图像信息库中包括唇语信息与相应文字信息的映射关系。视频通信过程中的信息处理方法主要包括:
[0113]1、第一电子设备通过其图像采集单元对本端用户进行图像采集,获得第一图像信息;对于获得的每一帧第一图像信息,提取第一图像信息中至少一个预定子区域的图像信息进行图像特征分析和唇部图像识别,获得识别出的唇部图像信息;根据识别出的唇部图像信息查询预定的图像信息库,获得图像数据库中相匹配的唇语信息(也为表示唇部的各种图像信息)所对应的文字信息;
[0114]2、第一电子设备获知第二电子设备处于第二模式,从而将对应每一巾贞的第一图像信息的文字信息转换为相应的语音信息,并将连续的每一帧的第一图像信息及其对应的语音信息发送至第二电子设备;或者,第一电子设备无需获知第二电子设备所处的模式,而直接将连续的每一帧的第一图像信息及其对应的文字信息发送至第二电子设备,第二电子设备判断自身处于第二模式,从而将收到的对应每一帧的第一图像信息的文字信息转换为相应的语音信息;
[0115]3、第二电子设备处于第二模式,通过其显示播放单元连续的显示每一帧的第一图像信息,并同步播放与每一帧的第一图像信息对应的语音信息。
[0116]实施例八
[0117]在本发明的实施例八中,第一电子设备处于静音环境下,即不能进行语音采集,第二电子设备处于第三模式,第一电子设备中预设有图像信息库,图像信息库中包括唇语信息与相应文字信息的映射关系。视频通信过程中的信息处理方法主要包括:
[0118]1、第一电子设备通过其图像采集单元对本端用户进行图像采集,获得第一图像信息;对于获得的每一帧第一图像信息,提取第一图像信息中至少一个预定子区域的图像信息进行图像特征分析和唇部图像识别,获得识别出的唇部图像信息;根据识别出的唇部图像信息查询预定的图像信息库,获得图像数据库中相匹配的唇语信息(也为表示唇部的各种图像信息)所对应的文字信息;
[0119]2、第一电子设备获知第二电子设备处于第三模式,从而将对应每一巾贞的第一图像信息的文字信息转换为相应的语音信息,并将连续的每一帧的第一图像信息及其对应的文字和语音信息发送至第二电子设备;或者,第一电子设备无需获知第二电子设备所处的模式,而直接将连续的每一帧的第一图像信息及其对应的文字信息发送至第二电子设备,第
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1