信息显示方法、装置及电子设备与流程

本公开涉及人工智能，尤其涉及一种信息显示方法、装置及电子设备。

背景技术：

1、近年来，随着科技的发展和社会的进步，听障人士受到关注程度也在不断地提高。

2、目前，为了辅助听障人士明白他人讲话内容，可利用增强现实(augmentedreality，ar)设备将所有人的话语全部无差别的显示在用户眼前。

3、然而，这种方式会导致听障用户无法分辨出每一句话语所对应的说话人，对文字的理解力会变得很低，进而影响了对听障用户的辅助效果。

技术实现思路

1、有鉴于此，本公开提供了一种信息显示方法、装置及电子设备，主要目的在于改善目前辅助听障用户的方式会导致听障用户无法分辨出每一句话语所对应的说话人，对文字的理解力会变得很低，进而影响了对听障用户的辅助效果的技术问题。

2、第一方面，本公开提供了一种信息显示方法，用于增强现实设备，包括：

3、获取采集到的语音信息；及，

4、获取所述增强现实设备摄像头拍摄的视频图像；

5、根据所述语音信息和所述视频图像，在所述视频图像中确定所述语音信息对应的语音对象；

6、依据所述语音对象在所述增强现实设备空间坐标系的目标位置，在所述增强现实设备显示所述语音信息对应的文字信息。

7、第二方面，本公开提供了一种信息显示装置，包括：

8、获取模块，被配置为获取采集到的语音信息；及，获取所述增强现实设备摄像头拍摄的视频图像；

9、确定模块，被配置为根据所述语音信息和所述视频图像，在所述视频图像中确定所述语音信息对应的语音对象；

10、显示模块，被配置为依据所述语音对象在所述增强现实设备空间坐标系的目标位置，在所述增强现实设备显示所述语音信息对应的文字信息。

11、第三方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的信息显示方法。

12、第四方面，本公开提供了一种电子设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的信息显示方法。

13、借由上述技术方案，本公开提供的一种信息显示方法、装置及电子设备，与目前利用增强现实设备将所有人的话语全部无差别的显示在用户眼前的方式相比，本公开可实现将说话内容与相对应的说话对象进行关联显示，使得听障用户能够快速定位显示的话语是哪个人说出的。具体的，在增强现实设备侧，首先获取采集到的语音信息，以及获取增强现实设备摄像头拍摄的视频图像；再根据语音信息和视频图像，在视频图像中确定语音信息对应的语音对象；然后依据语音对象在增强现实设备空间坐标系的目标位置，在增强现实设备显示语音信息对应的文字信息。通过应用本公开的技术方案，可帮助听障用户快速准确地分辨出每一句话语所对应的说话人，提高了听障用户对文字的理解力，进而提升了对听障用户的辅助效果。

14、上述说明仅是本公开技术方案的概述，为了能够更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为了让本公开的上述和其它目的、特征和优点能够更明显易懂，以下特举本公开的具体实施方式。

技术特征：

1.一种信息显示方法，其特征在于，用于增强现实设备，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述语音信息和所述视频图像，在所述视频图像中确定所述语音信息对应的语音对象，包括：

3.根据权利要求2所述的方法，其特征在于，所述将与所述第一时间信息匹配的所述第二时间信息所对应的说话对象，确定为所述语音信息所对应的语音对象，具体包括：

4.根据权利要求2所述的方法，其特征在于，所述将与所述第一时间信息匹配的所述第二时间信息所对应的说话对象，确定为所述语音信息所对应的语音对象，具体包括：

5.根据权利要求2所述的方法，其特征在于，若存在多个同时说话的说话对象，则所述将与所述第一时间信息匹配的所述第二时间信息所对应的说话对象，确定为所述语音信息所对应的语音对象，具体包括：

6.根据权利要求2所述的方法，其特征在于，若存在多个同时说话的说话对象，则所述将与所述第一时间信息匹配的所述第二时间信息所对应的说话对象，确定为所述语音信息所对应的语音对象，具体包括：

7.根据权利要求2所述的方法，其特征在于，所述识别所述视频图像中的说话对象，具体包括：

8.根据权利要求7所述的方法，其特征在于，所述根据所述人物对象的口型变化，判断所述人物对象是否在说话，具体包括：

9.根据权利要求7所述的方法，其特征在于，判断所述人物对象是否在说话的过程是通过机器学习模型计算得到的，所述机器学习模型是通过样本对象说话时的口型变化特征、和/或没有说话时的口型变化特征预先训练得到的。

10.根据权利要求1所述的方法，其特征在于，所述获取采集到的语音信息，具体包括：

11.根据权利要求1所述的方法，其特征在于，所述依据所述语音对象在所述增强现实设备空间坐标系的目标位置，在所述增强现实设备显示所述语音信息对应的文字信息，具体包括：

12.根据权利要求11所述的方法，其特征在于，所述将所述语音信息转换的文字信息，显示在所述语音对象所对应的所述目标位置的预设范围内，具体包括：

13.根据权利要求1至12中任一项所述的方法，其特征在于，所述文字信息是所述语音信息在环境消噪处理后转换得到的。

14.一种信息显示装置，其特征在于，用于增强现实设备，包括：

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至13中任一项所述的方法。

16.一种电子设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至13中任一项所述的方法。

技术总结
本公开涉及一种信息显示方法、装置及电子设备，涉及人工智能技术领域，其中方法包括：首先获取采集到的语音信息；及获取所述增强现实设备摄像头拍摄的视频图像；再根据所述语音信息和所述视频图像，在所述视频图像中确定所述语音信息对应的语音对象；然后依据所述语音对象在所述增强现实设备空间坐标系的目标位置，在所述增强现实设备显示所述语音信息对应的文字信息。通过应用本公开的技术方案，可帮助听障用户快速准确地分辨出每一句话语所对应的说话人，提高了听障用户对文字的理解力，进而提升了对听障用户的辅助效果。

技术研发人员：李晨
受保护的技术使用者：北京字跳网络技术有限公司
技术研发日：
技术公布日：2024/3/11