一种声像结合的信息推送方法、装置、设备及存储介质与流程

本技术实施例涉及智能识别，尤其涉及一种声像结合的信息推送方法、装置、设备及存储介质。

背景技术：

1、如今是个信息爆炸的互联网时代，大量的资讯信息无处不见，充斥着人民的生活。人们越来越厌烦无用的资讯信息。众所周知，精准营销是当下各大营销手段的重要方向，但是随着人们生活水平的进一步提高，消费者们对产品的个性化需求不断凸显，精确营销的难度也不断提高。随着近几年随着ar/vr(增强现实/虚拟现实)产业的高速发展，通过智能眼镜(例如ar眼镜或vr眼镜)进行资讯信息推送，大大提高了用户的使用体验。

2、现有智能眼镜在进行资讯信息推送时，仅通过眼动追踪的方式收集图片信息，并根据收集到的图片信息进行资讯信息的推送。例如，当用户佩戴对应的智能眼镜逛商场时，目之所及的产品图片都会被识别和记录，并进行对应产品类型的资讯信息的推送。

3、现有仅通过眼动追踪收集到的图片信息进行资讯信息推送的方式，仅通过眼动行为或注视时长的方式标定用户的兴趣点而进行资讯信息推送，推送的准确率较低，甚至会出现适得其反的效果。例如，某用户的视线虽然长时间停留在一款球鞋上，但与此同时用户正在与身边的人诉说这款球鞋的各种缺点，自己并不喜欢这双球鞋，这时，现有仅通过眼动追踪收集到的图片信息进行资讯信息推送的方式，就会推送这款球鞋对应的资讯信息，影响用户使用体验。

技术实现思路

1、本技术实施例提供一种声像结合的信息推送方法、装置、设备及存储介质，能够解决信息推送准确率低的问题，提升信息推送的准确率，提升用户使用体验。

2、在第一方面，本技术实施例提供了一种声像结合的信息推送方法，用于智能眼镜，包括：

3、获取人眼注视点坐标，计算所述人眼注视点坐标与对应的环境中落点坐标的映射关系，确定所述环境中的落点坐标；

4、获取所述环境中所述落点坐标的预设范围内的目标图像；

5、将所述目标图像进行图像识别处理，得到所述目标图像中的目标物体；

6、获取语音信息，并对所述语音信息进行语义分析，得到对应的语义信息；

7、当所述语义信息满足第一预设条件时，推送所述目标物体相关联的资讯信息，所述第一预设条件为所述语义信息为正面评价信息。

8、进一步的，所述获取语音信息，并对所述语音信息进行语义分析，得到对应的语义信息，包括：

9、获取语音信息，对获取到的语音信息进行声纹识别处理，筛选出目标语音信息，所述目标语音信息为用户的语音信息；

10、对所述目标语音信息进行语义分析处理，得到对应的语义信息。

11、进一步的，所述当所述语义信息满足第一预设条件时，推送所述目标物体相关联的资讯信息，包括：

12、当所述语义信息中存在预设关键词时，推送所述目标物体相关联的资讯信息。

13、进一步的，所述获取所述环境中所述落点坐标的预设范围内的目标图像，包括：

14、当识别到佩戴者的人体信息满足第二预设条件时，获取所述环境中的所述落点坐标对应的预设范围内的目标图像，所述第二预设条件为人眼动作满足第一条件或人体生物信号满足第二条件。

15、进一步的，所述当识别到佩戴者的人体信息满足第二预设条件时，获取所述环境中的所述落点坐标对应的预设范围内的目标图像，包括：

16、当识别到佩戴者的人眼注视感兴趣区域的时间超过预设阈值、人眼对感兴趣区域的回视次数超过预设阈值、人眼对感兴趣区域出现瞳孔放大或缩小现象以及人眼对感兴趣区域的眨眼次数超过预设阈值时，获取所述环境中的所述落点坐标的预设范围内的目标图像；

17、或，当识别到佩戴者的心率或血压超过预设阈值时，获取所述环境中的所述落点坐标的预设范围内的目标图像。

18、进一步的，所述当所述语义信息满足第一预设条件时，推送所述目标物体相关联的资讯信息，包括：

19、当所述语义信息满足第一预设条件时，在所述智能眼镜的显示画面中弹出所述目标物体相关联的资讯信息。

20、进一步的，所述获取人眼注视点坐标之前，包括：

21、对佩戴者的眼部特征进行识别，以验证用户的身份；

22、当用户身份验证通过后，在所述智能眼镜中显示对应的显示画面，所述显示画面为增强现实画面。

23、进一步的，所述将所述目标图像进行图像识别处理，得到所述目标图像中的目标物体，包括：

24、将所述目标图像进行图像识别处理，获取所述目标图像中的至少一个物体图像；

25、在所述智能眼镜的显示画面中显示至少一个虚拟框，每一虚拟框内显示对应的所述物体图像；

26、根据对所述虚拟框的选择操作，确认被选择的虚拟框内的物体图像对应的物体为所述目标物体。

27、在第二方面，本技术实施例提供了一种声像结合的信息推送装置，用于智能眼镜，包括：

28、坐标计算模块，用于获取人眼注视点坐标，计算所述人眼注视点坐标与对应的环境中落点坐标的映射关系，确定所述环境中的落点坐标；

29、图像获取模块，用于获取所述环境中所述落点坐标的预设范围内的目标图像；

30、图像识别模块，用于将所述目标图像进行图像识别处理，得到所述目标图像中的目标物体；

31、语音识别模块，用于获取语音信息，并对所述语音信息进行语义分析，得到对应的语义信息；

32、信息推送模块，用于当所述语义信息满足第一预设条件时，推送所述目标物体相关联的资讯信息，所述第一预设条件为所述语义信息为正面评价信息。

33、进一步的，所述语音识别模块包括声纹识别单元和语义分析单元；

34、声纹识别单元，用于获取语音信息，对获取到的语音信息进行声纹识别处理，筛选出目标语音信息，所述目标语音信息为用户的语音信息；

35、语义分析单元，用于对所述目标语音信息进行语义分析处理，得到对应的语义信息。

36、进一步的，所述信息推送模块，还用于当所述语义信息中存在预设关键词时，推送所述目标物体相关联的资讯信息。

37、进一步的，所述图像获取模块还用于当识别到佩戴者的人体信息满足第二预设条件时，获取所述环境中的所述落点坐标对应的预设范围内的目标图像，所述第二预设条件为人眼动作满足第一条件或人体生物信号满足第二条件。

38、进一步的，所述图像获取模块包括第一获取单元和第二单元；

39、所述第一获取单元，用于当识别到佩戴者的人眼注视感兴趣区域的时间超过预设阈值、人眼对感兴趣区域的回视次数超过预设阈值、人眼对感兴趣区域出现瞳孔放大或缩小现象以及人眼对感兴趣区域的眨眼次数超过预设阈值时，获取所述环境中的所述落点坐标的预设范围内的目标图像；

40、所述第二获取单元，用于当识别到佩戴者的心率或血压超过预设阈值时，获取所述环境中的所述落点坐标的预设范围内的目标图像。

41、进一步的，所述信息推送模块还用于当所述语义信息满足第一预设条件时，在所述智能眼镜的显示画面中弹出所述目标物体相关联的资讯信息。

42、进一步的，所述装置还包括身份验证模块和显示模块；

43、所述身份验证模块，用于对佩戴者的眼部特征进行识别，以验证用户的身份；

44、所述显示模块，用于当用户身份验证通过后，在所述智能眼镜中显示对应的显示画面，所述显示画面为增强现实画面。

45、进一步的，所述图像识别模块包括识别单元、显示单元和选择确认单元；

46、所述识别单元，用于将所述目标图像进行图像识别处理，获取所述目标图像中的至少一个物体图像；

47、所述显示单元，用于在所述智能眼镜的显示画面中显示至少一个虚拟框，每一虚拟框内显示对应的所述物体图像；

48、所述选择确认单元，用于根据对所述虚拟框的选择操作，确认被选择的虚拟框内的物体图像对应的物体为所述目标物体

49、在第三方面，本技术实施例提供了一种声像结合的信息推送设备，包括：

50、存储器以及一个或多个处理器；

51、所述存储器，用于存储一个或多个程序；

52、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的声像结合的信息推送方法。

53、在第四方面，本技术实施例提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的声像结合的信息推送方法。

54、本技术实施例通过对人眼注视点坐标对应的落点坐标的目标图像进行识别处理，得到对应的目标物体，之后对获取到的语音信息进行语义分析处理得到语义信息，当语义信息为正面评价信息时，推送目标物体相关的资讯信息。采用上述技术手段，可以通过图像识别获取目标物体，并通过结合语义信息判断用户对目标物体是否感兴趣，当语义信息为正面评价信息时，才推送目标物体相关的资讯信息，使得推送的资讯信息更符合用户的意愿，从而提升信息推送的准确率，并提升用户的使用体验。