沟通辅助方法及装置与流程

本发明涉及VR(Virtual Reality，虚拟现实)技术领域，尤其涉及沟通辅助方法及装置。

背景技术：

AR(Augmented Reality，增强现实)技术是一种实时地计算摄像机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

AR技术是一种将真实世界信息和虚拟世界信息无缝集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形重合成在一起，便可以看到真实的世界围绕着它。

AR系统具有三个突出的特点：真实世界和虚拟的信息集成；具有实时交互性；在三维尺度空间中增添定位虚拟物体。AR技术不仅在与VR技术相类似的应用领域，诸如尖端武器、飞行器的研制与开发、数据模型的可视化、虚拟训练、娱乐与艺术等领域具有广泛的应用，而且由于其具有能够对真实环境进行增强显示输出的特性，在医疗研究与解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等领域，具有比VR技术更加明显的优势。

AR技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段，提供了在一般情况下，不同于人类可以感知的信息。

AR系统正常工作所需的三个组件包括：1、头戴式显示器；2、跟踪系统；3、移动计算能力。AR开发人员的目标是将这三个组件集成到一个单元中，放置在用带子绑定的设备中，该设备能以无线方式将信息转播到类似于普通眼镜的显示器上。

技术实现要素：

本发明提供沟通辅助方法及装置，以实现及时高效的沟通指导。

本发明的技术方案是这样实现的：

一种沟通辅助方法，该方法包括：

在沟通过程中，实时接收增强现实AR设备实时采集的沟通对象的视频流和音频流；

实时对采集到的视频流或/和音频流进行分析，得到视频流和音频流中的关键信息，将所述关键信息输入到实时沟通指导模型中进行计算，得到实时沟通指导，将得到的实时沟通指导通过AR设备提供给与沟通对象进行沟通的用户。

所述实时对采集到的视频流或/和音频流进行分析，得到视频流和音频流中的关键信息包括：

对视频流中的每一帧图像进行人体边缘检测与定位，获取服饰或/和配饰区域的图像，并进行颜色分析，得到服饰或/和配饰的颜色；或/和，

对视频流中的每一帧图像进行人脸检测，对检测出的人脸进行特征提取，根据提取的特征分析沟通对象的表情；或/和，

对视频流中的每一帧图像进行肢体检测与定位，对检测出的肢体进行特征提取，根据提取的特征分析肢体动作，根据预先定义的不同肢体动作代表的含义，确定当前肢体动作代表的含义；或/和，

从音频流中提取出当前谈话内容的主题；或/和，

从音频流中提取出沟通对象的语调和语速，根据沟通对象的语调和语速分析得到沟通对象的情绪状态；

且，将所述关键信息输入到实时沟通指导模型中进行计算包括：

将所述服饰或/和配饰的颜色，或/和沟通对象的表情，或/和当前肢体动作代表的含义，或/和当前谈话内容的主题，或/和，沟通对象的情绪状态输入到实时沟通指导模型中进行计算。

所述得到视频流和音频流中的关键信息之后进一步包括：

将所述服饰或/和配饰的颜色，或/和沟通对象的表情，或/和当前肢体动作代表的含义，或/和当前谈话内容的主题，或/和，沟通对象的情绪状态通过AR设备提供给用户。

所述方法进一步包括：

在用户与沟通对象沟通前，根据预定义的拟沟通信息范围，向用户获取并记录属于该范围内的本次沟通的各拟沟通信息，在沟通关联数据库中查找与各拟沟通信息关联的信息；

将本次沟通的拟沟通信息和查找到的关联信息输入沟通指导计划模型中进行计算，得到本次沟通的沟通指导计划，将该沟通指导计划提供给用户。

所述方法进一步包括：

在沟通过程中，接收AR设备采集到的用户的视频流或/和音频流，对该视频流或/和音频流进行分析，若在视频流中识别出蹙眉动作，或/和从音频流中识别出疑问语调及重复关键词，则得知用户的用意为对当前谈话内容或/和对该关键词不理解，则获取当前谈话内容或/和该关键词的解释，并将该解释通过AR设备提供给用户；或/和，

在沟通过程中，接收AR设备采集到的用户的视频流，通过眼球追踪方法，发现用户的目光聚焦一物体，则获取该物体的相关信息，并将该物体的相关信息通过AR设备提供给用户。

一种沟通辅助装置，该装置包括：

分析模块：在沟通过程中，实时接收增强现实AR设备实时采集的沟通对象的视频流和音频流；实时对采集到的视频流或/和音频流进行分析，得到视频流和音频流中的关键信息；

实时沟通指导模块：将所述关键信息输入到实时沟通指导模型中进行计算，得到实时沟通指导，将得到的实时沟通指导通过AR设备提供给与沟通对象进行沟通的用户。

所述分析模块实时对采集到的视频流或/和音频流进行分析，得到视频流和音频流中的关键信息包括：

对视频流中的每一帧图像进行人体边缘检测与定位，获取服饰或/和配饰区域的图像，并进行颜色分析，得到服饰或/和配饰的颜色；或/和，

对视频流中的每一帧图像进行人脸检测，对检测出的人脸进行特征提取，根据提取的特征分析沟通对象的表情；或/和，

对视频流中的每一帧图像进行肢体检测与定位，对检测出的肢体进行特征提取，根据提取的特征分析肢体动作，根据预先定义的不同肢体动作代表的含义，确定当前肢体动作代表的含义；或/和，

从音频流中提取出当前谈话内容的主题；或/和，

从音频流中提取出沟通对象的语调和语速，根据沟通对象的语调和语速分析得到沟通对象的情绪状态；

且，所述实时沟通指导模块将所述关键信息输入到实时沟通指导模型中进行计算包括：

将所述服饰或/和配饰的颜色，或/和沟通对象的表情，或/和当前肢体动作代表的含义，或/和当前谈话内容的主题，或/和，沟通对象的情绪状态输入到实时沟通指导模型中进行计算。

所述分析模块得到视频流和音频流中的关键信息之后进一步包括：

将所述服饰或/和配饰的颜色，或/和沟通对象的表情，或/和当前肢体动作代表的含义，或/和当前谈话内容的主题，或/和，沟通对象的情绪状态通过AR设备提供给用户。

所述装置进一步包括沟通指导计划模块，用于在用户与沟通对象沟通前，根据预定义的拟沟通信息范围，向用户获取并记录属于该范围内的本次沟通的各拟沟通信息，在沟通关联数据库中查找与各拟沟通信息关联的信息；将本次沟通的拟沟通信息和查找到的关联信息输入沟通指导计划模型中进行计算，得到本次沟通的沟通指导计划，将该沟通指导计划提供给用户。

所述装置进一步包括控制响应模块，用于在沟通过程中，接收AR设备采集到的用户的视频流或/和音频流，对该视频流或/和音频流进行分析，若在视频流中识别出蹙眉动作，或/和从音频流中识别出疑问语调及重复关键词，则得知用户的用意为对当前谈话内容或/和对该关键词不理解，则获取当前谈话内容或/和该关键词的解释，并将该解释通过AR设备提供给用户；或/和，

在沟通过程中，接收AR设备采集到的用户的视频流，通过眼球追踪方法，发现用户的目光聚焦一物体，则获取该物体的相关信息，并将该物体的相关信息通过AR设备提供给用户。

本发明通过在沟通过程中，实时接收增强现实AR设备实时采集的沟通对象的视频流和音频流；实时对采集到的视频流或/和音频流进行分析，得到视频流和音频流中的关键信息，将所述关键信息输入到实时沟通指导模型中进行计算，得到实时沟通指导，将得到的实时沟通指导通过AR设备提供给与沟通对象进行沟通的用户，实现了及时高效的沟通指导。

附图说明

图1为本发明一实施例提供的沟通辅助方法流程图；

图2为本发明另一实施例提供的沟通辅助方法流程图；

图3为本发明实施例提供的沟通辅助装置的结构示意图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

图1为本发明一实施例提供的沟通辅助方法流程图，其具体步骤如下：

步骤101：在沟通过程中，实时接收增强现实AR设备实时采集的沟通对象的视频流和音频流。

步骤102：实时对采集到的视频流或/和音频流进行分析，得到视频流和音频流中的关键信息。

步骤103：将得到的关键信息输入到实时沟通指导模型中进行计算，得到实时沟通指导，将得到的实时沟通指导通过AR设备提供给与沟通对象进行沟通的用户。

步骤102具体可包括：

对视频流中的每一帧图像进行人体边缘检测与定位，获取服饰或/和配饰区域的图像，并进行颜色分析，得到服饰或/和配饰的颜色；或/和，

对视频流中的每一帧图像进行人脸检测，对检测出的人脸进行特征提取，根据提取的特征分析沟通对象的表情；或/和，

对视频流中的每一帧图像进行肢体检测与定位，对检测出的肢体进行特征提取，根据提取的特征分析肢体动作，根据预先定义的不同肢体动作代表的含义，确定当前肢体动作代表的含义；或/和，

从音频流中提取出当前谈话内容的主题；或/和，

从音频流中提取出沟通对象的语调和语速，根据沟通对象的语调和语速分析得到沟通对象的情绪状态；

且，步骤103中，将服饰或/和配饰的颜色，或/和沟通对象的表情，或/和当前肢体动作代表的含义，或/和当前谈话内容的主题，或/和，沟通对象的情绪状态输入到实时沟通指导模型中进行计算。

在实际应用中，还可将服饰或/和配饰的颜色，或/和沟通对象的表情，或/和当前肢体动作代表的含义，或/和当前谈话内容的主题，或/和，沟通对象的情绪状态通过AR设备提供给用户。

在实际应用中，在用户与沟通对象沟通前，根据预定义的拟沟通信息范围，向用户获取并记录属于该范围内的本次沟通的各拟沟通信息，在沟通关联数据库中查找与各拟沟通信息关联的信息；将本次沟通的拟沟通信息和查找到的关联信息输入沟通指导计划模型中进行计算，得到本次沟通的沟通指导计划，将该沟通指导计划提供给用户。

在实际应用中，在沟通过程中，接收AR设备采集到的用户的视频流或/和音频流，对该视频流或/和音频流进行分析，若在视频流中识别出蹙眉动作，或/和从音频流中识别出疑问语调及重复关键词，则得知用户的用意为对当前谈话内容或/和对该关键词不理解，则获取当前谈话内容或/和该关键词的解释，并将该解释通过AR设备提供给用户；或/和，在沟通过程中，接收AR设备采集到的用户的视频流，通过眼球追踪方法，发现用户的目光聚焦一物体，则获取该物体的相关信息，并将该物体的相关信息通过AR设备提供给用户。

图2为本发明另一实施例提供的沟通辅助方法流程图，其具体步骤如下：

步骤201：在用户与沟通对象沟通前，沟通辅助装置根据预定义的拟沟通信息范围，向用户获取并记录属于该范围内的本次沟通的各拟沟通信息。

拟沟通信息范围内包含的拟沟通信息如：沟通时间、沟通地点、沟通类型、沟通对象背景信息等。

沟通类型如：相亲、商务谈判、心理咨询、司法审判等。

沟通对象背景信息如：姓名、年龄、身高、性别、籍贯、兴趣爱好、学历、经历、电话号码、微信号、QQ号、微博账户、身份证号等之一或任意组合。

步骤202：沟通辅助装置根据记录的本次沟通的各拟沟通信息，在沟通关联数据库中查找与各拟沟通信息关联的信息。

沟通关联数据库中保存了各种拟沟通信息的关联信息，例如：电话号码对应的注册信息(包括：姓名、身份证号、家庭住址等)，微信号对应的注册信息，身份证号对应的姓名、地址、照片等。

步骤203：沟通辅助装置将本次沟通的拟沟通信息和查找到的关联信息输入沟通指导计划模型中进行计算，得到本次沟通的沟通指导计划，将该沟通指导计划提供给用户。

沟通指导计划模型是预先训练好的。具体地，预先采集多个沟通训练样本，每个沟通训练样本采用拟沟通信息及其关联信息表示，并针对每个沟通训练样本给出对应的沟通指导计划。然后，根据所有沟通训练样本和对应的沟通指导计划，训练出沟通指导计划模型。沟通指导计划模型训练好后，输入任意一组拟沟通信息及其关联信息，该沟通指导计划模型就会对该组信息进行计算，得到对应的沟通指导计划。

沟通指导计划包括：与沟通对象的沟通策略等。沟通策略如：与沟通对象的沟通内容(如：时事、体育、文学、艺术等，还可进一步细化，如：具体的时事事件、体育事件等)、沟通态度及语气(如：强硬、温和等)等。

步骤204：在沟通过程中，沟通辅助装置实时接收AR设备实时采集的沟通对象的视频流和音频流。

在沟通开始前，与沟通对象进行沟通的用户要佩戴好可穿戴AR设备。

步骤205：沟通辅助装置实时对采集到的视频流中的每一帧图像进行人体边缘检测与定位，获取服饰区域的图像，并进行颜色分析(如：RGB分析)，得到服饰的颜色；同时，实时对每一帧图像进行人脸检测，对检测出的人脸进行特征提取，根据提取的特征分析人脸的表情；同时，实时对图像进行肢体检测与定位，对检测出的肢体进行特征提取，根据提取的特征分析肢体动作，根据预先定义的不同肢体动作代表的含义，确定当前肢体动作代表的含义。

人脸的表情如：喜悦、悲伤、愤怒、厌烦、不屑等。肢体动作如：前倾、后仰、摇头等，前倾通常代表亲近、感兴趣，后仰代表疏远、不感兴趣，摇头代表不认同，等。

进一步地，还可识别出服饰区域的品牌logo等。还可识别出配饰(如：帽子、项链、手表等)信息，如：配饰的颜色、品牌logo等。

步骤206：沟通辅助装置从音频流中提取出当前谈话内容的主题以及沟通对象的语调、语速，根据沟通对象的语调和语速分析得到沟通对象的情绪状态。

步骤207：沟通辅助装置将沟通对象的服饰信息、表情、肢体动作代表的含义以及沟通对象的情绪状态通过AR设备提供给用户。

AR设备可将沟通对象的服饰信息、表情、肢体动作代表的含义以及沟通对象的情绪状态以语音或文字等形式提供给用户。

步骤208：沟通辅助装置将沟通对象的服饰信息、表情、肢体动作代表的含义以及当前谈话内容的主题、沟通对象的情绪状态实时输入到实时沟通指导模型进行计算，得到实时沟通指导，将该实时沟通指导通过AR设备提供给用户。

实时沟通指导模型是预先训练好的。具体地，预先采集多个实时沟通训练样本，每个实时沟通训练样本可采用如下实时沟通信息中的一种或任意组合表示：沟通对象的服饰信息、表情、肢体动作代表的含义、当前谈话内容的主题、沟通对象的情绪状态信息，并针对每个实时沟通训练样本给出对应的实时沟通指导。然后，根据所有实时沟通训练样本和对应的实时沟通指导，训练出实时沟通指导模型。实时沟通指导模型训练好后，输入任意一组实时沟通信息，该实时沟通指导模型就会对该组信息进行计算，得到对应的实时沟通指导。

实时沟通指导包括：沟通对象分析、与沟通对象的实时沟通策略等。

例如：沟通对象穿着颜色鲜艳的服饰，则通过检索对应的性格分析数据库，可得到沟通对象可能的性格倾向：外向、活泼；其中，性格分析数据库中定义了各种性格对应的特征。

实时沟通策略如：与沟通对象的沟通内容(如：时事、体育、文学、艺术等，还可进一步细化，如：具体的时事事件、体育事件等)、沟通态度及语气(如：强硬、温和等)等。

AR设备可将实时沟通指导通过语音、文字、图片等形式提供给用户。

在实际应用中，用户还可以通过预定义指令介入沟通过程。例如：用户可以通过向AR设备发送控制信息主动获取沟通辅助信息。

例如：当沟通对象提及某个关键词用户不理解时，用户可以通过预设蹙眉的动作作为预设指令，也可以通过以疑问的语调重复该关键词作为预设指令，AR设备采集到用户的视频和音频后发送给沟通辅助装置，沟通辅助装置识别视频图像中的蹙眉的动作或者音频中的疑问语调及重复关键词，从而得知用户的用意为对当前谈话内容或该关键词不理解，则执行相应处理如：根据该关键词搜索预定义的数据库或者进行网络搜索，从而给出当前谈话内容或该关键词的解释，并将该解释以语音、文字、图片等形式提供给用户。

又如：AR设备将采集到的用户的视频和音频后发送给沟通辅助装置后，沟通辅助装置通过眼球追踪，发现用户的目光聚焦某物体(如：沟通对象的腕表)的时长大于预设时长，则从预定义数据库或者网络上获取该腕表的相关信息如：品牌、产地、价格等，并将该腕表的相关信息通过语音、文字、图片等形式提供给用户。

以下给出本发明的应用示例：

本应用示例针对的是审讯场景。

步骤01：沟通辅助装置获取本次审讯的拟沟通信息，具体如下：

沟通主题：审讯，沟通对象背景信息：男、32岁、身高178cm、身份证号：********。

步骤02：沟通辅助装置根据获取的本次审讯的拟沟通信息，在沟通数据库中查找与各拟沟通信息关联的信息。

步骤03：沟通辅助装置将本次审讯的拟沟通信息和查找到的关联信息输入沟通模型中进行计算，得到沟通指导计划。

步骤04：沟通开始前，沟通主用户佩戴可穿戴的AR设备，并确保AR设备已开启，AR设备的摄像头正对沟通对象；沟通过程中，AR设备实时采集沟通对象的视频流并传输给沟通辅助装置。

步骤05：沟通辅助装置实时对视频流进行边缘检测、面部和肢体定位、特征识别，实时分析沟通对象当前的面部表情和肢体语言所代表的含义，并生成辅助信息通过AR设备展现给用户。

步骤06：在沟通过程中，AR设备实时采集音频信息传输给沟通辅助装置，沟通辅助装置启动语音识别，识别沟通对象的谈话内容、语速、语调，分析沟通对象的情绪状态，通过AR设备展示给用户。

步骤07：沟通辅助装置将当前沟通对象的表情、肢体语言、语调、语速、当前谈话内容与主题输入到实时沟通指导模型进行计算，得到实时沟通指导，将实时沟通指导通过AR设备提供给用户，以对用户进行在线沟通指导。

图3为本发明实施例提供的沟通辅助装置的结构示意图，该装置主要包括：分析模块31和实时沟通指导模块32，其中：

分析模块31：在沟通过程中，实时接收增强现实AR设备实时采集的沟通对象的视频流和音频流；实时对采集到的视频流或/和音频流进行分析，得到视频流和音频流中的关键信息，将得到的关键信息发送给实时沟通指导模块32。

实时沟通指导模块：将分析模块31发来的关键信息输入到实时沟通指导模型中进行计算，得到实时沟通指导，将得到的实时沟通指导通过AR设备提供给与沟通对象进行沟通的用户。

进一步地，分析模块31实时对采集到的视频流或/和音频流进行分析，得到视频流和音频流中的关键信息包括：

对视频流中的每一帧图像进行人体边缘检测与定位，获取服饰或/和配饰区域的图像，并进行颜色分析，得到服饰或/和配饰的颜色；或/和，

对视频流中的每一帧图像进行人脸检测，对检测出的人脸进行特征提取，根据提取的特征分析沟通对象的表情；或/和，

对视频流中的每一帧图像进行肢体检测与定位，对检测出的肢体进行特征提取，根据提取的特征分析肢体动作，根据预先定义的不同肢体动作代表的含义，确定当前肢体动作代表的含义；或/和，

从音频流中提取出当前谈话内容的主题；或/和，

从音频流中提取出沟通对象的语调和语速，根据沟通对象的语调和语速分析得到沟通对象的情绪状态；

且，实时沟通指导模块32将分析模块31发来的关键信息输入到实时沟通指导模型中进行计算包括：

将所述服饰或/和配饰的颜色，或/和沟通对象的表情，或/和当前肢体动作代表的含义，或/和当前谈话内容的主题，或/和，沟通对象的情绪状态输入到实时沟通指导模型中进行计算。

进一步地，分析模块31得到视频流和音频流中的关键信息之后进一步包括：

将所述服饰或/和配饰的颜色，或/和沟通对象的表情，或/和当前肢体动作代表的含义，或/和当前谈话内容的主题，或/和，沟通对象的情绪状态通过AR设备提供给用户。

进一步地，该装置包括沟通指导计划模块，用于在用户与沟通对象沟通前，根据预定义的拟沟通信息范围，向用户获取并记录属于该范围内的本次沟通的各拟沟通信息，在沟通关联数据库中查找与各拟沟通信息关联的信息；将本次沟通的拟沟通信息和查找到的关联信息输入沟通指导计划模型中进行计算，得到本次沟通的沟通指导计划，将该沟通指导计划提供给用户。

进一步地，该装置包括控制响应模块，用于在沟通过程中，接收AR设备采集到的用户的视频流或/和音频流，对该视频流或/和音频流进行分析，若在视频流中识别出蹙眉动作，或/和从音频流中识别出疑问语调及重复关键词，则得知用户的用意为对当前谈话内容或/和对该关键词不理解，则获取当前谈话内容或/和该关键词的解释，并将该解释通过AR设备提供给用户；或/和，在沟通过程中，接收AR设备采集到的用户的视频流，通过眼球追踪方法，发现用户的目光聚焦一物体，则获取该物体的相关信息，并将该物体的相关信息通过AR设备提供给用户。

本发明的有益技术效果如下：

一、通过在沟通过程中，实时接收增强现实AR设备实时采集的沟通对象的视频流和音频流；实时对采集到的视频流或/和音频流进行分析，得到视频流和音频流中的关键信息，将所述关键信息输入到实时沟通指导模型中进行计算，得到实时沟通指导，将得到的实时沟通指导通过AR设备提供给与沟通对象进行沟通的用户，实现了及时高效的沟通指导；

二、在沟通前，通过拟沟通信息及其关联信息，计算得到沟通指导计划，从而实现了对用户提前进行沟通指导；

本发明可以对不善交际、交流的人进行实时的在线智能沟通辅助，提升沟通交流质量；也可针对特殊职业场景(心理咨询、审讯等)提供更为专业强大的交流辅助，提高专业沟通效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。