一种基于深度学习的客服机器人与对话处理系统及方法与流程

文档序号:37943617发布日期:2024-05-11 00:24阅读:来源:国知局

技术特征:

1.一种基于深度学习的客服机器人与对话处理系统,其特征在于,包括:

2.根据权利要求1所述的基于深度学习的客服机器人与对话处理系统,其特征在于,视觉信息感知模块的执行过程包括:

3.根据权利要求1所述的基于深度学习的客服机器人与对话处理系统,其特征在于,采用多模态融合算法计算出人的意图,多模态融合算法包括多模态信息的输入与识别、基于信息熵的意图推测和多模态信息的加权融合以及融合后结果的输出,在多模态信息的输入与识别过程中,以kinect和麦克风作为输入设备,将获取的信息经过手势识别、目标检测、语音识别和场景感知加工后,再分别做基于手势的意图推测、基于距离的意图推测和基于语音的意图推测,采用推测的结果计算每个通道的权重,最后进行基于信息熵加权的多模态融合,融合结果将作为输入进一步推测人想进行的活动,活动结果继续作为任务选择策略的输入,直到整个协同事件完成;

4.根据权利要求3所述的基于深度学习的客服机器人与对话处理系统,其特征在于,计算出每个模态的置信度后,再采用表达式为计算每个通道的权重值,手势信息通道权重记为语音信息通道权重记为语音信息通道权重记为语音信息通道权重记为

5.根据权利要求1所述的基于深度学习的客服机器人与对话处理系统,其特征在于,还包括:

6.根据权利要求5所述的基于深度学习的客服机器人与对话处理系统,其特征在于,语音活性检测通过对语音原始信号进行处理,并从中分离出有效语音片段的过程,在进行定位操作之前,需要对接收到的音频信号进行有效语音检测,其中,采用短时平均过零率进行有效语音检测;

7.根据权利要求6所述的基于深度学习的客服机器人与对话处理系统,其特征在于,短时平均过零率对应的短时平均能量是指在单位时间间隔内信号的能量平均值,在满足预设信噪比的条件下将清音段和浊音段区分开来,短时能量的表达式为采用双门限结合短时平均能量和短时平均过零率,采用能量阈值tlow、thigh以及过零率阈值tzcr这三个阈值,这些阈值由环境噪声决定,采用双门限阈值进行有效语音检测的过程包括:

8.根据权利要求1所述的基于深度学习的客服机器人与对话处理系统,其特征在于,采用三帧差法采集连续的三帧图像,对三帧图像进行两两作差,对作差后的图像进行逻辑运算以减小背景移动带来的影响;

9.根据权利要求1所述的基于深度学习的客服机器人与对话处理系统,其特征在于,语音信号的特征提取过程包括:

10.一种根据权利要求1-9任一项所述的基于深度学习的客服机器人与对话处理系统的基于深度学习的客服机器人与对话处理方法,其特征在于,包括以下步骤:


技术总结
本发明公开了一种基于深度学习的客服机器人与对话处理系统及方法,通过对音频信号采集与处理,根据听觉系统构建多路麦克风阵列,采用其中一路麦克风作为基准麦克风,通过模拟人的听觉感知原理判断出相关信号,并将其他无关信息滤除,对接收到的信号进行有效语音检测处理,提取出所需的语音信号,通过声源定位得到声源所在位置的估计值和声源方位角信息,模拟人的视觉原理构建机器人视觉感知系统,光学摄像头朝向的改变可通过云台电机控制或机器人导航模块来调整机器人的位姿,捕获到的视频图像序列传给控制中心进行可疑动态目标的检测,使机器人智能的根据所处环境不同选择不同的定位算法,自适应的调节自身参数,提升了机器人对话处理效率。

技术研发人员:林乐新,周超
受保护的技术使用者:深圳闪新软件技术服务有限公司
技术研发日:
技术公布日:2024/5/10
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1