一种基于智能机器人的综合服务交互系统及方法与流程

本发明涉及智能机器人领域，具体为一种基于智能机器人的综合服务交互系统及方法。

背景技术：

1、在城市轨道交通运营过程中，由于整个城市轨道交通系统异常复杂，任何形式的故障都会造成一定程度的损失，根据道路交通行业调查数据统计显示，重特大交通事故中，因疲劳驾驶造成的事故所占比列达到40％，是发生重特大交通事故的三大原因之一，在引发交通事故死亡事件中所占比例高达21％，因此为了有效地保障地铁运营的稳定性与可持续性，采用高度自动化的列车运行控制系统控制列车运行、研发智能化的监测装备监督列车运行状态，但是对列车司机的驾驶风险几乎没有监督防护措施，如果在驾驶列车过程中发生司机注意力下降、打瞌睡等状况时，容易造成安全事故。

技术实现思路

1、本发明的目的在于提供一种基于智能机器人的综合服务交互系统及方法，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：

3、一种基于智能机器人的综合服务交互方法，其特征在于，所述方法包括以下步骤：

4、s1、获取机车乘务组员信息，并核实电力机车司机和电力机车副司机信息；

5、s2、基于面部识别获取电力机车司机第一状态信息与电力机车副司机第一状态信息；

6、s3、分析电力机车司机健康状态；

7、s4、分析电力机车副司机健康状态；

8、s5、结合s3、s4分析结果对电力机车司机和电力机车副司机的健康状态进行评估，并发出预警信号。

9、进一步的，所述s1中获取机车乘务组员信息，并核实电力机车司机和电力机车副司机信息的方法包括以下步骤：

10、步骤1001、获取机车乘务组员值班信息表；

11、步骤1002、采集当日机车乘务组员指纹信息；

12、步骤1003、提取乘务组指纹库中先前录入的乘务组员指纹信息；

13、步骤1004、将当日采集的机车乘务组员指纹信息与提取的指纹信息进行审核；

14、步骤1005、提取电力机车司机和电力机车副司机的指纹信息进行二次审核；

15、步骤1006、通过审核的机车乘务组可以正常进行工作。

16、本发明通过获取机车乘务组员值班信息表，根据当日采集的机车乘务组员指纹信息进行认证，为后续分析电力机车司机和电力机车副司机健康状态提供数据参照。

17、进一步的，所述s2中基于面部识别获取电力机车司机第一状态信息与电力机车副司机第一状态信息的方法包括以下步骤：

18、步骤2001、获取电力机车司机和电力机车副司机面部信息，并提取当前面部特征点位置信息；

19、步骤2002、根据电力机车司机和电力机车副司机脸型获取对应标准脸型的面部特征点位置信息；

20、步骤2003、将当前电力机车司机和电力机车副司机的面部特征点位置信息与标准面部特征点位置信息进行对比；

21、步骤2004、设定阈值差值范围，根据步骤2003对比结果，得出电力机车司机和电力机车副司机的面部特征点位置移动数据；

22、步骤2005、将面部特征点位置移动数据与阈值比较，当面部特征点位置移动数据在阈值范围内表明司机登车前健康状态良好。

23、进一步的，其特征在于，所述s3中分析电力机车司机健康状态的方法包括以下步骤：

24、步骤3001、实时获取电力机车司机驾驶过程的图像；

25、步骤3002、基于双边滤波对获取的图像进行预处理；

26、步骤3003、基于haar特征计算识别预处理图像中的人脸部分；

27、步骤3004、获取人脸部分中电力机车司机的眼睛状态和嘴巴状态，并通过分析评估电力机车司机实时健康状态。

28、进一步的，所述基于haar特征计算识别预处理图像中的人脸部分的方法包括以下步骤：

29、步骤3003-1、获取双边滤波器预处理后的图像，并获取预处理后图像的尺寸大小，记为w*h；

30、步骤3003-2、将预处理后的图像均匀分隔成w/a*h/a的矩形块，在预处理后的图像构建尺寸大小为w/10*h/10的矩形框，并将矩形框长和宽一边重合于图像左上角，其中a为常数，a的值为分割后的矩形块能够表示一个像素值，其中构建的矩形框所框选到的分隔矩形块，并将框选的矩形块像素值进行总和运算，将结果赋值到对应积分图中；

31、步骤3003-3、将矩形框在图像上进行从左向右水平一层一层逐一水平移动，并将矩形框中的图像像素值总和记录到对应积分图中，其中积分图中每一格数据代表对应矩形框中的图像像素总和；

32、步骤3003-4、获取图像中眼睛和嘴巴的像素值集合，记为眼睛像素值集合a，嘴巴像素值集合b；

33、步骤3003-5、通过归一化处理将集合中能够识别眼睛部分和嘴巴部分进行简化，表达式为：

34、

35、其中geye表示识别眼睛部分的归一化处理结果，gmouth表示识别嘴巴部分的归一化处理结构，∑za表示集合a中元素总和，zb表示集合b中元素值总和，ga表示集合a中元素的个数，gb表示集合b中元素的个数，表示对眼睛部分计算的归一化因子，表示对嘴巴部分计算的归一化因子；

36、步骤3003-6、获取图像中电力机车司机头部轮廓信息，并将其作为训练样本集s；

37、步骤3003-7、获取训练样本集s中样本sd，初始化训练数据的权值分布，表达式为：

38、

39、其中f表示激活函数t1，t2，t3，...，tn表示初始化训练数据的权值大小，表示初始化训练数据的权重为即训练初始概率分布，通过学习得到第一分类器h(x)；

40、步骤3003-8、通过第一次迭代训练n个样本，计算得到弱分类器权重t11，表达式为：

41、

42、其中et表示误差率，其中i表示被错误分类的样本，yi表示样本标签；

43、步骤3003-9、更新训练数据集的权重分布并进行第二次迭代训练，重复步骤3003-8；

44、步骤3003-10、结合归一化处理后的眼睛和嘴巴特征值，通过级联分类器进行预处理后图像中的人脸检测，并根据特征值筛选出眼睛和嘴巴。

45、本发明基于haar特征计算识别预处理图像中的人脸部分，结合归一化处理后的眼睛和嘴巴特征值，通过级联分类器进行预处理后图像中的人脸检测，并根据特征值筛选出眼睛和嘴巴，为后续对电力机车司机和电力机车副司机健康状态评估提供数据参照。

46、进一步的，所述获取人脸部分中电力机车司机的眼睛状态和嘴巴状态，并通过分析评估电力机车司机实时健康状态的方法包括以下步骤：

47、步骤4001、获取步骤3003-10中眼睛和嘴巴的位置信息；

48、步骤4002、构建3个矩形框，使得识别到的眼睛和嘴巴分别内嵌于对应矩形框中；

49、步骤4003、获取第一矩形框，即外嵌左眼的矩形框，设定左眼与矩形框上交点位置信息为c(x1,y1)，左眼与矩形框下交点位置信息为d(x2,y2)，计算上下交点间距，表达式为：

50、dze＝|y2-y1|，

51、其中dze表示左眼上下交点间距；

52、步骤4004、同步步骤4003分析右眼上下交点间距和嘴巴上下交点间距，分别记为dye和dz；

53、步骤4005、获取步骤3003-6中人脸轮廓信息；

54、步骤4007、实时监测人脸轮廓位置信息；

55、步骤4008、设定眼睛位置阈值q1，嘴巴位置阈值q2和人脸轮廓位阈值q3，将眼睛间距小于阈值q1且持续时间为t时，则判定电力机车司机即将处于疲劳状态，将嘴巴间距小于阈值q2且持续时间为t时，则判定电力机车司机即将处于疲劳状态，将人脸轮廓位置小于阈值q3且在时间t时发生移动频率大于5次，则判定电力机车司机即将处于疲劳状态；

56、步骤4006、重复步骤3001、步骤3002、步骤3003和步骤3004，实时获取电力机车副司机的健康状态。

57、进一步的，所述s5中结合s3、s4分析结果对电力机车司机和电力机车副司机的健康状态进行评估，并发出预警信号的方法包括以下步骤：

58、步骤5001、获取电力机车司机和电力机车副司机健康状态信息；

59、步骤5002、根据电力机车司机健康状态以及电力机车副司机健康状态进行评估，即

60、当电力机车司机处于正常驾驶工作时，电力机车副司机处于正常工作时，记为正常，不发出预警；当电力机车司机处于正常驾驶工作时，电力机车副司机处于疲劳状态时，记为3级异常，不发出预警；当电力机车司机处于疲劳驾驶工作时，电力机车副司机处于正常工作时，记为2级异常，语音播报发出预警信号；当电力机车司机处于疲劳驾驶工作时，电力机车副司机处于疲劳驾驶工作时，记为1级异常，语音播报发出预警信号。

61、一种基于智能机器人的综合服务交互系统，其特征在于，所述系统包括以下模块：

62、信息识别模块：所述信息识别模块用于根据机车乘务组员排班信息表进行当日乘务组员信息识别。

63、首次健康状态识别模块：所述首次健康状态识别模块用于基于面部识别获取电力机车司机第一状态信息与电力机车副司机第一状态信息；

64、健康状态实时监测模块：所述健康状态实时监测模块用于分析电力机车司机和电力机车副司机的健康状态；

65、机车行驶安全评估模块：所述机车行驶安全评估模块用于根据将健康状态实时监测模块的数据进行分析，并对分析结果进行评估，根据评估结果发出预警提示。

66、进一步的，所述信息识别模块包括信息查询单元和指纹匹配单元、所述首次健康状态识别模块包括人脸识别单元和健康状态评估单元、所述健康状态实时监测模块包括特征值获取单元和监测单元、所述机车行驶安全评估模块包括数据分析单元和预警单元：

67、所述信息查询单元用于实时获取当日机车乘务组排班信息；

68、所述指纹匹配单元用于通过指纹识别进行机车乘务组人员信息认证；

69、所述人脸识别单元用于获取电力机车司机和电力机车副司机的人脸信息；

70、所述健康状态评估单元用于用于根据人脸识别单元获取的信息进行第一次健康状态评估；

71、所述特征值获取单元用于获取电力机车司机和电力机车副司机眼睛、嘴巴和头部实时状态；

72、所述监测单元用于实时监测电力机车司机和电力机车副司机状态；

73、所述数据分析单元用于根据特征值获取单元得到的信息进行分析电力机车司机和电力机车副司机的状态；

74、所述预警单元用于根据数据分析单元的结果进行评估并发出预警信号。

75、本发明通过对电力机车司机和电力机车副司机的眼睛、嘴巴以及头部活动情况进行监测，通过监测的数据与设定阈值进行比较，从而实时评估电力机车司机的健康状态，通过不同情况发出预警信号，从而避免因司机疲劳驾驶而增加列车行驶安全隐患。