一种基于睡意程度的服务机器人主动服务方法与流程

本发明涉及服务机器人技术领域，尤其涉及一种基于睡意程度的服务机器人主动服务方法。

背景技术：

随着服务机器人进入到日常生活中的各个方面，人们对机器人提出了更高的要求。传统的服务机器人基本上采用指令时的服务，而如今人们希望机器人具有感知人类情感、意图并主动为人们服务的能力。因此，使机器人能够感知周围的环境，理解人类的情感、意图和服务需求，根据用户的需求以及环境信息的变化来提供主动、优质的服务是提高服务机器人的智能化重要突破口。

睡意是伴随着体力疲劳或精神疲劳而出现的一种状态。睡意的出现在很大程度上会降低人的警觉度、决策能力和记忆力，是导致工作学习效率下降以及事故发生的主要原因之一。近年来，有关睡意和疲劳的研究主要集中在睡意产生的机理以及驾驶疲劳的检测和监测中，但是睡意检测的应用范围不仅仅局限于此。在汽车驾驶、远程监控调度、内外科手术以及高空作业等比较危险和对精度要求较高的环境中，若作业人员出现睡意状态，将导致严重后果。除此之外，睡意状态的检测与研究，对未来智能教室以及家庭监护仪的开发都有着重要的意义。通过对学生睡意状态的检测及时调整老师讲课的方式，可以避免学习疲劳状态的出现，进而提高学习效率。为了减少睡意状态产生的危害、保护人们的安全和健康，提高学习和工作效率，对睡意状态的准确检测和实时估计具有重要的科学意义和迫切的现实需求。

针对此现状，探究有效的睡意程度识别方法，并结合被服务者的需求分析，建立一种基于睡意程度识别的机器人主动服务方法，提高服务机器人的主动服务能力具有重要的现实意义。

技术实现要素：

有鉴于此，本发明的实施例提供了一种基于睡意程度的服务机器人主动服务方法，能够使机器人根据用户的睡意程度主动的为用户提供相应的服务。

本发明的实施例提供一种基于睡意程度的服务机器人主动服务方法，包括以下步骤，

a1：使用perclos指标来判定用户的睡意程度；

a2：得到用户睡意程度以及从开始到产生所述睡意程度的时间长短与用户需求之间的模糊关系；

a3：机器人根据所述模糊关系，主动为用户提供相应的服务。

进一步地，

其中，ti表示人眼闭合的持续时间，n代表在时间窗为ti内产生的人闭眼的次数，t是整个时间窗的长度。

进一步地，所述睡意程度包括清醒、疲倦和非常疲倦，所述清醒和所述疲倦的临界值为第一阈值，所述疲倦与所述非常疲倦的临界值为第二阈值，将perclos值大于第二阈值的用户的睡意程度判定为非常疲倦，将perclos值小于第一阈值的用户的睡意程度判定为清醒，将perclos值处于第一阈值和第二阈值之间的用户的睡意程度判定为疲倦。

进一步地，选取perclos值不同、时间窗t相同的若干段视频段落，所述若干段视频段落对应的perclos值为从0至0.95逐渐递增的若干离散数据，根据睡意程度的特征对所述若干段视频段落的睡意程度进行评价，选取perclos值最大、睡意程度为清醒的视频段落与perclos值最小、睡意程度为疲倦的视频段落，将它们对应的perclos值平均后得到所述第一阈值，选取perclos值最大、睡意程度为疲倦的视频段落与perclos值最小、睡意程度为非常疲倦的视频段落，将它们对应的perclos值平均后得到所述第二阈值。

进一步地，从视频段落中提取人脸图像，从所述人脸图像中获取人眼位置，基于获取的人眼位置找到人眼，基于水平投影方法来判断人眼状态，所述人眼状态包括在时间窗为t的时间内人闭眼的次数，若基于水平投影方法不能确定所述人眼状态，则采用hough查找圆法来判断所述人眼状态。

进一步地，找到人眼位置的方法包括，

b1：提取视频段落中的人脸图像，将所述人脸图像输入一级卷积神经网络，得到第一次双眼坐标，将所述人脸图像裁剪成包含左眼的左半部分和包含右眼的右半部分后分别输入所述一级卷积神经网络，得到第一层左眼坐标和第一层右眼坐标，对所述第一层左眼坐标、第一层右眼坐标和第一次双眼坐标求平均得到第一层双眼坐标；

b2：以所述第一层双眼坐标为中心裁剪所述人脸图像构成第一包围框，将所述第一包围框输入二级卷积神经网络得到第二次双眼坐标；以所述第一层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成第二包围框，将所述第二包围框分别输入到两个二级卷积神经网络得到两个第二层左眼坐标；以所述第一层双眼坐标中的右眼所对应的坐标为中心裁剪所述人脸图像构成第三包围框，将所述第三包围框分别输入到两个二级卷积神经网络得到两个第二层右眼坐标；对所述第二次双眼坐标、两第二层左眼坐标和两第二层右眼坐标求平均得到第二层双眼坐标；

b3：以所述第二层双眼坐标为中心裁剪所述人脸图像构成第四包围框，将所述第四包围框输入三级卷积神经网络得到第三次双眼坐标；以所述第二层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成第五包围框，将所述第五包围框输入到三级卷积神经网络得到第三层左眼坐标；以所述第二层双眼坐标中的右眼所对应的坐标为中心裁剪所述人脸图像构成第六包围框，将所述第六包围框输入到三级卷积神经网络得到第三层右眼坐标；对所述第三次双眼坐标、第三层左眼坐标和第三层右眼坐标求平均得到第三层双眼坐标；

b4：以所述第三层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成第七包围框，将所述第七包围框输入到四级卷积神经网络得到第四层左眼坐标；以所述第三层双眼坐标中的右眼所对应的坐标为中心裁剪所述人脸图像构成第八包围框，将所述第八包围框输入到四级卷积神经网络得到第四层右眼坐标；对所述第四层左眼坐标和第四层右眼坐标叠加得到第四层双眼坐标，即人眼的位置。

进一步地，在采用水平投影方法来判断人眼状态前，先将所述人眼转化为灰度图像；在b1中，将所述视频段落输入至libfacedetect人脸检测器进行人脸识别得到原始人脸图像，然后将所述原始人脸图像转化为灰度图像得到所述人脸图像。

进一步地，用户的睡意程度以及从开始到产生所述睡意程度的时间长短与用户需求之间的模糊关系为，

n为无需求，l为需要一杯低浓度的咖啡或茶，m为需要一杯中浓度的咖啡或茶，h为需要一杯高浓度的咖啡或茶，d为从开始到产生所述睡意程度的时间小于2小时，c为从开始到产生所述睡意程度的时间大于或等于2小时，所述机器人根据睡意程度和时间所在横条中模糊关系最大的值所对应的用户需求主动为用户提供相应的服务。

进一步地，所述机器人中具有包含所述模糊关系和主动服务的服务矩阵，所述服务矩阵为

所述机器人获得所述模糊关系对应的用户需求后，根据所述服务矩阵为用户提供主动服务。

进一步地，所述的基于睡意程度的服务机器人主动服务方法还包括

a4：实时获取接受所述机器人提供的相应服务后用户的睡意程度，然后跳回步骤a1。

本发明的实施例提供的技术方案带来的有益效果是：本发明所述的基于睡意程度的服务机器人主动服务方法，能够实时的识别用户的睡意程度，实时分析用户的服务需求，并根据用户需求提供主动、优质的服务，有助于提高用户的学习和工作效率。

附图说明

图1是本发明基于睡意程度的服务机器人主动服务方法的流程图；

图2是本发明利用四级级联卷积神经网络从所述人脸图像中找到人眼位置的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

请参考图1，本发明的实施例提供了一种基于睡意程度的服务机器人主动服务方法，利用该方法，使机器人根据用户需求，在用户没有发出指令的情况下，主动的为用户提供相应的服务，包括以下步骤：

a1：使用perclos指标来判定用户的睡意程度。

其中，ti表示人眼闭合的持续时间，n代表在时间窗为ti内产生的人闭眼的次数，t是整个时间窗的长度。

要想获取perclos中的n，首先需要对用户进行拍摄取图，本实施例以对用户进行视频拍摄取图为例进行说明，将拍摄的视频段落输入至libfacedetect人脸检测器进行人脸识别得到原始人脸图像，然后将所述原始人脸图像转化为灰度图像得到人脸图像，完成人脸图像的提取。

请参考图2，然后利用四级级联卷积神经网络从所述人脸图像中找到人眼位置，具体方法为：

b1：提取视频段落中的人脸图像，将所述人脸图像输入一级卷积神经网络f1，得到第一次双眼坐标，将所述人脸图像裁剪成包含左眼的左半部分和包含右眼的右半部分后分别输入所述一级卷积神经网络le1、re1，得到第一层左眼坐标和第一层右眼坐标，对所述第一层左眼坐标、第一层右眼坐标和第一次双眼坐标求平均得到第一层双眼坐标。得到所述第一次双眼坐标的所述一级卷积神经网络与得到所述第一层左眼坐标和第一层右眼坐标的所述一级卷积神经网络不是同一所述一级卷积神经网络，三个所述一级卷积神经网络需要同时使用，如此可以从整体上缩短时间、加快进程。

b2：以所述第一层双眼坐标为中心裁剪所述人脸图像构成第一包围框，将所述第一包围框输入二级卷积神经网络f2得到第二次双眼坐标；以所述第一层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成第二包围框，将所述第二包围框分别输入到两个二级卷积神经网络le21、le22得到两个第二层左眼坐标；以所述第一层双眼坐标中的右眼所对应的坐标为中心裁剪所述人脸图像构成第三包围框，将所述第三包围框分别输入到两个二级卷积神经网络re21、re22得到两个第二层右眼坐标；对所述第二次双眼坐标、两第二层左眼坐标和两第二层右眼坐标求平均得到第二层双眼坐标。从而，所述第二层双眼坐标相对所述第一层双眼坐标对双眼的位置定位更加准确。由上文可知，所述第一包围框的框选面积小于所述人脸图像的面积，所述第二包围框和所述第三包围框的框选面积小于所述左半部分和所述右半部分的面积，从而，所述第二层双眼坐标相对所述第一层双眼坐标对双眼的位置定位进一步准确。

b3：以所述第二层双眼坐标为中心裁剪所述人脸图像构成第四包围框，将所述第四包围框输入三级卷积神经网络f3得到第三次双眼坐标；以所述第二层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成第五包围框，将所述第五包围框输入到三级卷积神经网络le3得到第三层左眼坐标；以所述第二层双眼坐标中的右眼所对应的坐标为中心裁剪所述人脸图像构成第六包围框，将所述第六包围框输入到三级卷积神经网络re3得到第三层右眼坐标；对所述第三次双眼坐标、第三层左眼坐标和第三层右眼坐标求平均得到第三层双眼坐标。从而所述第三层双眼坐标相对于所述第二层双眼坐标对双眼的位置定位更加精确。所述第四包围框的框选面积小于所述第一包围框的框选面积，所述第五包围框和所述第六包围框的框选面积分别小于所述第二包围框和所述第三包围框的框选面积，从而所述第三层双眼坐标相对于所述第二层双眼坐标对双眼的位置定位进一步精确。

b4：以所述第三层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成第七包围框，将所述第七包围框输入到四级卷积神经网络le4得到第四层左眼坐标；以所述第三层双眼坐标中的右眼所对应的坐标为中心裁剪所述人脸图像构成第八包围框，将所述第八包围框输入到四级卷积神经网络re4得到第四层右眼坐标；对所述第四层左眼坐标和第四层右眼坐标叠加得到第四层双眼坐标，即人眼的位置。同上，所述第七包围框的框选面积小于所述第五包围框的框选面积，所述第八包围框的框选面积小于所述第六包围框的框选面积，最终得到的人眼位置具有非常高的精度。

本发明中的人眼定位方法相对于现有技术而言卷积神经网络的个数更少，运行的速度更快。在此基础上，对左眼右眼分别单独进行预测，并且运用了更多的网络对其进行预测再平均，定位的精度更高。与此同时级联的层数增加到4层，卷积神经网络的个数由层数的增加而减少，在层数增加的基础上并没有使得网络的数量增加，这样可以在提高精确性的前提下不减少运行的速度。此外，本发明运用了libfacedetect人脸检测器相对于原技术的人脸检测器而言检测的精度与速度都有提高。

完成人眼定位并根据人眼的位置找到人眼后，将所述人眼转化为灰度图像，然后基于水平投影方法来判断人眼状态，所述人眼状态包括在时间窗为t的时间内人闭眼的次数，若基于水平投影方法不能确定所述人眼状态，则采用hough查找圆法来判断所述人眼状态。

所述水平投影方法是指：累加水平方向上边缘点个数，得到水平投影向量，在该水平投影向量中，若最大纵坐标(位于上眼睑中间位置)与最小纵坐标(位于下眼睑中间位置)的相差值足够小，则判断当前人眼状态为闭眼，这里所述的足够小是指最大纵坐标与最小纵坐标之间的距离小于眼睑阈值，所述眼睑阈值的范围在0.15w和0.25w之间，w为对应人眼灰度图像的宽度。若最大纵坐标(位于上眼睑中间位置)与最小纵坐标(位于下眼睑中间位置)的相差值没有足够小，则采用hough查找圆法来判断所述人眼状态。

所述hough查找圆法是指：根据不同人眼大小和距离摄像头远近的关系而造成的图像中眼睛的大小变化，选择半径变换范围，使用hough圆变换得到圆心位置和对应的半径，hough圆变换得到圆心位置和半径之后，统计圆周上是边缘点的数目和连续弧的边缘点数目，并保存在数组中，统计数组中超过1/2圆周的连续弧的数目x，统计数组中超过1/3圆周的连续弧的数目y，如果边缘点的数目大于等于20，并且x≥1或y≥2，判断为睁眼，否则判断为闭眼。

根据所述人眼状态，统计在时间窗为ti内闭眼次数n，获知闭眼总时间，然后根据整个时间窗的时间长度t即可获知在时间窗为t的时间内的perclos值。

将所述睡意程度分为清醒、疲倦和非常疲倦三种程度，所述清醒和所述疲倦的临界值为第一阈值，所述疲倦与所述非常疲倦的临界值为第二阈值，将perclos值大于第二阈值的用户的睡意程度判定为非常疲倦，将perclos值小于第一阈值的用户的睡意程度判定为清醒，将perclos值处于第一阈值和第二阈值之间的用户的睡意程度判定为疲倦。

获知所述第一阈值和所述第二阈值的方法为：

对10名专家进行培训(专家数目并不以此为限)，使10名所述专家深入学习和感知睡意程度的特征，所述的睡意程度的特征包括如闭眼、哈欠、点头等，根据所述的睡意程度的特征所表现出的精神程度，将所述睡意程度分为清醒、疲倦和非常疲倦三种程度。随后选取perclos值不同、时间窗t相同的若干段视频段落，所述若干段视频段落对应的perclos值为从0至0.95逐渐递增的若干离散数据(如：0、0.05、0.10、0.15、0.20、0.25、0.30、0.35、0.40、0.45、0.50、0.55、0.60、0.65、0.70、0.75、0.80、0.85、0.90和0.95)，t＝30s，所述专家根据睡意程度的特征对所述若干段视频段落的睡意程度进行评价，如表一所示：

表一

选取perclos值最大、睡意程度为清醒的视频段落与perclos值最小、睡意程度为疲倦的视频段落，将它们对应的perclos值平均后得到所述第一阈值，选取perclos值最大、睡意程度为疲倦的视频段落与perclos值最小、睡意程度为非常疲倦的视频段落，将它们对应的perclos值平均后得到所述第二阈值。

a2：得到用户睡意程度以及从开始到产生所述睡意程度的时间长短与用户需求之间的模糊关系。

本发明所述的基于睡意程度的服务机器人主动服务方法预设的开始时的所述睡意程度为清醒，用户睡意程度以及从开始到产生当前所述睡意程度的时间长短与用户需求之间的模糊关系如表二所示：

表二

n为无需求，l为需要一杯低浓度的咖啡或茶，m为需要一杯中浓度的咖啡或茶，h为需要一杯高浓度的咖啡或茶，d为从开始到产生当前所述睡意程度的时间小于2小时，c为从开始到产生当前所述睡意程度的时间大于或等于2小时，所述机器人根据睡意程度和时间所在横条中模糊关系最大的值所对应的用户需求主动为用户提供相应的服务。表二中的模糊关系根据统计和经验所得。

表二中，(非常疲倦c，m)＝0.8﹥(非常疲倦c，h)＝0.6，而(非常疲倦d，h)＝0.9﹥(非常疲倦d，m)＝0.6，是因为，当用户睡意程度同为非常疲倦时，从开始到产生该睡意程度的时间越短，说明用户睡意程度的增长速率越大。因此用户在短时间内就进入非常疲倦的状态时，用户需要浓度高的咖啡或茶对其的睡意进行抑制；若用户从开始到产生该睡意程度的时间较长,尤其是过了2小时(不以此为限)的转折点后，那么用户的睡意程度的增长速率较前者慢，从而用户只需要浓度中等的咖啡或茶即可对其的睡意进行抑制。从而使(非常疲倦c，m)＝0.8﹥(非常疲倦c，h)＝0.6且(非常疲倦d，h)＝0.9﹥(非常疲倦d，m)＝0.6。

提供的饮品除了咖啡和茶外，还可以是其他具有提神作用的饮品或者食品，具体的根据用户的喜好设定。

a3：机器人根据所述模糊关系，主动为用户提供相应的服务。

所述机器人中具有包含所述模糊关系和主动服务的服务矩阵，所述服务矩阵如表3所示：

表3

所述机器人获得所述模糊关系对应的用户需求后，根据所述服务矩阵为用户提供主动服务。

a4：通过模糊控制器实时获取接受所述机器人提供的相应服务后用户的睡意程度，然后跳回步骤a1。即所述模糊控制器具有追踪和反馈用户的所述睡意程度的作用。如：若测得用户的睡意程度为非常疲倦，从开始到产生该睡意程度的时间长度小于2小时，则首先所述机器人会给予用户一杯高浓度咖啡或茶。若随后用户的睡意程度降为清醒，则所述机器人无需再进行相应的服务；若用户的睡意程度降为疲倦，则所述机器人还需给予用户一杯中等浓度的咖啡或茶，如此类推，直至用户清醒或者停止作业。

本发明的实施例提供的技术方案带来的有益效果是：本发明所述的基于睡意程度的服务机器人主动服务方法，能够实时的识别用户的睡意程度，实时分析用户的服务需求，并根据用户需求提供主动、优质的服务，有助于提高用户的学习和工作效率。

在本文中，所涉及的前、后、上、下等方位词是以附图中零部件位于图中以及零部件相互之间的位置来定义的，只是为了表达技术方案的清楚及方便。应当理解，所述方位词的使用不应限制本申请请求保护的范围。

在不冲突的情况下，本文中上述实施例及实施例中的特征可以相互结合。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。