一种基于社交逻辑的反应性社交微笑事件检测系统的制作方法

本发明涉及视线估计技术和表情识别领域，尤其涉及一种基于社交逻辑的反应性社交微笑事件检测系统。

背景技术：

1、孤独症谱系障碍(autism spectrum disorder，asd)，又称自闭症，是一种广泛性的发育障碍，其最主要的病理表征为：缺乏应有的社交行为，兴趣狭窄，存在重复刻板行为。其发病率逐渐增长，中国的患病率保守估计为1/100，美国甚至达到了1/44。孤独症发病原名尚不明晰，无法完全治愈，也无特效药物治疗，以行为干预为主要的治疗手段，且行为干预介入越早，治疗效果越好。但是，孤独症早期发病特征不明显，潜在患儿的日常社交异样不易被父母或者其他监护人察觉，待到发觉时，往往已经耽误了早期行为干预介入的黄金时期，因此孤独症早期筛查工具和技术至关重要。

2、目前最有效和常用的孤独症筛查和诊断技术是行为学分析，研究人员进行了大量社交互动与孤独症病理表征之间联系的认知实验，找出了一系列孤独症人群异于正常人的社交方式，作为临床筛查和诊断社交缺陷的症状依据。社交行为是在个人成长发育阶段不断形成和扩充的，较晚形成的社交行为可以作为分析成年孤独症患者社交缺陷的症状依据，但用于筛查和诊断婴幼儿时期的潜在患儿是不具备临床效力的，只有那些在早期发育阶段就出现的最典型的社交行为才能够作为早期筛查的症状依据。

3、在早期发育阶段，婴幼儿就会使用表情和视线注意力这两大核心社交手段与他人进行社交互动。研究表明在婴幼儿时期(6个月)，幼儿就会通过注视和微笑回应来自父母(其他照顾者)的微笑刺激，称之为反应性社交微笑。然而，这种共情能力不会出现在患有孤独症的婴幼儿身上，因此反应性社交微笑一直作为孤独症早期筛查和诊断的一个重要临床症状依据。

4、目前“反应性社交微笑”的评估主要是由专业医生与患儿进行1-2小时的多场景社交互动，并时刻关注儿童对其微笑刺激的回应情况(是否回以微笑)。临床人工筛查诊断过程中，专业医生往往是同时兼顾多个社交行为的评估，越是基础和典型的社交行为(比如，反应性社交微笑)，其出现频率越高，医生也要投入更多精力留心观察，这就导致劳动力成本大，诊断主观性强，诊断结果的有效性严重依赖医生的专业水平。

5、除了人工评估，也存在一些机器自动评估“反应性社交微笑”症状的系统和方法。由机器人或者医生发起特定的社交刺激(拟人化表情刺激，特定语音刺激)，借由摄像头捕捉儿童的面部表情，利用表情识别算法分析受试儿童是否产生微笑回应。由机器人生成拟人化微笑刺激和真人发起的微笑刺激存在差别，可能无法有效的诱发出受试儿童“反应性社交微笑”症状。另一类方法中的社交过程仍然由医生完成，机器只完成评估过程，该方法具体如下：医生发起特定几类语音刺激，借由摄像头捕捉儿童的面部表情，利用表情识别算法分析受试儿童是否产生微笑回应。

6、现有的“反应性社交微笑”评估技术基本上采用开环评估，仅包含如下两个阶段，即a).先检测医生发起刺激的时刻，c).旋即再去检测儿童是否微笑回应；缺少如下两个阶段：b).检测儿童是否接收到医生发起的刺激，d).检测医生和儿童该轮次社交(此处特指“反应性社交微笑”)何时结束。现有技术的开环评估方法将步骤b理想化，即认为只要医生发起刺激，儿童就能准确接受，显然真实情景下自闭症儿童不会时刻配合，因此有部分无回应案例可能是因为b步骤就不成立；另外，现有技术的开环方法预设社交刺激发起的次数多和间隔时长(4-6次，间隔30秒)，以此规避由“反应性社交微笑”持续时长有差异而导致的重叠问题。

7、因此，本领域的技术人员致力于开发一种基于社交逻辑的反应性社交微笑事件检测系统。

技术实现思路

1、有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是针对现有技术中的开环评估存在的有效性和适用性问题，基于“反应性社交微笑”的社交逻辑，构建完整的闭环评估方法，提高“反应性社交微笑”评估有效性和适用性。

2、为实现上述目的，本发明提供了一种基于社交逻辑的反应性社交微笑事件检测系统，其特征在于，所述反应性社交微笑为通过注视和微笑回应来自他人的微笑刺激，所述系统包括社交互动范式定义模块、图像采集平台模块和视觉算法分析模块，其中，

3、所述社交互动范式定义模块，将一个完整的所述反应性社交微笑定义为一个社交事件，所述社交事件包括刺激发起阶段、等待回应阶段和事件结束阶段；

4、所述图像采集平台模块，包括教具和多摄像头传感器，用于捕捉所述社交事件中的正面人脸图像信息；

5、所述视觉算法分析模块，对所述图像采集平台模块采集的所述图像信息进行社交特征提取，并完成社交逻辑判断。

6、进一步地，所述刺激发起阶段包括三个子条件：第一子条件、第二子条件和第三子条件，所述第一子条件为医生注视着儿童，所述第二子条件为所述医生微笑，所述第三子条件为所述儿童注视着所述医生，所述三个子条件设置有不同的优先级，所述第一子条件优先级最高，所述第二子条件优先级次高，所述第三子条件优先级最低，当所述三个子条件同时满足时，一个新的所述反应性社交微笑事件被触发。

7、进一步地，所述等待回应阶段为当所述儿童看到所述医生微笑后，所述儿童采用如下回应方式中的一种方式回应：看着所述医生微笑、继续注视着所述医生但始终不笑、视线转移并微笑、视线转移但不微笑。

8、进一步地，在所述事件结束阶段，当所述三个子条件不再同时满足，本轮次的所述反应性社交微笑事件进入结束倒计时并结束，当多个所述子条件不再满足时，以优先级最高的为准，并且会继承前一所述子条件完成的倒计时时长。

9、进一步地，在所述事件结束阶段，当所述第一子条件不再满足时，所述反应性社交微笑事件立即结束；当所述第二子条件不再满足时，所述反应性社交微笑事件将在1.5-2s时间内结束；当所述第三子条件不再满足时，所述反应性社交微笑事件将在3-4s时间内结束。

10、进一步地，所述教具包括：桌子、凳子和多种玩具，所述多摄像头传感器包括两个rgb相机，所述相机斜侧面布置，用于捕捉所述儿童和所述医生的正面人脸信息，确保捕捉到的人脸角度不超过±45°。

11、进一步地，所述社交特征提取对录制的视频逐帧提取所述儿童和所述医生的视线和表情，包括如下步骤：

12、s1：按时间顺序提取rgb0和rgb1视频的一帧图像；

13、s2：对所述图像使用人脸检测，得到人脸框；

14、s3：对所述儿童进行视点估计，得到所述儿童是否注视着所述医生；

15、s4：对所述医生进行视点估计，得到所述医生是否注视着所述儿童；

16、s5：获取所述儿童和所述医生的正面人脸，进行微笑表情识别；

17、s6：分别使用包含两个状态变量的状态向量表达每一时刻所述儿童和所述医生的状态，

18、v＝[s，a]，

19、其中：s为微笑状态，0：没有微笑，1：微笑；a为注视状态，0：没有注视，1：注视。

20、进一步地，在所述步骤s3中，采用视点估计算法判断所述儿童是否注视着所述医生，所述视点估计算法以img0和为输入，输出所述儿童的视线注意点坐标通过判断是否落在所述医生人脸区域得到所述儿童是否注视着所述医生；

21、其中，img0为从rgb0获取的一帧图像，和为对img0进行人脸检测得到的人脸框，为医生人脸框，为儿童人脸框，x-方框中心点x坐标，y-方框中心点y坐标，w-方框的宽，h-方框的高，下标a表示注意力，上标1代表医生，上标2代表儿童。

22、进一步地，在所述步骤s4中，采用所述视点估计算法判断所述医生是否注视着所述儿童，所述视点估计算法以img1和为输入，输出所述医生的视线注意点坐标通过判断是否落在所述儿童人脸区域得到所述医生是否注视着所述儿童；

23、其中，img1为从rgb1获取的一帧图像，和为对img1进行人脸检测得到的人脸框，为医生人脸框，为儿童人脸框，x-方框中心点x坐标，y-方框中心点y坐标，w-方框的宽，h-方框的高，下标a表示注意力，上标1代表医生，上标2代表儿童。

24、进一步地，所述社交逻辑判断通过预设宽度的时间窗统计所述儿童和所述医生的状态信息，根据事件起始区间内所述儿童状态评估所述儿童在所述反应性社交微笑评估中的表现，其中，

25、一个时间窗内的所述医生状态为：

26、

27、一个时间窗内的所述儿童状态为：

28、

29、其中，s为微笑状态，a为注视状态，w为预设宽度，为25帧，移动步长r＝0.2*w，初始时刻t＝0，微笑阈值thresholds＝0.7*w，注视阈值thresholda＝0.7，v1为医生状态，v2为儿童状态，当s医生＞thresholds且a医生＞thresholda且a儿童＞thresholda时，一个新的反应性社交微笑事件被触发。

30、在本发明的较佳实施方式中，相对于现有技术，本发明具有如下有益效果：

31、1、本发明基于“反应性社交微笑”的社交逻辑，构建完整的闭环评估，包括完整“反应性社交微笑”社交事件的四个阶段，提高了“反应性社交微笑”评估的有效性；

32、2、本发明通过闭环检测每次“反应性社交微笑”从开始到结束的完整过程，可以自适应检测任意时刻发生的具有任意持续时长的“反应性社交微笑”，无需预设社交刺激发起的次数和间隔时长，可以避免开环检测中由于“反应性社交微笑”持续时长有差异而导致的重叠问题，提高了检测方法的适用性。

33、以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。