一种通过监测互动行为自动评估儿童社交能力的方法与流程

本发明涉及一种通过监测互动行为自动评估儿童社交能力的方法。

背景技术：

社交能力是儿童发展中需要大力培养的重要能力，但目前对儿童社交能力的评估只能依赖于教师或家长在长期观察后获得的模糊印象，而难以客观、及时地评估。本发明提出一种客观、定量、快速的评估方法，自动获取儿童游戏及日常沟通中的特点，利用人工智能算法评估儿童社交能力的各个维度。

儿童的社交能力是儿童从幼年就开始发展的一项重要能力。从儿童会说话开始，社会能力就开始发展，具体体现为与他人沟通的兴趣、能否清晰表达自己的意图、是否愿意听从他人的建议、是否能吸引他人的关注等。与我们熟知的语言、专注、逻辑运算等能力相比，社交能力更为高级和综合，对儿童的成长过程及成年后的事业、生活均有至关重要的影响。社交能力有缺陷的儿童难以从同伴中有效学习，难以适应社会、生活，事业可能遭受更多挫折；社交能力好且全面的儿童更能有效地从团体中学习、受到更多同伴和教师的关注和理解、更可能拥有幸福的生活和成功的事业。

但是，由于社交能力是综合能力，难以像专注、语言、逻辑运算、艺术特长等方面的能力一样通过简单手段测量。尽管心理学研究早已建立了社交能力的理论体系，但对儿童社交能力的测量方法却仅停留于主观观察的手段。在学术研究中，对儿童社会能力的测量通常是对录像的人工观察和评分，即在预先设计好的标准环境中让儿童进行预设好的游戏，事后由研究者根据典型行为对儿童的各方面行为进行评分。通常由两名及以上研究者独立评分，以减少评分者的主观偏差。在实践中，儿童社会能力通常由教师或家长通过长期观察和主观印象在问卷上评定，如班主任老师根据一年的观察，为每位儿童填写问卷，记录其典型行为的表现情况。

这些手段存在的缺陷是：1)主观性强：不同观察者对同一行为有不同的理解和评判标准，使得评估偏差很大；2)难以定量化比较：每个儿童获得的评分通常是个“等级”，因而难以定量化地比较，更难于确定儿童的社交能力是否正常，或者说距离所有人的普遍水平有多远；3)时效性低：儿童的能力发展非常迅速，某些能力具有“时间敏感期”。传统评估手段通常需要至少几个月的观察或数据分析才能获得初步结论，无法及时对儿童当下的发展状况给予反馈，有错过最佳干预时机的风险；4)难以大规模应用：传统方式对评估者的要求较高，评估者通常需要按照统一标准经过集中的理论和实操培训才能开展评估工作。教委要求幼儿园需要有经过培训的“儿童行为观察师”，但真正具备该资格的幼儿教师很少，这反映了培训评估者在实际操作中的施行难度。

技术实现要素：

本发明公开一套自动评估儿童社交能力的系统，以克服上述的传统评估方式的四个缺陷。该系统利用可穿戴设备收集儿童在游戏和日常沟通中的对话、动作、及距离数据，分析这些数据，并利用数学模型对儿童的社会能力进行客观、定量、及时地评估。

本发明通过以下技术方案来实现上述目的：

一种通过监测互动行为自动评估儿童社交能力的方法，包括个人传感器和服务器，个人传感器负责采集儿童在游戏和日常沟通中的语音、运动和距离数据，并将数据传输至服务器，服务器负责分析客户端传输的数据、通过运算评估每个儿童的社交能力，并提供结果反馈和可视化接口。

作为本发明的进一步优化方案，所述的个人传感器包括语音传感器模块、加速度传感器模块、陀螺仪模块、红外传感器模块、蓝牙传感器模块、数据存储模块、数据传输模块、中央控制模块、供电及充电保护模块；所述的服务器包括数据输入接口模块、语音数据处理模块、运动数据处理模块、距离数据处理模块、人际交互网络计算模块、数据输出接口、结果可视化模块。

作为本发明的进一步优化方案，所述的陀螺仪模块采样转动量，采样频率100hz，由标准陀螺仪芯片构成；所述的红外传感器模块为探测和传感器正面1m且在30°范围内的其他红外传感器，由红外编码发射和接收芯片构成；所述的蓝牙传感器模块为探测在5m范围内的其他蓝牙传感器模块，由低功耗蓝牙芯片构成；所述的数据存储模块能够存储各传感器模块采集的数据，由标准tf卡及读写芯片构成；所述的数据传输模块能够通过wifi设备向服务器传输数据，由wifi天线及控制芯片构成，网络传输协议采用udp协议；所述的中央控制模块：控制各模块的采样和数据的存储和传输，由微处理器构成；所述的供电及充电保护模块能够提供电源；

所述的数据输入接口模块包含一个数据库及相应的数据接口，或以用户组为单位对每一个客户端的数据进行管理，校验每一组内各客户端数据的完整性和时间一致性，经过完整性校验的用户组，其数据将分别传递给不同数据处理模块；所述的语音数据处理模块能够对用户组中的每个用户的语音数据分别计算，提取语音学特征和情绪状态特征，将特征集作为个人语音特征输出；所述的运动数据处理模块为处理用户组中的每个用户的加速度传感器和陀螺仪数据，从以上数据中提取运动特征，并计算情绪唤醒度特征，将以上特征集作为个人运动特征输出；所述的距离数据处理模块能够处理个人传感器中的红外传感器模块和蓝牙传感器模块上传的数据；依据蓝牙传感器检测到的附近的其他个人传感器的蓝牙标识码来判别儿童是否在同一个空间，依据红外传感器接收到的其他个人传感器的红外标识码判别儿童是否处于面对面的状态；所述的人际互动网络计算及社会性特质评估模块为利用语音数据处理模块输出的个人语音特征，运动数据处理模块输出的个人运动特征，及距离数据处理模块输出的人际距离数据构建人际互动网络；所述的数据输出接口能将人际互动网络计算及社会性特质评估模块的输出以标记语言形式输出，并保存至数据库，用户可通过网络api查询；所述的结果可视化模块能将人际互动网络计算及社会性特质评估模块的输出生成动态网页，以图表形式可视化，供用户通过电脑或手机的网路浏览器查看。

作为本发明的进一步优化方案，所述的语音数据处理模块的计算步骤依次为：

步骤一：截取有效时间段：根据数据输入接口模块传入的开始和结束时间戳截取有效数据段；

步骤二：重采样：对有效数据段进行重采样，使其采样频率为8000hz；

步骤三：语音端点检测：自动检测语音的起始和截止点；实现和应用sohn等人2001年公开发表的语音端点检测算法；其输出为语音端点数据，即每一段语音的起始和结束时刻；

步骤四：语音段长度统计：计算语音段的平均长度、标准差、信息熵、随时间的变化趋势；各语音段的长度由语音端点检测算法判定的起始和结束时刻的差值计算；

步骤五：音色变化统计：计算各语音段的音色特征及其平均值、标准差、信息熵，音色的随时间的变化趋势。音色特征由12个频段的功率谱量化；

步骤六：音调变化统计：计算各语音段的音高特征及其平均值，标准差、信息熵，音调特征随时间的变化趋势；音高特征以基频量化；

步骤七：情绪状态判别：根据音色和音调变化判别儿童情绪唤醒度的变化趋势。情绪唤醒度依据音调的变化、音色变化和音量变化计算。

作为本发明的进一步优化方案，所述的运动数据处理模块的计算步骤依次为：

步骤一：截取有效时间段：根据数据输入接口模块传入的开始和结束时间戳截取有效数据段；

步骤二：滤波：对运动数据进行滤波，去除高频分量和低频漂移后，将数据划分为长度为1分钟的数据段；

步骤三：运动能量计算：计算各段数据的运动能量，以各方向加速度的平方和量化；

步骤四：大幅运动检测：检测各方向的大幅度运动，以加速度向量在1秒内的积分量化；

步骤五：情绪唤醒度计算：依据运动能量和大幅运动测量预测情绪唤醒度；

步骤六：个人运动特征：将运动能量、大幅运动、及情绪唤醒度作为个人运动特征输出。

作为本发明的进一步优化方案，所述的人际互动网络计算及社会性特质评估模块的计算步骤依次为：

步骤一：个人状态量化：依据输入数据判别个人在不同时刻的状态，分为4种状态：沉默低唤醒、沉默高唤醒、说话低唤醒、说话高唤醒；

步骤二：拟合人际互动模型：用所有人的状态变化数据拟合人际互动模型，估算所有人之间的相互影响及所有人之间的相互响应关系；

步骤三：个人角色和影响力计算：依据所有人之间的相互影响及所有人之间的相互响应关系计算个人在互动中的角色和对其他人的影响力指标；

步骤四：个人社会性特质评估：依据个人在互动中的角色、对其他人的影响力指标及个人语音特征预测个人社会性特质，分为社交能力总分、领导去向、工作取向、自主、共处、行动、依赖、情绪八个维度。

作为本发明的进一步优化方案，所述的个人传感器的数量为一个或一个以上。

本发明的有益效果是：

该系统可替代传统的儿童社会能力评估方法，避免传统方法的客观性低、定量能力弱、时效性低等缺陷，为评估儿童社会能力提供科学、易用、可大规模应用的方案。

附图说明

图1是本发明的语音数据处理模块的工作原理图；

图2是本发明的运动数据处理模块的工作原理图；

图3是本发明的人际互动网络计算及社会性特质评估模块的工作原理图；

图4是本发明的结构示意图。

具体实施方式

下面结合附图对本发明作进一步说明：

如图1-图4所示，一种通过监测互动行为自动评估儿童社交能力的方法，包括个人传感器和服务器，个人传感器负责采集儿童在游戏和日常沟通中的语音、运动和距离数据，并将数据传输至服务器，服务器负责分析客户端传输的数据、通过运算评估每个儿童的社交能力，并提供结果反馈和可视化接口。

所述的个人传感器包括语音传感器模块、加速度传感器模块、陀螺仪模块、红外传感器模块、蓝牙传感器模块、数据存储模块、数据传输模块、中央控制模块、供电及充电保护模块；所述的服务器包括数据输入接口模块、语音数据处理模块、运动数据处理模块、距离数据处理模块、人际交互网络计算模块、数据输出接口、结果可视化模块。

所述的陀螺仪模块采样转动量，采样频率100hz，由标准陀螺仪芯片构成；所述的红外传感器模块为探测和传感器正面1m且在30°范围内的其他红外传感器，由红外编码发射和接收芯片构成；所述的蓝牙传感器模块为探测在5m范围内的其他蓝牙传感器模块，由低功耗蓝牙芯片构成；所述的数据存储模块能够存储各传感器模块采集的数据，由标准tf卡及读写芯片构成；所述的数据传输模块能够通过wifi设备向服务器传输数据，由wifi天线及控制芯片构成，网络传输协议采用udp协议；所述的中央控制模块：控制各模块的采样和数据的存储和传输，由微处理器构成；所述的供电及充电保护模块能够提供电源；

所述的数据输入接口模块包含一个数据库及相应的数据接口，或以用户组为单位对每一个客户端的数据进行管理，校验每一组内各客户端数据的完整性和时间一致性，经过完整性校验的用户组，其数据将分别传递给不同数据处理模块；所述的语音数据处理模块能够对用户组中的每个用户的语音数据分别计算，提取语音学特征和情绪状态特征，将特征集作为个人语音特征输出；所述的运动数据处理模块为处理用户组中的每个用户的加速度传感器和陀螺仪数据，从以上数据中提取运动特征，并计算情绪唤醒度特征，将以上特征集作为个人运动特征输出；所述的距离数据处理模块能够处理个人传感器中的红外传感器模块和蓝牙传感器模块上传的数据；依据蓝牙传感器检测到的附近的其他个人传感器的蓝牙标识码来判别儿童是否在同一个空间，依据红外传感器接收到的其他个人传感器的红外标识码判别儿童是否处于面对面的状态；所述的人际互动网络计算及社会性特质评估模块为利用语音数据处理模块输出的个人语音特征，运动数据处理模块输出的个人运动特征，及距离数据处理模块输出的人际距离数据构建人际互动网络；所述的数据输出接口能将人际互动网络计算及社会性特质评估模块的输出以标记语言形式输出，并保存至数据库，用户可通过网络api查询；所述的结果可视化模块能将人际互动网络计算及社会性特质评估模块的输出生成动态网页，以图表形式可视化，供用户通过电脑或手机的网路浏览器查看。

所述的语音数据处理模块的计算步骤依次为：

步骤一：截取有效时间段：根据数据输入接口模块传入的开始和结束时间戳截取有效数据段；

步骤二：重采样：对有效数据段进行重采样，使其采样频率为8000hz；

步骤三：语音端点检测：自动检测语音的起始和截止点；实现和应用sohn等人2001年公开发表的语音端点检测算法；其输出为语音端点数据，即每一段语音的起始和结束时刻；

步骤四：语音段长度统计：计算语音段的平均长度、标准差、信息熵、随时间的变化趋势；各语音段的长度由语音端点检测算法判定的起始和结束时刻的差值计算；

步骤五：音色变化统计：计算各语音段的音色特征及其平均值、标准差、信息熵，音色的随时间的变化趋势。音色特征由12个频段的功率谱量化；

步骤六：音调变化统计：计算各语音段的音高特征及其平均值，标准差、信息熵，音调特征随时间的变化趋势；音高特征以基频量化；

步骤七：情绪状态判别：根据音色和音调变化判别儿童情绪唤醒度的变化趋势。情绪唤醒度依据音调的变化、音色变化和音量变化计算。

所述的运动数据处理模块的计算步骤依次为：

步骤一：截取有效时间段：根据数据输入接口模块传入的开始和结束时间戳截取有效数据段；

步骤二：滤波：对运动数据进行滤波，去除高频分量和低频漂移后，将数据划分为长度为1分钟的数据段；

步骤三：运动能量计算：计算各段数据的运动能量，以各方向加速度的平方和量化；

步骤四：大幅运动检测：检测各方向的大幅度运动，以加速度向量在1秒内的积分量化；

步骤五：情绪唤醒度计算：依据运动能量和大幅运动测量预测情绪唤醒度；

步骤六：个人运动特征：将运动能量、大幅运动、及情绪唤醒度作为个人运动特征输出。

所述的人际互动网络计算及社会性特质评估模块的计算步骤依次为：

步骤一：个人状态量化：依据输入数据判别个人在不同时刻的状态，分为4种状态：沉默低唤醒、沉默高唤醒、说话低唤醒、说话高唤醒；

步骤二：拟合人际互动模型：用所有人的状态变化数据拟合人际互动模型，估算所有人之间的相互影响及所有人之间的相互响应关系；

步骤三：个人角色和影响力计算：依据所有人之间的相互影响及所有人之间的相互响应关系计算个人在互动中的角色和对其他人的影响力指标；

步骤四：个人社会性特质评估：依据个人在互动中的角色、对其他人的影响力指标及个人语音特征预测个人社会性特质，分为社交能力总分、领导去向、工作取向、自主、共处、行动、依赖、情绪八个维度。

所述的个人传感器的数量为一个或一个以上。

最后所应说明的是：以上实施例仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应该理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。