一种婴幼儿依恋类型自动预测系统及其预测方法与流程

本发明涉及计算机技术心理学分析领域，具体涉及一种婴幼儿依恋类型自动预测系统及其预测方法。

背景技术：

母婴互动是发展心理学研究中的重要内容，通过观察婴儿早期与母亲之间的互动行为，可以预测和分析婴儿的依恋类型。但是在以往的心理学研究中，通常是由经过培训的心理学研究人员通过婴儿两岁左右时的陌生人情境实验，进行多次观察和复杂编码才能得到婴儿对母亲的依恋类型，并且需要多名研究人员进行可信度校准，过程繁琐并且可信度不高，而且在两岁左右婴儿的依恋类型已经形成，很难再进行干预调节。此外，目前并没有除人工观察之外的、利用计算机技术来自动分析预测依恋类型的方法。

研究表明，婴儿在6个月左右时的静止脸(still-face)实验中的情绪表现和行为反应与之后的依恋类型间存在明显的相关性，并且结合测量母亲的敏感性和控制性，可以评测母婴交互的质量，预测依恋类型的发展趋势。

技术实现要素：

本发明提出了一种婴幼儿依恋类型自动预测系统及其预测方法，能够利用婴儿在6个月左右时的静止脸(still-face)的视频数据，以计算机视觉的分析方法，预测判断婴儿与照料者之间的依恋类型，解决当前方法中无法自动、快捷地分析婴儿依恋类型的问题。

本发明的一个目的在于提出一种婴幼儿依恋类型自动预测系统。

本发明的婴幼儿依恋类型自动预测系统包括：婴儿安全座椅、第一摄像机和计算机；其中，婴儿坐在婴儿安全座椅上，照料者面对婴儿；在婴儿和照料者的侧面设置第一摄像机，婴儿和照料者的整个身体位于第一摄像机的成像视野内；第一摄像机连接至计算机；照料者按照流程指示程序与婴儿进行互动，第一摄像机拍摄照料者与婴儿的互动行为，并将视频传输至计算机，得到视频数据；对视频数据采用卷积神经网络得到三维特征，经过矩阵运算得到一维序列特征，输入至预训练好的循环神经网络得到婴儿的依恋类型。

进一步，本发明还包括第二摄像机和第三摄像机，分别正对婴儿和照料者的脸部，拍摄婴儿和照料者的脸部的视频，第二和第三摄像机分别连接至计算机。

本发明的另一个目的在于提供一种婴幼儿依恋类型自动预测方法。

本发明的婴幼儿依恋类型自动预测方法，包括以下步骤：

1)设计流程指示程序；

2)预训练循环神经网络模型：

a)收集数据库，数据库包括多个婴儿与照料者的静止脸实验的视频数据作为训练样本数据，并且每一个训练样本数据标注有依恋类型标签；

b)对数据库中的训练样本数据利用卷积神经网络，经过多个卷积层加池化层运算，得到三维特征；

c)对三维特征经过矩阵运算，得到一维序列特征；

d)将一维序列特征输入到以长短期记忆lstm为基本单元的循环神经网络，得到输出结果；

e)将输出结果与训练样本数据所对应的真实的依恋类型标签相比较，调整循环神经网络的层数、连接方式、参数、损失函数和优化方式，重复步骤b)～d)，使得输出结果与真实的依恋类型标签的差异最小化，得到训练好的循环神经网络模型；

3)将被测试的婴儿放置在婴儿安全座椅上，照料者面对婴儿，在婴儿和照料者的侧面设置第一摄像机，婴儿和照料者的整个身体位于第一摄像机的成像视野内；

4)照料者按照流程指示程序与婴儿进行互动，第一摄像机拍摄照料者与婴儿的互动行为，并将视频传输至计算机，计算机得到视频数据；

5)对视频数据利用卷积神经网络，经过多个卷积层和池化层运算，得到三维特征；

6)对三维特征经过矩阵运算，得到一维序列特征；

7)对一维序列特征输入至预训练好的循环神经网络模型，得到被测试的婴儿的依恋类型结果。

其中，在步骤2)中，数据库中的训练样本数据的个数为35个以上。

在步骤2)的a)静止脸实验中，将明确依恋类型的婴儿放置在婴儿安全座椅上，照料者面对婴儿，在婴儿和照料者的侧面设置第一摄像机，婴儿和照料者的整个身体位于第一摄像机的成像视野内；照料者按照设计好的流程指示程序与婴儿进行互动，第一摄像机拍摄照料者与婴儿的互动行为，并将视频传输至计算机，计算机得到静止脸实验的视频数据作为训练样本数据，对训练样本数据标注依恋类型标签。

在步骤2)的e)中，连接方式为循环神经网络不同的隐藏层之间的输入与输出的连接关系；参数包括学习率、批次规模、训练轮数、循环神经网络隐藏层的个数以及训练集与测试集的比例；损失函数为用于评估输出结果与真实依恋类型标签之间的不一致程度的函数；优化方式为用于约束网络的训练过程，使得训练朝着损失函数最小化的方向发展。

在步骤4)中，照料者与被测试的婴儿的互动，与数据库中照料者与婴儿的互动的流程指示程序完全相同。

进一步，还包括第二摄像机和第三摄像机，分别正对婴儿和照料者的脸部，拍摄婴儿和照料者的脸部的视频。

本发明的优点：

本发明采用卷积神经网络及矩阵运算得到一维序列特征，训练循环神经网络得到训练好的循环神经网络模型，婴儿放置在婴儿安全座椅上，照料者面对婴儿，第一摄像机拍摄照料者按照流程指示程序与婴儿的互动行为的视频数据，利用卷积神经网络得到视频数据的三维序列特征，并经过矩阵运算得到一维序列特征，输入至预训练好的循环神经网络模型，得到婴儿的依恋类型；本发明能够节省现有技术中在婴儿依恋类型测试中所耗费的大量人工劳力和时间，并且不受场地、设备的限制，能够将此测试推广到家庭、社区中，使得父母能够尽早了解婴儿与照料者之间的依恋类型。

附图说明

图1为本发明的婴幼儿依恋类型自动预测系统的结构框图；

图2为本发明的婴幼儿依恋类型自动预测方法的流程图。

具体实施方式

下面结合附图，通过具体实施例，进一步阐述本发明。

如图1所示，本实施例的婴幼儿依恋类型自动预测系统包括：婴儿安全座椅、第一至第三摄像机和计算机；其中，婴儿坐在婴儿安全座椅上，照料者面对婴儿；在婴儿和照料者的侧面设置第一摄像机，婴儿和照料者的整个身体位于第一摄像机的成像视野内；第二摄像机和第三摄像机分别正对婴儿和照料者的脸部；第一至第三摄像机连接至计算机。

本实施例的婴幼儿依恋类型自动预测方法，如图2所示，包括以下步骤：

1)设计流程指示程序；

2)预训练循环神经网络模型：

a)收集数据库，数据库包括40个婴儿与照料者的静止脸实验的视频数据作为样本数据，并且每一个样本数据标注有依恋类型标签；在静止脸实验中，确定依恋类型的婴儿放置在婴儿安全座椅内，照料者面对婴儿，在婴儿和照料者的侧面设置第一摄像机，婴儿和照料者的整个身体位于第一摄像机的成像视野内，第二摄像机和第三摄像机分别正对婴儿和照料者的脸部，拍摄婴儿和照料者的脸部的视频，照料者按照设计好的流程指示程序的指导语，相应进行正确完整的与婴儿互动，第一、第二和第三摄像机采集互动行为的视频数据作为训练样本数据，对训练样本数据标注依恋类型标签；

b)对数据库中的样本数据利用视觉几何群网络(visualgeometrygroupnetwork)vgg模型网络，经过3～5个卷积层加池化层运算，得到三维特征，激活函数使用线性整流函数(relu函数)；

c)对三维特征经过矩阵运算，得到一维序列特征；

d)将一维序列特征输入到以lstm为基本单元的循环神经网络，得到输出结果；

e)将输出结果与样本数据所对应的真实的依恋类型标签相比较，调整循环神经网络的层数、连接方式、参数、损失函数和优化方式，循环神经网络的层数为3层，每个采样时刻的特征经过lstm单元后的输出都要输入到下一时刻的lstm单元中，参数中将学习率设为0.001，训练轮数为500，批次规模为24，循环神经网络隐藏层的个数为17，训练集与测试集的比例为6：4，将所有时刻lstm输出经过归一化指数函数层(softmax)后再计算出的交叉熵损失函数相加作为最终的损失函数，并使用梯度下降或者自适应矩估计(adam)等优化方式使得损失函数最小化，重复步骤b)～d)，使得输出结果与真实的依恋类型标签的差异最小化，得到训练好的循环神经网络模型，最终得到循环神经网络模型的测试准确率可以达到87％；

3)将被测试的婴儿放置在婴儿安全座椅上，并用座椅的背带固定以防挣脱，照料者面对婴儿，在婴儿和照料者的侧面设置第一摄像机，婴儿和照料者的整个身体位于第一摄像机的成像视野内，第二摄像机和第三摄像机分别正对婴儿和照料者的脸部，拍摄婴儿和照料者的脸部的视频，照料者按照设计好的流程指示程序的指导语；

4)照料者按照设计好的流程指示程序的指导语与婴儿进行互动，第一摄像机拍摄照料者与婴儿的互动行为，第二摄像机和第三摄像机分别拍摄婴儿和照料者的脸部的视频，并将视频传输至计算机，计算机得到视频数据；

5)对视频数据共采样17个时刻，对每个时刻的图像，利用卷积神经网络，经过5个卷积层和池化层运算，得到三维特征，每个时刻的特征维数为14×14×512；

6)对每个时刻的三维特征经过矩阵运算，得到一维序列特征，特征维数为1×512；

7)对一维序列特征输入至预训练好的循环神经网络模型，得到婴儿的依恋类型结果。

最后需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。