一种评测动作行为状态的方法及装置与流程

本发明涉及用户行为数据处理技术领域，具体而言，涉及一种评测动作行为状态的方法及装置。

背景技术

动作行为是指人们的肢体动作和一种导致某种结果的行为，我们的动作和行为在我们成长发育的阶段是会有异常的现象存在的，比如：运动发育是否正常，精神运动性兴奋或者抑制，多动症等，严重的攻击行为、破坏行为、自残行为等都会对自身和他人的生命财产安全带来一定的威胁。提早对儿童进行动作行为检测与分析是很有必要的。

技术实现要素：

有鉴于此，本发明的目的在于提供一种评测动作行为状态的方法和装置，以检查儿童是否发育正常以及被检测人是否存在动作行为异常。

第一方面，本发明实施例提供了一种评测动作行为状态的方法，其中，包括：

获取动作行为评测方案；

基于所述动作行为评测方案，向用户输出引导指令，并采集用户响应引导指令所作出的响应行为；动作行为评测方案是根据用户基础信息确定的，所述用户基础信息包括以下的至少两个：年龄、性别、身高和体重；

根据用户的响应行为，确定用户的评测结果；所述评测结果包括：粗大运动、精细运动、协调性精神运动兴奋、不协调性精神运动兴奋、木僵、蜡样屈曲、是否沉默不语、对他人命令是否抵制、是否会不自觉模仿他人、能否模仿他人动作、多动、冲动、刻板动作、作态、破坏行为、攻击行为、自残行为、强迫动作、自杀行为、不自主运动、排尿、排便、性自慰行为、拔毛行为、目光回避、拒绝拥抱或爱抚、仪式行为，所测评测结果综合上述方向来综合评测动作行为正常与否。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述动作行为评测方案包括评测动作行为场景方案和评测动作行为采集方案；

所述评测动作行为场景方案包括场景参与形式、场景主题和场景道具；所述场景参与形式包括陪同或独立参与；

所述评测动作行为采集方案包括以下任意一个或多个：视频采集、音频采集和传感器信号采集；

或，所述评测动作行为采集方案包括：肢体动作采集。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，根据用户的响应行为，确定用户的评测结果包括：

通过视频采集设备生成用户行为视频；

根据用户行为视频中图片与参考图片的相似度确定用户的肢体动作变化情况和面部表情变化情况；

所述参考图片是预先存储在处理器中的；

根据用户的肢体动作变化情况确定用户的评测结果。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，根据用户的响应行为，确定用户的评测结果包括：

通过不同角度的摄像头获取用户的响应行为，以生成多个用户行为视频；

将多个用户行为视频转换为静态图片组；

将静态图片组压缩，得到第一图片组；

按照预定的灰度阈值对压缩后的图片进行灰度化，得到第二图片组；

对比第二图片组中的每一帧图片与每一帧参考图片的灰度等级，得到两幅图片灰度等级不同的像素点数目；

计算第二图片组中的每一帧图片总体灰度差异平均数，所述总体灰度差异平均数为第二图片组中每张图片的灰度差异平均数的总和除以第二图片组中图片的的总数；所述灰度差异平均数为灰度等级不同的像素点数目的总和除以参考图片数量的结果；

根据设定的相似度等级划分规则，获取总体灰度差异平均数所对应的图片相似度；

根据图片相似度确定用户的肢体动作变化情况；

根据用户的肢体动作变化情况确定用户的评测结果。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，

所述动作行为评测方案，包括在陪同或独立的场景内，测试对于测试员的命令用户执行的程度；

所述视频采集设备设置在场景内不同角度的位置，用于采集用户在测试项目不同时不同角度下的身体动作；

所述声音播放设备设置在场景内不同角度的位置，用于播放音频提示，以引导用户在场景内的行为；

所述视频播放设备设置在场景内不同角度的位置，用于播放视频提示，以引导用户在场景内的行为；

动作行为评测方案包括：

用户在陪同或独立的情况下，测试对于测试员的命令用户执行的程度；

声音播放设备和视频播放设备用于给用户提供提示；视频采集设备用于采集用户在测试过程中的身体动作。

第二方面，本发明实施例还提供了一种评测动作行为状态的装置，应

用于如权利要求1-5任一项所述的方法，其特征在于，该装置包括：

交互屏、评测室主体和设置在评测室主体上的采集模块、提示模块和

处理器，处理器分别与采集模块、提示模块、交互屏电性连接；

所述采集模块用于采集评测室主体内的用户响应引导指令所作出的响应行为，并将采集到的响应行为发送到处理器；

所述提示模块用于向评测室主体内的用户发出引导指令；

所述处理器，用于按照如权利要求1-5任一项所述的方法执行相应的动作；

所述交互屏，用于人机交互。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述采集模块包括视频采集设备，和/或传感器采集设备；

所述提示模块包括声音播放设备，和/或视频播放设备；

所述视频采集设备包括摄像头、录像机和图像传感器；

所述声音播放设备包括广播、音箱和扬声器；

所述视频播放设备包括电视机、电脑和交互屏；

所述传感器采集设备包括光敏传感器、声敏传感器、气敏传感器、化学传感器；

所述交互屏包括主交互屏和辅助交互屏，主交互屏用于根据系统提供的问题，与用户进行人机交互；辅助交互屏用于辅助人机交互。

结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述评测室主体由设置在四个角落的采集柱支撑，以使评测室保持立体结构；

采集模块，用于采集用户的音视频；

提示模块，用于给用户提供帮助；

其中，所述采集模块和所述提示模块均设置在采集柱上；

所述采集柱上设置有滑轮，采集模块和提示模块可沿滑轮从评测室主体顶面板朝评测室底面板的方向滑动。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述评测室主体上还设置虚拟现实模块，所述虚拟现实模块用于构建用户在评测室内的数据交互。

结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中，所述评测室四周由自动幕布围成，自动幕布可为卷轴或者平拉。

本发明实施例提供的一种评测动作行为状态的方法和装置，采用获取用户基础信息来构建动作行为评测方案，并引导用户做出响应，并采集用户的响应行为，进行分析得出用户的动作行为评测结果，即对温度、触觉和痛觉有没有反应。与现有技术中的人工评测相比，其更适配于待评测用户，并可以根据用户个人情况生成用户个性化的动作行为评测方案，更易得出较为准确的评测结果。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的一种评测动作行为状态的方法的流程图；

图2示出了本发明实施例所提供的另一种评测动作行为状态的方法的流程图；

图3示出了本发明实施例所提供的一种评测动作行为状态的装置的结构示意图；

图4示出了本发明实施例所提供的一种评测动作行为状态的装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对动作行为的检查在现实中非常普遍，检查过程绝大多数以人工检查为主，得到的检测结果一般是直接基于即可得到的结果，并且很少以年龄、性别等基础信息对用户进行区分检测。针对该种情况，申请人提供了一种进行评测动作行为状态的方法。

如图1所示，包括：

s101，获取动作行为评测方案；

s102，基于动作行为评测方案，向用户输出引导指令，并采集用户响应引导指令所作出的响应行为；动作行为评测方案是根据用户基础信息确定的，用户基础信息包括以下的至少两个：年龄、性别、身高和体重；

s103，根据用户的响应行为，确定用户的评测结果；所述评测结果包括：粗大运动、精细运动、协调性精神运动兴奋、不协调性精神运动兴奋、木僵、蜡样屈曲、是否沉默不语、对他人命令是否抵制、是否会不自觉模仿他人、能否模仿他人动作、多动、冲动、刻板动作、作态、破坏行为、攻击行为、自残行为、强迫动作、自杀行为、不自主运动、排尿、排便、性自慰行为、拔毛行为、目光回避、拒绝拥抱或爱抚、仪式行为，所测评测结果综合上述方向来综合评测动作行为正常与否。

其中，本申请实施例是根据不同测试项目选取不同的测试对象，对于运动发育选取的0-12个月的儿童，对于行为异常选取的12-24个月。

获取动作行为评测方法首先要获取动作行为评测方案，动作行为评测方案包括评测动作行为场景方案和评测动作行为采集方案；

评测动作行为场景方案包括场景参与形式、场景主题和场景道具；场景参与形式包括陪同或独立参与；

评测动作行为采集方案包括以下任意一个或多个：视频采集、音频采集和传感器信号采集；

或，评测动作行为采集方案包括以下一个或多个：肢体动作采集和面部表情采集。

其中，动作行为场景方案主要是建立对动作行为测试的相应反应行为与场景的对应关系，包含建立对应行为与场景设定元素的对应关系，场景设定元素包含场景适应年龄段、场景参与者、场景主题、场景形式、场景道具等的对应关系；包含建立对应行为与场景设定的对应关系，场景设定包含适应年龄段、人与人的设定、人与物的设定、行为与流程内容的对应关系。场景适应年龄段是根据用户输入的用户基础信息确定的，根据不同的年龄段确定不同的动作行为场景方案。场景参与形式包括陪同或独立参与。场景的参与者包括用户，以及用户的陪伴者，当用户是完全民事行为能人时，则可以独自参与动作行为评测；当用户是限制民事行为能力人或者无民事行为人时，需要在监护人的陪同下进入评测场景参与动作行为评测。场景主题为动作行为检测。所述场景道具包括各种玩具。场景形式可以是真实或者虚拟，可以利用虚拟现实来实现用户的动作行为评测。

动作行为采集方案就是根据动作行为评测方案生成的如何采集用户信息的方案。针对用户在场景中的行为，建立对用户肢体动作、语音语调和面部表情等的采集方案。动作行为采集方案包括以下任意一个或多个：视频采集、音频采集和传感器信号采集，或者动作行为采集方案包括以下一个或多个：肢体动作采集和面部表情采集。传感器信号采集所使用的传感器包括光敏传感器、气敏传感器、化学传感器、压敏传感器、温敏传感器以及流体传感器等。

视频采集和肢体动作的采集可以通过视频采集设备采集，同时也可以利用传感器来采集用户的各种行为反应。通过视频采集设备生成用户行为视频，根据用户行为视频中图片与参考图片的相似度确定用户的肢体动作变化情况。参考图片是预先存储在处理器中的，参考图片记录用户在进行项目测试的过程中可能出现的肢体动作和面部表情，比如，当由蹲站起时，是否需要手扶身旁物品，站立后是否能保持平衡；当需要保持同一个姿势时能坚持的时长，其它例子与此相似，不再赘述。将这些图片作为参考图片预先存储在处理器中，与采集设备或传感器采集到的图片作对比，可以得到用户对动作行为异常的结果。对于用户的语音语调也同样处理，将参考音频预先存储在处理器中，如用户很完成测试员指令时会发出愉快的欢笑等，其它例子与此相似，不再赘述。根据用户的肢体动作变化情况确定用户的评测结果，根据用户的响应行为，确定用户的评测结果包括：通过视频采集设备生成用户行为视频，根据用户行为视频中的视频图片与参考视频图片的相似度确定用户的肢体动作变化情况，参考视频图片是预先存储在处理器中的，根据用户的肢体动作变化情况确定用户的评测结果。

根据用户的响应行为，确定用户的评测结果包括：

通过视频采集设备生成用户行为视频；

根据用户行为视频中图片与参考图片的相似度确定用户的肢体动作变化情况；

参考图片是预先存储在处理器中的；

根据用户的肢体动作变化情况确定用户的评测结果；

将采集到的视频信息经过处理器的分析即可得到最后的评测结果，通过不同角度的摄像头获取用户的响应行为，以生成多个用户行为视频，安装在不同角度的摄像头可以将用户的所用行为进行不同角度的拍摄，将多个用户行为视频转换为静态图片组，将静态图片组压缩，得到第一图片组，将压缩后的图片灰度化(灰度阈值为60)，得到第二图片组，对比第二图片组中的每一帧图片与每一帧参考图片的灰度等级，得到两幅图片灰度等级不同的像素点数目，计算第二图片组中的每一帧图片总体灰度差异平均数，所述总体灰度差异平均数为第二图片组中每张图片的灰度差异平均数的总和除以第二图片组中图片的的总数，所述灰度差异平均数为灰度等级不同的像素点数目的总和除以参考图片数量的结果，根据设定的相似度等级划分规则，获取总体灰度差异平均数所对应的图片相似度，根据图片相似度确定用户的肢体动作弧线和面部表情变化情况，相似度越高，说明采集到的用户视频图片与参考图片的重合度越高，即可判断出用户的反应情况。

根据用户的响应行为，确定用户的评测结果还包括：

通过不同角度的摄像头获取用户的响应行为，以生成多个用户行为视频；

将多个用户行为视频转换为静态图片组；

将静态图片组压缩，得到第一图片组；

按照预定的灰度阈值对压缩后的图片进行灰度化(灰度阈值为60)，得到第二图片组；

对比第二图片组中的每一帧图片与每一帧参考图片的灰度等级，得到两幅图片灰度等级不同的像素点数目；

计算第二图片组中的每一帧图片总体灰度差异平均数，所述总体灰度差异平均数为第二图片组中每张图片的灰度差异平均数的总和除以第二图片组中图片的的总数；所述灰度差异平均数为灰度等级不同的像素点数目的总和除以参考图片数量的结果；

根据设定的相似度等级划分规则，获取总体灰度差异平均数所对应的图片相似度；

根据图片相似度确定用户的肢体动作变化情况；

根据用户的肢体动作变化情况确定用户的评测结果；

动作行为评测方案，包括在陪同或独立的场景内，测试在测试项目进展不同时用户的反应，视频采集设备设置在场景内不同角度的位置，用于采集用户在听到测试员命令后的身体动作，用户在进行测试时的身体动作，声音播放设备设置在场景内不同角度的位置，用于播放音频提示，以引导用户在场景内的行为，视频播放设备设置在场景内不同角度的位置，用于播放视频提示，以引导用户在场景内的行为。

本申请所提供的方法中，步骤s103包括如下步骤：

将用户的响应行为输入到评测模型中，以使模型输出评测结果；其中，模型用于表征如下两点：

1.从观察对测试员的命令完成的程度的角度来确定评测结果；

2.评测结果(动作行为正常和动作行为异常)与年龄及特定行为的对应关系。

当然，步骤s103还可以通过查表的方式来确定，并不必然采用输入到模型中的方式来实现。

举例说明，首先是采集用户基础信息，由用户录入初始信息，可以是被评测用户录入或者由其监护人录入。

例：采集被评测用户的基础信息

1)用户1：年龄：8个月、性别：男性、身高：68cm，体重：8kg

2)用户2：年龄：18个月、性别：女性、身高：83cm，体重：12kg；

3)用户3：年龄：5个月、性别：男性、身高：62cm，体重：7kg；

4)用户4：年龄：9个月、性别：男性、身高：69cm，体重：8.5kg

5)用户5：年龄：12个月、性别：女性、身高：88cm，体重：14.6kg；

需父母或监护人辅助录入基础信息；

6)用户6：年龄：24个月、性别：女性、身高：62cm，体重：7kg；

7)用户7：年龄：24个月、性别：男性、身高：64cm，体重：7.6kg。

根据以上信息，输出评测方案：

用户1：孩子单独进入构建的环境，测试员将儿童以手膝位放在平面上，将玩具放在距儿童前方1.5米处。说：“拿玩具”。当儿童接近时将玩具后移观察儿童爬行状态；

用户2：孩子单独进入构建的环境，测试员用玩具吸引儿童由蹲站起，说：“站起来玩玩具”。观察儿童站起的状态；

用户3：孩子单独进入构建的环境，测试员让儿童面对桌子坐好，测试员拿小木棒碰触儿童手掌，说：“抓住”。观察儿童是否能抓住；

用户4：孩子单独进入构建的环境，测试员让儿童面对桌子坐好，放一块积木在桌上，距儿童手10厘米内。对儿童说：“拿积木玩”。观察儿童如何拿起积木；

用户5：在家长陪同的情况下，检测儿童保持同一个姿势的时间长度；

用户6：测试员询问家长孩子的日常是否有模仿其他动作的情况；

用户7：孩子单独进入构建的环境，观察儿童的动态十分钟。

2)评测场景

用户1：真实场景、单独、爬行垫、玩具；

用户2：真实场景、单独、玩具；

用户3：真实场景、单独、小木棒；

用户4：真实场景、单独、积木；

用户5：真实场景、陪同、家长、；

用户6：虚拟场景、家长；

用户7：真实场景、单独。

3)采集方案(匹配孩子身高、多角度采集)

用户1：1米的采集柱，含多个摄像头、声音播放设备、声音采集设备；

用户2：1米的采集柱，含多个摄像头、声音播放设备、声音采集设备；

用户3：1米的采集柱，含多个摄像头、声音播放设备、声音采集设备；

用户4：1米的采集柱，含多个摄像头、声音播放设备、声音采集设备；

用户5：1米的采集柱，含多个摄像头、声音播放设备、声音采集设备；

用户7：1米的采集柱，含多个摄像头、声音播放设备、声音采集设备。

采集柱是指集成了多哥可旋转摄像头、声音播放设备、采集声音的设备等的集成采集装置。

评测方根据方案配置场景、道具、内容、流程。

用户1：划分评测区、准备道具、安装调试采集设备；

用户2：划分评测区、准备道具、安装调试采集设备；

用户3：划分评测区、准备道具、安装调试采集设备；

用户4：划分评测区、准备道具、安装调试采集设备；

用户5：划分评测区、准备道具、安装调试采集设备；

用户7：划分评测区、准备道具、安装调试采集设备。

被评估用户进入构建的场景，被评估用户按流程去完成指定特定行为的流程和内容。

采集系统采集用户在场景中的动作行为、语音语调、人机交互结果、表情等数据，采集系统上传采集的数据到服务端数据分析平台。

用户1：采集孩子在测试员的引导下的身体动作；

用户2：采集孩子在测试员的引导下的身体动作；

用户3：采集孩子在测试员的引导下的身体动作；

用户4：采集孩子在测试员的引导下的身体动作；

用户5：采集孩子在测试员的引导下的身体动作；

用户6：采集孩子家长提供的孩子的日常是否有模仿其他动作的情况；

用户7：采集孩子在测试员的引导下的身体动作。

服务端数据分析平台分析用户的各类行为数据，并给各类数据结果进行赋值，赋值结果主要为动作行为增强、动作行为减退以及动作行为缺乏。

0-24个月的被测者作为被评测用户，动作行为评测的方案举例如下：

本发明实施例还提供一种评测动作行为状态的装置，应用于如前所述所有方法的装置。如图2所示，该装置包括评测室主体、采集模块201、提示模块202和处理器203。该评测室是一个立体的结构，四周由采集柱作为支撑柱使评测室保持立体结构，评测室四周可以由幕布围成，幕布可以是平拉或者为卷轴的形式。

如图3所示，采集模块、提示模块和处理器设置在评测室主体30内，处理器311也可以设置在评测室主体30外。采集模块、提示模块分别和处理器311电性相连。采集模块将在评测室主体内采集到的用户响应行为上传到处理器311，由处理器311进行分析处理。采集模块包括声音采集设备、视频采集设备和传感器采集设备，声音采集设备包括话筒和录音机，视频采集设备包括摄像头305、录像机和图像传感器等。提示模块设置在评测室主体30内，以发出引导指令引导评测用户按照指令行为。提示模块包括声音播放设备，视频播放设备，和文字指示设备等。声音播放设备包括广播、音箱和扬声器307，视频播放设备包括电视机、电脑和交互屏，文字指示设备包括提示板、文字标志，交互屏包括主交互屏306和辅助交互屏310，主交互屏306用于根据系统提供的问题，与用户进行人机交互，辅助交互屏310用于辅助人机交互。

评测室内部设置有采集柱301，采集模块和提示模块可以设置在采集柱301上，采集柱301上设置有滑轮，滑轮沿整个采集柱平行布置，以使采集模块和提示模块可以沿着滑轮从评测室顶面板向底面板的方向上下滑动，滑轮可以是多条，以安装不同角度的采集模块和提示模块。评测室顶面板上安装灯具303，营造构建交互环境光效，也可以安装身高采集设备304，如超声波身高测量组件等。评测室的底面板上安装有人体信号采集设备308，包括体重采集设备，人体成分测量组件等，同时也设置有电源，以使整个评测室保持正常运行。评测室的前面板上设置有主交互屏306，以及扬声器307，交互屏306和扬声器307也可以安装在其他面板上，辅助交互屏310主要是为主交互屏306提供辅助作用，所以辅助交互屏310的安装位置可以在主交互屏306周围的任何面板上。评测室内还设置虚拟现实装置，以采集用户在评测室内的交互数据。评测室主体30内还设置有电源309。

如图4所示，是评测室主体的平面结构图，其中顶面板上设置有灯具405和身高采集设备404，前面板上设置有主交互屏407、扬声器408和视频采集设备409，底面板上设置有人体信号采集设备410和电源411，右面板上设置有辅助交互屏402和处理器403，采集柱401、411、412、413同时作为评测室主体的支撑柱。每两个支撑柱之间设置有幕布406、414、415、416。

本发明实施例所提供的一种动作行为评测的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。