一种坐式手工装配线疲劳度检测系统的制作方法

本发明涉及姿势识别技术，特别涉及基于Kinect的装配线疲劳度检测系统。

背景技术：
：

装配线工人疲劳使得注意力下降，思维和运动减慢，从而降低产品质量，在特殊装配位置还易出现安全事故，因此关于有效判别装配线工人是否疲劳具有重要的科研价值及意义。

现今的疲劳度监测技术大致为三种，传感器、脑电图或是计算机识别，生产线工人在操作时，前两种方法极难得到普及应用，现今计算机技术中面孔识别得到普遍使用，已经有人在驾驶中进行应用，但在生产线中很难进行普及，本文提出姿势识别的判定方法，人在疲劳时不仅会从面孔中表现出来，身体的反应也可间接说明疲劳。

技术实现要素：
：

本发明的目的在于提供一种基于Kinect的装配线疲劳度检测系统。

结合附图，说明如下：

一种坐式手工装配线疲劳度检测系统，该系统包括以下步骤：

步骤1、通过Kinect设备捕捉装配线工人半身骨骼信息；

步骤2、在Kinect设备开启以后，对装配线工人进行标准动作和标准时间进行测定，取十次数据的平均值为标准数据；

步骤3、针对装配线工人进行监测，持续计算躯体变化角度、有效动作比率和无效动作比率，引入综合评判方法，测算出装配线工人的疲劳程度，监测数据存储在数据库中；

步骤4、根据疲劳强度进行分级警告，根据强度大小决定是否继续监测或是结束监测。

所述步骤1的半身骨骼信息首先是通过启动kinect的半身模式，对头部、肩部中心、左肩、左肘部、左手腕、左手、右肩、右肘部、右手腕、右手进行跟踪识别，另外增加脊柱进行识别，追踪11个骨骼点。

所述步骤2，先对装配步骤进行分解，所述的标准动作即为工人取零件和装配零件时左右手的空间位置，其中还包括在完成相应动作时躯干骨和额头的空间向量；所述标准时间即上一个标准动作到下一个标准动作的完成时间，在测定十组数据之后，取平均值为标准数据。

所述步骤3躯体变化角度包括头部变化角度与躯干变化角度：

头部变化角

躯干变化角

其中：设kinect设备为o点，动态头部点为a₁，动态肩部中心为a₂，动态脊柱为a₃，持续记录数据包括头部肩部中心脊柱通过计算可得动态肩部中心到头部向量为动态脊柱到肩部中心向量为

在测定标准动作1时，已测定肩部中心到头部标准向量脊柱到肩部中心标准向量

所述步骤3中的有效工作比率为：无效工作比率为：

以左手为例，完成一个标准动作分标准动作1和标准动作2，t₁为完成标准动作1的时间；t₂为左手脱离标准范围的无效动作总时间段；t₃为完成标准动作2的时间；

有效动作和无效动作需要通过空间距离测定评价：

设kinect设备为o点，动态左手点为a₄，动态右手点为a₅；动态左手向量动态右手向量

在标准动作1时，已测算完成标准动作1时左手右手完成标准动作1后到达标准动作2时左手右手

两点之间直线为最短距离，连接空间点b₄＝(x₃,y₃,z₃)和b₆＝(x₅,y₅,z₅)，直线上每个点均形成以r为半径的球，左手在到达b₄＝(x₃,y₃,z₃)以r为半径的范围内，即时，认为完成标准动作1，时间点为t₁；

完成标准动作1后，计算机持续进行以下公式计算，公式(1)表示的数值，判断是否离开标准动作1范围；公式(2)表示左手是否在规定范围内运动，其中计算动态点a₄到直线的最短距离；公式(3)表示的数值，判断是否完成标准动作2；

所述步骤4中根据疲劳强度进行分级警告，需要结合躯体变化角度、有效动作比率和无效动作比率；

躯体变化角度、有效动作比率和无效动作比率均分为5级评判，躯体变化角度θ₁、θ₂之和在(0°-30°]认为1级，(30°-60°]认为2级，(60°-90°]认为3级，(90°-120°]认为4级，大于120°认为5级；有效动作比率在(1-1.2]认为1级，(1-1.4]认为2级，以此类推直到五级；无效动作比率在(0-0.1]认为1级，(0.1-0.2]认为2级，以此类推直到五级。

躯体变化角度、有效动作比率和无效动作比率分别占0.3，0.4，0.3的权重，之前的分级数值乘上权重得出结果在(0-1]之间疲劳度为1级，(1-2]之间疲劳度为2级，(2-3]之间疲劳度为3级，(3-4]之间疲劳度为4级，(4-5]之间疲劳度为5级；

等级1代表可忽略的疲劳，等级2代表轻微的疲劳，等级3代表中等程度的疲劳，等级4代表严重的疲劳，等级5代表灾难性的疲劳；测出疲劳值后，系统提供适当的声音提醒，当疲劳程度达到5级时，停止监测，中断该工位电路，迫使员工休息。

附图说明：

图1为本发明的整体框架；

图2为本发明的半身人体骨骼图；

图3躯体变形坐标图；

图4躯体变形角度图；

图5为Kinect监测示意图；

图6空间距离测定图；

图7标准动作空间范围；

具体实施方式：

下面结合附图对本发明作更进一步的详细说明。

如图1所示：

步骤1、通过Kinect设备捕捉装配线工人半身骨骼信息；

步骤2、在Kinect设备开启以后，对装配线工人进行标准动作和标准时间进行测定，取十次数据的平均值为标准数据；

步骤3、针对装配线工人半身进行监测，持续计算躯体变化角度、有效动作比率和无效动作比率，引入综合评判方法，测算出装配线工人的疲劳程度。监测数据存储在数据库中；

步骤4、根据疲劳强度进行分级警告，根据强度大小决定是否继续监测或是结束监测。

如图2所示，所述步骤1的半身骨骼信息首先是通过启动kinect的半身模式，对头部、肩部中心、左肩、左肘部、左手腕、左手、右肩、右肘部、右手腕、右手进行跟踪识别，另外增加脊柱进行识别，追踪11个骨骼点。

所述步骤2，先对装配步骤进行分解，所述的标准动作即为工人取零件和装配零件时左右手的空间位置，其中还包括在完成相应动作时躯干骨和额头的空间向量；所述标准时间即上一个标准动作到下一个标准动作的完成时间。在测定十组数据之后，取平均值为标准数据。

如图3所示，所述步骤3需要进行角度评价，已知kinect设备为o点，动态头部点为a₁，动态肩部中心为a₂，动态脊柱为a₃，持续记录数据包括头部肩部中心脊柱通过计算可得动态肩部中心到头部向量为动态脊柱到肩部中心向量为

如图4所示，在标准动作1时，已测定肩部中心到头部标准向量脊柱到肩部中心标准向量通过计算可得头部变化角躯干变化角头部变化角度与躯干变化角组成躯体变化角度。

所述步骤3中的有效动作疲劳参数和无效动作比率需要进行空间距离测定评价，kinect设备为o点，动态左手点为a₄，动态肩右手点为a₅。

如图5所示，持续记录数据包括动态左手向量动态右手向量比如在标准动作1时，已测算完成标准动作1时左手右手完成标准动作1后到达标准动作2时左手右手

如图6所示，本文认为两点之间直线为最短距离，以左手为例，连接空间点b₄＝(x₃,y₃,z₃)和b₆＝(x₅,y₅,z₅)，直线上每个点均形成以r为半径的球，左手在到达b₄＝(x₃,y₃,z₃)以r为半径的范围内，即时，认为完成标准动作1，时间点为t₁。

完成标准动作1后，计算机持续进行以下公式计算，公式(1)表示的数值，判断是否离开标准动作1范围；公式(2)表示左手是否在规定范围内运动，其中计算动态点a₄到直线的最短距离；公式(3)表示的数值，判断是否完成标准动作2：

如果左手脱离标准范围(公式(1)(2)(3))，即开启第二计时器，第二计时器可累计计时，计算出左手脱离标准范围的无效工作总时间段t₂，当左手到达公式(3)时，即完成标准动作2，记时间点t₃。标准时间t为标准动作1到标准动作2的时间。

有效工作比率无效工作比率

如图7所示，左右手的标准范围在空间中依照标准动作已计算出，需要按照规定好的标准轨迹完成所有的标准动作才算完成一个周期动作。

所述步骤4中根据疲劳强度进行分级警告，需要结合躯体变化角度、有效动作比率和无效动作比率，其中计算过程需要采集每个项目所有的操作动作，即一个完整周期所有分解动作的平均数值，平均最近十次(采用先进先出原则，第11组数据进入计算范围，第1组数据剔出)完整周期的疲劳值给出综合评判。

躯体变化角度、有效动作比率和无效动作比率均分为5级评判，躯体变化角度θ₁中θ₂与之和在(0°-30°]认为1级，(30°-60°]认为2级，(60°-90°]认为3级，(90°-120°]认为4级，大于120°认为5级；有效动作比率在(1-1.2]认为1级，(1-1.4]认为2级，以此类推直到五级；无效动作比率在(0-0.1]认为1级，(0.1-0.2]认为2级，以此类推直到五级。

躯体变化角度、有效动作比率和无效动作比率分别占0.3,0.4,0.3的权重，之前的分级数值乘上权重得出结果在(0-1]之间疲劳度为1级，(1-2]之间疲劳度为2级，(2-3]之间疲劳度为3级，(3-4]之间疲劳度为4级，(4-5]之间疲劳度为5级。

等级1代表可忽略的疲劳，等级2代表轻微的疲劳，等级3代表中等程度的疲劳，等级4代表严重的疲劳，等级5代表灾难性的疲劳。测出疲劳值后，系统提供适当的声音提醒，当疲劳程度达到5级时，停止监测，中断该工位电路，迫使员工休息。