一种智能护理机器人的制作方法

1.本发明涉及医疗护理技术领域，具体而言，涉及一种智能护理机器人。


背景技术：

2.随着计算机和机械电子技术的发展，给生物医学工程领域中的护理机器人带来了高速发展的机会，护理机器人也逐步在一些特定领域应用在诊断、康复、治疗及护理等诸多领域。
3.在当前传染病疫情的发生背景下，医疗护理也日益被关注，一方面护工短缺，另一方面护理工作繁重等因素，都给病人家属和护理人员带来了沉重的心理负担和精神压力。在互联网、人工智能及机器人技术的推动下，开发具有护理功能的机器人系统对上述问题有积极的推动作用。同时，随着人口老龄化的发展，失能半失能人员的数量越来越多，需要机器人针对上述场景中的护理工作展开功能拓展。
4.然而，现有的护理机器人虽然具备移动、交互等功能，但是还不能实现实时在线护理。


技术实现要素：

5.鉴于此，本发明的目的在于克服上述现有技术的不足，提出一种可以协助陪护人员完整完成护理工作的智能护理机器人，解决现有技术的护理机器人护理功能及内容不全等问题，完善对病人在床的日常护理，优化操作控制步骤，减小操作控制时间，进一步提高护理效率。
6.本发明提供一种智能护理机器人，包括：机械臂、医疗床、直线模组、电机组件；所述医疗床的边缘处固定连接有模组安装座，所述直线模组与所述模组安装座固定连接，所述电机组件包括：电机、联轴器、减速机；所述直线模组上设置有能够直线运动的滑块；所述电机通过所述联轴器和所述减速机与所述直线模组连接并驱动所述滑块运动，所述滑块上固定连接有支撑座，所述机械臂固定连接在所述支撑座上，所述机械臂的末端连接有用于抓取物品的机械手；
7.所述机械臂能够在所述医疗床的边缘处移动，进行全位置护理；
8.所述机械臂的末端设置有感知模块，所述感知模块包括：图像传感器、测距传感器，通过所述图像传感器及测距传感器感知到设定距离范围内的物品(如水杯，药瓶等)，并记录此时机械臂的姿态信息，所述机械臂的末端安装有姿态惯导模块，通过所述姿态惯导模块实现对末端物品的姿态进行检测，使得物品能够以正确的姿态递送给被护理人；
9.所述机械臂的末端设置有深度相机，通过所述深度相机对室内主要物品进行扫描和记录，对不同位置的物品信息进行存储记录，为下一步的护理执行奠定基础。
10.进一步地，所述机械臂的控制方法包括：
11.将机械臂的姿态信息数据与深度相机(摄像头)信息融合，记录在不同位置上的物品种类和三维空间信息；通过所述图像传感器对待抓取的物品进行实时追踪，同时捕捉被
护理人的面部特征及动作姿态；利用物品分类检测与跟踪以及被护理人的面部特征及动作姿态的信息对机械臂进行实时控制，实施自动化护理措施。
12.进一步地，所述实施自动化护理措施的方法包括：
13.当被护理人通过语音信息发送给智能护理机器人后，智能护理机器人根据检测到的语音信息准确地控制所述机械臂到达对应位置取得被护理人所需的物品。
14.进一步地，所述物品分类检测与跟踪的方法包括：
15.采用yolov5结构与deep sort网络结合的多目标跟踪检测算法，训练实时多目标跟踪模型；
16.所述yolov5结构由输入端、backbone、neck和prediction四个部分组成；其中，backbone是在不同图像细粒度上聚合并形成图像特征的卷积神经网络；neck是一系列混合与组合图像特征的网络层，并将所述图像特征传递到prediction预测层；prediction预测层对图像特征进行预测，生成边界框合分类结果；在yolov5中，使用mosaic数据增强操作提升训练速度和网络精度，同时自适应地计算出最佳锚点框；
17.所述deep sort的前身是sort，全称是simple online and realtime tracking；sort最大特点是基于faster r-cnn的目标检测方法，并利用卡尔曼滤波算法和匈牙利算法，极大提高了多目标跟踪的速度，同时达到了sota(state of the art)的准确率；deep sort网络算法分为四个核心部分：轨迹处理和状态估计、相关性度量、级联匹配、深度特征描述器；轨迹处理和状态估计部分的算法和sort算法类似，主要分为运动状态估计和目标创建与移除；deep sort算法通过(u,v,γ,h,x1,y1,γ1,h1)八个参数描述目标的运动状态，其中(u,v)为目标锚点框的中心坐标，γ是目标锚点框的长宽比，h表示目标锚点框的高度，其余四个变量x1,y1,γ1,h1为目标对应在图像坐标中的运动信息；通过一个基于常量速度模型和线性观测模型的标准卡尔曼滤波器对目标的运动状态进行预测，预测的结果为(u,v,γ,h)；设置帧数阈值a
max
，设置计数器ak表示第k个追踪目标最后一次出现到当前帧所间隔的帧数，每次目标出现都将刷新计数器将计数器置为0，若ak》a
max
，则目标k追踪结束；
18.若目标匹配过程中，有目标始终无法与已存在路径相匹配，则认为该目标可能为新出现的目标；如果接下来的3帧都连续检测到了该目标，则该目标将被认定为新出现的跟踪目标，并以此目标为起始目标生成新的跟踪路径，否则不生成新的跟踪路径。
19.进一步地，所述捕捉被护理人的面部特征及动作姿态的方法包括：
20.使用头部姿态估算fsa-net模型，借鉴年龄识别网络结构ssr-net的分级预测(k stages)和动态区间(shift and scale)机制，网络输入采用两条数据流处理得到三个阶段的特征图(feature map)，所述两条数据流的相同阶段的输出将通过元素相乘和卷积神经网络变成各个阶段的特征图uk，送入到fsa-net的细粒度特征聚合(fine-grained structure feature aggregation)模块，所述细粒度特征聚合模块经过由评分机制和特征映射完成的空间聚合(spatial grouping)将输出送入fsa-net的特征聚合模块，得到所述三个阶段中每个阶段的特征集合，将所述每个阶段的特征集合分别送入fsa-net的全连接层预测ssr-net模型中的p,δk,η参数，其中，p为年龄的分布，δk为尺度,η为偏移，将p,δk,η用于预测人脸姿态的欧拉角；
21.人脸姿态主要包含三个欧拉角(yaw，pitch，raw)三个分量，即头部在xyz三个坐标
轴上分别的旋转角，预测出欧拉角参数，即可设计机械臂到达目标位置的具体姿态；
22.fsa-net模型具有参数量小，且模型精度高的特点；该模型在仅约5m参数量(约为同期sota方法的1％)的基础上，在人脸姿态估计精度上达到了新的sota效果；非常适合进行实时的人脸姿态估计预测。
23.进一步地，所述对机械臂进行实时控制的方法包括：
24.控制前对深度相机和机械臂进行手眼标定，找到深度相机和机械臂的坐标转换关系；标定过程中涉及到四种坐标系：机械臂世界坐标系c1，机械臂末端坐标系c2，相机坐标系c3，标定板坐标系c4；求解相机坐标系c3到机械臂末端坐标系c2的转换矩阵x，计算式为：
25.t3xt1＝t3′
xt
′1ꢀꢀ
(1)
26.式(1)中，t1为测量标定板坐标系c4到相机坐标系c3的转换矩阵；t3为机械臂末端坐标系c2到机械臂世界坐标系c1的转换矩阵，通过电机参数可得到t3；
27.完成手眼标定后，使用深度相机对机械臂进行路径规划和控制。
28.优选地，对机械臂的路径规划，以及点到点控制的方式，信息发布与订阅均在python语言、ros环境下进行；
29.所述利用深度相机对机械臂进行实时控制的代码框架包括：
30.相机端坐标发布；
31.控制端坐标接收；
32.控制端坐标解算，得到机械臂末端的位置姿态；
33.控制端路径规划；
34.执行。
35.进一步地，所述使用深度相机对机械臂进行路径规划和控制的方法包括：
36.通过深度相机扫描与检测物品；
37.返回物品的三维坐标；
38.规划机械臂的抓取路径抓取物品；
39.返回人脸的位置与姿态；
40.根据人脸的位置与姿态信息设计机械臂的传递路径；
41.完成物品的传递。
42.所述深度相机有两个阶段的任务：第一个阶段是得到抓取对象坐标，然后对机械臂进行规划抓取；第二个阶段是得到人脸的位置姿态，然后对机械臂进行传递路径的规划，将物品传递给被护理人，所述机械臂对两个阶段的视觉信号分别作出响应。
43.进一步地，所述s2步骤的所述返回物品的三维坐标的方法包括：通过深度相机运行并输出机械臂的规划轨迹，在ros环境的ros-moveit上运行对于机械臂的路径规划和控制；在机械臂的运动实施过程中，每次发布一个新的坐标，直到执行结束，再发布下一个坐标，以保障路径规划功能的完整实现。
44.进一步地，可以将所述直线模组与所述电机组件的组合替换为直线电机，所述直线电机与所述模组安装座固定连接，所述直线电机上设置有能够直线运动的滑块，所述直线电机驱动所述滑块运动，所述滑块上固定连接有支撑座，所述机械臂固定连接在所述支撑座上，所述机械臂的末端连接有用于抓取物品的机械手。
45.本发明所述直线模组也可替换为滑动轴承和齿轮组构成的实现直线运动的机构。
46.与现有技术相比，本发明的有益效果在于：
47.本发明通过优化设计智能护理机器人机械臂的路径规划及控制方法，优化设计抓取物品姿态和人脸面部特征姿态的检测功能，对机械臂进行实时控制，使得物品能够以正确的姿态递送给被护理人，提高了人机交互功能，提高了护理效率。
附图说明
48.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
49.图1为本发明一种智能护理机器人的医疗床正面构成示意图；
50.图2为本发明一种智能护理机器人的医疗床背面构成示意图；
51.图3为本发明一种智能护理机器人的主视图；
52.图4为本发明一种智能护理机器人的左视图；
53.图5为本发明一种智能护理机器人的俯视图；
54.图6为本发明实施例的yolov5网络结构图；
55.图7为本发明实施例的deep sort算法流程图；
56.图8为本发明实施例的yolov5+deep sort方法效果图；
57.图9为本发明实施例的人脸姿态示意图；
58.图10为本发明实施例的fsa-net网络结构图；
59.图11为本发明实施例的fsa-net预测效果图；
60.图12为本发明实施例的手眼标定示意图；
61.图13为本发明实施例利用深度相机对机械臂进行实时控制的代码框架示意图；
62.图14为本发明实施例使用深度相机对机械臂进行路径规划和控制的流程示意图。
具体实施方式
63.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
64.在本发明的描述中，需要说明的是，术语“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
65.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
66.下面结合附图对本发明实施例作具体的阐述：
67.本发明实施例针对现有医疗床对生活不能自理的病人需要家属或者护理人员全程陪护，造成陪护人员身心疲惫并带来巨大经济压力，且随着人口老龄化陪护病人日益增多，医护人员短缺的问题突出，提供一种可以协助陪护人员完成护理工作的智能护理机器人。本发明实施例除用于医疗陪护外也可用于普通家庭的监护。
68.本发明实施例提供一种智能护理机器人，参见图1-5所示，包括：机械臂、医疗床、直线模组、电机组件；所述医疗床的边缘处固定连接有模组安装座，所述直线模组与所述模组安装座固定连接，所述电机组件包括：电机、联轴器、减速机；所述直线模组上设置有能够直线运动的滑块；所述电机通过所述联轴器和所述减速机与所述直线模组连接并驱动所述滑块运动，所述滑块上固定连接有支撑座，所述机械臂固定连接在所述支撑座上，所述机械臂的末端连接有用于抓取物品的机械手；
69.所述机械臂能够在所述医疗床的边缘处移动，进行全位置护理；
70.所述机械臂的末端设置有感知模块，所述感知模块包括：图像传感器、测距传感器，通过所述图像传感器及测距传感器感知到设定距离范围内的物品(如水杯，药瓶等)，并记录此时机械臂的姿态信息，所述机械臂的末端安装有姿态惯导模块，通过所述姿态惯导模块实现对末端物品的姿态进行检测，使得物品能够以正确的姿态递送给被护理人；
71.所述机械臂的末端设置有深度相机，通过所述深度相机对室内主要物品进行扫描和记录，对不同位置的物品信息进行存储记录，为下一步的护理执行奠定基础。
72.所述机械臂的控制方法包括：
73.将机械臂的姿态信息数据与深度相机(摄像头)信息融合，记录在不同位置上的物品种类和三维空间信息；通过所述图像传感器对待抓取的物品进行实时追踪，同时捕捉被护理人的面部特征及动作姿态；利用物品分类检测与跟踪以及被护理人的面部特征及动作姿态的信息对机械臂进行实时控制，实施自动化护理措施。
74.所述实施自动化护理措施的方法包括：
75.当被护理人通过语音信息发送给智能护理机器人后，智能护理机器人根据检测到的语音信息准确地控制所述机械臂到达对应位置取得被护理人所需的物品。
76.所述物品分类检测与跟踪的方法包括：
77.采用yolov5结构与deep sort网络结合的多目标跟踪检测算法，训练实时多目标跟踪模型；
78.参见图6所示，yolov5结构由输入端、backbone、neck和prediction四个部分组成；其中，backbone是在不同图像细粒度上聚合并形成图像特征的卷积神经网络；neck是一系列混合与组合图像特征的网络层，并将所述图像特征传递到prediction预测层；prediction预测层对图像特征进行预测，生成边界框合分类结果；在yolov5中，使用mosaic数据增强操作提升训练速度和网络精度，同时自适应地计算出最佳锚点框；
79.所述deep sort的前身是sort，全称是simple online and realtime tracking；sort最大特点是基于faster r-cnn的目标检测方法，并利用卡尔曼滤波算法和匈牙利算法，极大提高了多目标跟踪的速度，同时达到了sota(state of the art)的准确率；deep sort的算法流程参见图7所示，deep sort网络算法分为四个核心部分：轨迹处理和状态估计、相关性度量、级联匹配、深度特征描述器；轨迹处理和状态估计部分的算法和sort算法
类似，主要分为运动状态估计和目标创建与移除；deep sort算法通过(u,v,γ,h,x1,y1,γ1,h1)八个参数描述目标的运动状态，其中(u,v)为目标锚点框的中心坐标，γ是目标锚点框的长宽比，h表示目标锚点框的高度，其余四个变量x1,y1,γ1,h1为目标对应在图像坐标中的运动信息；通过一个基于常量速度模型和线性观测模型的标准卡尔曼滤波器对目标的运动状态进行预测，预测的结果为(u,v,γ,h)；设置帧数阈值a
max
，设置计数器ak表示第k个追踪目标最后一次出现到当前帧所间隔的帧数，每次目标出现都将刷新计数器将计数器置为0，若ak》a
max
，则目标k追踪结束；
80.若目标匹配过程中，有目标始终无法与已存在路径相匹配，则认为该目标可能为新出现的目标；如果接下来的3帧都连续检测到了该目标，则该目标将被认定为新出现的跟踪目标，并以此目标为起始目标生成新的跟踪路径，否则不生成新的跟踪路径。
81.如图8所示为本发明实施例yolov5+deep sort的方法效果；
82.所述捕捉被护理人的面部特征及动作姿态的方法包括：
83.使用头部姿态估算fsa-net模型，网络结构如图10所示，图10的左图表示fsa-net的整体模型，借鉴年龄识别网络结构ssr-net的分级预测(k stages)和动态区间(shift and scale)机制，网络输入采用两条数据流处理得到三个阶段的特征图(feature map)，所述两条数据流的相同阶段的输出将通过元素相乘和卷积神经网络变成各个阶段的特征图uk，送入到fsa-net的细粒度特征聚合(fine-grained structure feature aggregation)模块，所述细粒度特征聚合模块经过由评分机制和特征映射完成的空间聚合(spatial grouping，即图10中的fine-grained structure mapping)将输出送入fsa-net的特征聚合模块，得到所述三个阶段中每个阶段的特征集合，将所述每个阶段的特征集合分别送入fsa-net的全连接层预测ssr-net模型中的p,δk,η参数，其中，p为年龄的分布，δk为尺度,η为偏移，将p,δk,η用于预测人脸姿态的欧拉角；
84.人脸姿态主要包含三个欧拉角(yaw，pitch，raw)三个分量，参见图9所示，即头部在xyz三个坐标轴上分别的旋转角，预测出欧拉角参数，即可设计机械臂到达目标位置的具体姿态；
85.fsa-net模型具有参数量小，且模型精度高的特点；该模型在仅约5m参数量(约为同期sota方法的1％)的基础上，在人脸姿态估计精度上达到了新的sota效果；非常适合进行实时的人脸姿态估计预测，fsa-net的预测效果如图11所示。
86.所述对机械臂进行实时控制的方法包括：
87.控制前对深度相机和机械臂进行手眼标定，找到深度相机和机械臂的坐标转换关系；标定过程中涉及到四种坐标系：机械臂世界坐标系c1，机械臂末端坐标系c2，相机坐标系c3，标定板坐标系c4；求解相机坐标系c3到机械臂末端坐标系c2的转换矩阵x，计算式为：
88.t3xt1＝t3′
xt
′1ꢀꢀ
(1)
89.式(1)中，t1为测量标定板坐标系c4到相机坐标系c3的转换矩阵；t3为机械臂末端坐标系c2到机械臂世界坐标系c1的转换矩阵，通过电机参数可得到t3；
90.在实际控制中，深度相机检测到目标在图像中的像素位置后，通过标定好的坐标转换矩阵将相机的像素坐标变换到机械手的空间坐标系中，然后根据机械手坐标系计算出各个电机该如何运动，从而控制机械手到达指定位置，这个过程中涉及到了图像标定，图像处理，运动学正逆解，手眼标定等，手眼标定参见图12所示；
91.完成手眼标定后，使用深度相机对机械臂进行路径规划和控制。
92.优选地，对机械臂的路径规划，以及点到点控制的方式，信息发布与订阅均在python语言、ros环境下进行；
93.所述利用深度相机对机械臂进行实时控制的代码框架，如图13所示：包括：
94.相机端坐标发布；
95.控制端坐标接收；
96.控制端坐标解算，得到机械臂末端的位置姿态；
97.控制端路径规划；
98.执行。
99.所述使用深度相机对机械臂进行路径规划和控制的方法，参见图14所示，包括：
100.通过深度相机扫描与检测物品；
101.返回物品的三维坐标；
102.所述返回物品的三维坐标的方法包括：通过深度相机运行并输出机械臂的规划轨迹，在ros环境的ros-moveit上运行对于机械臂的路径规划和控制；在机械臂的运动实施过程中，每次发布一个新的坐标，直到执行结束，再发布下一个坐标，以保障路径规划功能的完整实现；
103.规划机械臂的抓取路径抓取物品；
104.返回人脸的位置与姿态；
105.根据人脸的位置与姿态信息设计机械臂的传递路径；
106.完成物品的传递。
107.所述深度相机有两个阶段的任务：第一个阶段是得到抓取对象坐标，然后对机械臂进行规划抓取；第二个阶段是得到人脸的位置姿态，然后对机械臂进行传递路径的规划，将物品传递给被护理人，所述机械臂对两个阶段的视觉信号分别作出响应。
108.本发明实施例通过优化设计智能护理机器人机械臂的路径规划及控制方法，优化设计抓取物品姿态和人脸面部特征姿态的检测功能，对机械臂进行实时控制，使得物品能够以正确的姿态递送给被护理人，提高了人机交互功能，提高了护理效率。
109.至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
110.以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。