智能远程看护方法及装置与流程

本发明涉及智能家居技术领域，特别涉及一种智能远程看护方法及装置。

背景技术：

随着社会的发展，人口的增加，医院、精神病院、养老院以及疗养院等场所的护理人员缺乏，工作量繁重。

同时，为了向医院、精神病院、养老院以及疗养院等场所的待看护人员提供更加舒适的生活环境，常常在医院、精神病院、养老院以及疗养院等场所设置各种电器设备，例如，加湿器、空调、电暖气等设备，同时还设置有各类非用电设备。但是，由于待看护人员往往行动不便，造成使用电器设备和非用电设备时较为困难，而且待看护人员自身也需要照顾。因此护理人员缺失，使待看护人员得不到好的照顾

技术实现要素：

有鉴于此，本发明实施例的目的是提供一种能够对待看护人中进行远程看护的智能远程看护方法及装置。

为了实现上述目的，本发明实施例提供了一种智能远程看护方法，包括：预先对待看护场景进行图像采集，并基于图像融合算法，根据采集的图像构建待看护场景的3D模型；采集待看护场景内的实时图像信息，并将所述实时图像信息结合至所述3D模型中；根据所述实时图像信息，对被看护人员进行相应的远程护理。

作为优选，基于图像融合算法，根据采集的图像构建待看护场景的3D模型，包括：根据待看护场景的建筑结构，在虚拟坐标系按预设比例生成地图；采集待看护场景内的多角度图像信息，根据所述多角度图像信息和所述地图，构建待看护场景的3D模型。

作为优选，采集待看护场景内的多角度图像信息，根据所述图像信息和所述地图，构建待看护场景的3D模型，包括：通过深度学习算法或随机森林算法，对所述多角度图像信息进行语义上的识别，并标注每一单个物体；对所述单个物体进行渲染；将渲染后的所述单个物体和所述地图结合，构建形成待看护场景的3D模型。

作为优选，根据所述实时图像信息，对被看护人员进行相应的远程护理，包括：通过虚拟现实眼镜，获取结合有所述实时图像信息的待看护场景的3D模型；根据基于所述实时图像信息的手势操作向所述待看护场景发送控制指令。

作为优选，根据手势操作向所述待看护场景发送控制指令，包括：根据对虚拟现实眼镜中显示的结合有所述实时图像信息的3D模型中的用电设备进行的手势操作直接向所述待看护场景中的对应用电设备发送远程控制指令；和/或根据对所述虚拟现实眼镜中显示的结合有所述实时图像信息的3D模型中的非用电物品进行的手势操作向相关人员发送关于对非用电物品进行处理的提示消息。

本发明实施例还提供一种智能远程看护装置，包括：第一图像采集模块，配置为预先对待看护场景进行图像采集，并基于图像融合算法，根据采集的图像构建待看护场景的3D模型；第二图像采集模块，配置为采集待看护场景内的实时图像信息，将所述实时图像信息结合至所述3D模型中；远程护理模块，配置为根据所述实时图像信息，对被看护人员进行相应的远程护理。

作为优选，所述第一图像采集模块，包括：生成地图模块，配置为根据待看护场景的建筑结构，在虚拟坐标系按预设比例生成地图；第三采集模块，配置为采集待看护场景内的多角度图像信息，根据所述多角度图像信息和所述地图，构建待看护场景的3D模型。

作为优选，所述第三采集模块，具体配置为：通过深度学习算法或随机森林算法，对所述多角度图像信息进行语义上的识别，并标注每一单个物体；对所述单个物体进行渲染；将渲染后的所述单个物体和所述地图结合，构建形成待看护场景的3D模型。

作为优选，所述远程护理模块，包括：获取模块，配置为通过虚拟现实眼镜，获取结合有所述实时图像信息的待看护场景的3D模型；发送模块，配置为根据基于所述实时图像信息的手势操作向所述待看护场景发送控制指令。

作为优选，所述发送模块，具体配置为：根据对虚拟现实眼镜中显示的结合有所述实时图像信息的3D模型中的用电设备进行的手势操作直接向所述待看护场景中的对应用电设备发送远程控制指令；和/或根据对所述虚拟现实眼镜中显示的结合有所述实时图像信息的3D模型中的非用电物品进行的手势操作向相关人员发送关于对非用电物品进行处理的提示消息。

与现有技术相比，本发明实施例具有以下有益效果：本发明实施例的技术方案基于图像融合算法，根据采集的图像构建待看护场景的3D模型，并将实时图像信息结合至所述3D模型中，根据实时图像信息，对被看护人员进行相应的远程护理，以节省劳动力。

附图说明

图1为本发明的智能远程看护方法的实施例一的流程图；

图2为本发明的智能远程看护方法的实施例二的流程图；

图3为本发明的智能远程看护方法的实施例二的构建3D模型示意图；

图4为本发明的智能远程看护方法的实施例二的对3D模型进行语义标注示意图；

图5为本发明的智能远程看护方法的实施例二的其中一个应用场景示意图；

图6为本发明的智能远程看护装置的实施例一的示意图；

图7为本发明的智能远程看护装置的实施例二的示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1为本发明的智能远程看护方法的实施例一的流程图，如图1所示，本实施例的智能远程看护方法，具体可以包括如下步骤：

S101，预先对待看护场景进行图像采集，并基于图像融合算法，根据采集的图像构建待看护场景的3D模型。

具体地，以待看护场景为医院为例，首先要对医院进行图像采集，并以整个医院的构架来构建整体虚拟模型。然后在虚拟模型的虚拟坐标系中按预设比例生成地图，例如以1：1的比例生成地图。由于建筑的构造是不会改变的，所以本实施例优选采用的方法是根据对建筑的实际测量尺寸直接在电脑中建模，也就是说，以医院的建筑构造来生成虚拟地图。

S102，采集待看护场景内的实时图像信息，并将所述实时图像信息结合至所述3D模型中。

具体地，为了对待看护人员进行看护，需要采集待看护场景内的实时图像信息，例如，走廓里的人员情况、房间里的垃圾桶情况、电视机是否打开或关闭，对于医院来说，还要采集待看护人员输液情况，等等。将采集的实时图像信息结合至所构建的待看护场景的3D模型，生成待看护场景的实时3D模型。

S103，根据所述实时图像信息，对被看护人员进行相应的远程护理。

根据所述实时图像信息，具体是根据待看护场景的实时3D模型，来获知待看护人员的情况。在这一步骤中，看护人员可以通过佩戴虚拟现实(VR)眼镜，来查看实时3D模型中的实时图像信息，由于实时3D模型的情况与真实的场景中的情况是一致的，因此可以对待看护人员进行实时看护。例如，在医院病房中，待看护人员睡着了，而电视机仍然开着，可以远程控制电视机关闭；再例如，房间内垃圾桶满了，可以向保洁人员发出倒垃圾桶的指令。

本发明实施例的技术方案基于图像融合算法，根据采集的图像构建待看护场景的3D模型，并将实时图像信息结合至所述3D模型中，根据实时图像信息，对被看护人员进行相应的远程护理，以节省劳动力。

图2为本发明的智能远程看护方法的实施例二的流程图，本实施例的智能远程看护方法在上述实施例一的基础上，进一步更加详细地介绍本发明的技术方案。如图2所示，本实施例的智能远程看护方法，具体可以包括如下步骤：

S201，根据待看护场景的建筑结构，在虚拟坐标系按预设比例生成地图。

具体地，为使所构建的场景与现实中的场景一致，因此本实施例优选的方案为采用1：1的比例来生成地图。当然也可以采用其他比例，并在后期的图像处理时，根据需要按原比例进行放大和缩小，以更真实的反映现实中的场景。

S202，采集待看护场景内的多角度图像信息，根据所述多角度图像信息和所述地图，构建待看护场景的3D模型。

具体地，S202步骤例如可以包括：A，通过深度学习算法或随机森林算法，对所述多角度图像信息进行语义上的识别，并标注图像中每一单个物体；B，对单个物体进行渲染；C，将渲染后的单个物体和地图结合，构建形成待看护场景的3D模型。

具体地，在完成建筑的框架的模型后，也就是说生成地图后，可以根据建筑的内部细节来完善所生成的地图，例如可以采集每个房间和走廊的实时图像信息，并将实时图像信息与地图相结合。在优选的实施例中，为了取得更准确的3D建模，可以在每个房间和走廊内设置多个多角度摄像头，以使所构建的实时3D建模更加精确。虽然设置多个多角度摄像头需要的成本有所增加，但是相较于劳动力的成本，仍较为低廉。

具体的构建过程，请参照图3，例如，可以在所有房间都设置多个多角度摄像头，多角度摄像头采集的实时图像为2D图像，可以通过图像融合技术，形成房间内的3D图像信息，并且由于是多个多角度的2D图像，所形成的房间内的3D图像信息比较精确。在图3中最终所获得的房间1实时3D模型中包含了包括待看护人员在内的所有真实存在于该房间的物体。

由于所有存在于房间内的物体是已知的，所以可以构建已知物体名称的数据库，从而对实时3D模型中包含的物体进行语义上的识别。在具体实施时，可以事先通过机器学习算法实现语义识别。例如，在医院的房间中，存在病床、百叶窗、夜壶和空调等设备，可以借由所采集的2D图像中的颜色、纹理以及轮廓等特征进行机器学习，从而通过分类器标注出实时3D场景中所有单个物体，并且对该单个物体进行进一步的渲染，使其更接近真实物体的影像。在具体实施时，分类器的训练可采用但不限于随机森林算法。

分类器训练完成后，对单个物体进行标注，请参见图4。经过分类器的标注之后，房间内的每个独立的物体都被识别并被计算机记录其对应的语义。

在其他实施例中，如果为了降低成本，在每个房间只设置单个摄像头，则摄像头视场(FOV)之外的空间认为是空旷，对于FOV之内的空间，所采集的2D图像可以根据经验识别出单个物体的语义，再根据单个物体的实际外观生成3D模型，再根据近大远小的规则判断单个物体的空间距离，对单个物体的图像进行渲染，从而生成近似于真实场景的房间实时模型。这个实施例在具体实施时同样需要对常见物品提供大量样本训练分类器。在这种但摄像头的方式中，虽然单个物体的其他角度信息是通过经验补充出来的，并不能十分准确的反映房间内的状况，不过能以较低的成本实现本发明的远程看护目的。

该实施例在依次获得每个房间的实时3D模型后，还可以根据房间的实时3D模型将走廊、电梯等空间的实时3D模型构建出来，这些场景中的主要物体为行人、所陈设的物体，例如垃圾桶等。再结合医院的整体内部构造模型，即可以还原出整个医院的实时3D模型。

S203，采集待看护场景内的实时图像信息；将所述实时图像信息结合至所述3D模型中。

具体地，根据步骤S202，在获取多角度的实时图像信息后，将实时图像信息进行分割，以获得单个物体，根据实时图像信息可以获知单个物体在房间中的信息，因此可以将单个物体与3D模型相结合，形成实时3D模型。

S204，通过虚拟现实眼镜，获取结合有所述实时图像信息的待看护场景的3D模型。

具体地，根据以上步骤构建成虚拟的实时3D模型，看护人员可以通过虚拟现实眼镜获知房间或走廓中的实时情况。

S205，根据基于所述实时图像信息的手势操作向所述待看护场景发送控制指令。

S205步骤例如可具体包括：

D，根据对虚拟现实眼镜中显示的结合有所述实时图像信息的3D模型中的用电设备进行的手势操作直接向所述待看护场景中的对应用电设备发送远程控制指令；和/或

E，根据对所述虚拟现实眼镜中显示的结合有所述实时图像信息的3D模型中的非用电物品进行的手势操作向相关人员发送关于对非用电物品进行处理的提示消息。

具体地，看护人员通过佩戴虚拟现实眼镜，获知待看护人员的情况，根据所获知的情况，可以对待看护人员进行看护，例如，可以在从虚拟现实眼镜中看到的场景图像中对相应物体做出手势操作，并通过对手势指令的识别来对待看护人员周围的相应设备发送控制指令，也可以通过服务器的输入装置，例如，键盘、鼠标，向待看护人员周围的设备发送控制指令。通过本实施例可以随时获知整个建筑内的任一位置的情况并对场景内设备进行操控。

当然在其他实施例中，也可以不佩载虚拟现实眼镜，而是通过服务器端的监控画面来获知建筑内任一位置的情况，并通过分窗任意切换房间，看护人员还可以从不同角度观察待看护人员周围的情况，以医院为例，可以看护待看护人员的心率、夜壶使用情况等。

本实施例的一个应用场景请参见图5。由于房间内的物体并非单纯的3D动画，而是被赋予了语义的物体，而该实施例中涉及的设备中，如用电设备不仅可以通过常规的按键进行调节，还可远程操控，所以看护人员可以通过点击实时3D模型中用电设备图像中的虚拟按键，对用电设备进行远程操控，同时避免打扰入睡的待看护人员，例如，通过虚拟现实眼镜观察到病人因太热掀开了被子，则可以通过对虚拟现实眼镜中显示的空调进行手势操作来调节实际场景中空调的温度；再例如，看护人员观察到病人已入睡，则通过对虚拟现实眼镜中显示的虚拟开关按键进行手势操作来调节实际场景中室内灯光，并关闭百叶窗等。对于非用电设备，例如，可以通过手势碰触虚拟场景中的该虚拟物体，从而向人工服务人员发出处理信号，由人工服务人员进行处理。例如，垃圾桶满了，看护人员通过手势碰触实时3D模型中的虚拟垃圾桶，向人工服务人员发出倒垃圾桶的看护信号，人工服务人员收到倒垃圾桶的看护信号后，进行倒垃圾桶的操作；再例如，地板脏了或心率异常等，则通过手势触摸实时3D模型中的该物体发送看护信号，或者在服务器上通过输入装置，如鼠标点击该物体的图像，向人工服务人员发送服务请求信号，使人工服务人员前往待看护房间进行整理。

本发明实施例不限于应用于医院中，还可以用于精神病院、养老院、疗养院以及家居中的看护管理。

本发明实施例的技术方案可以采用机器学习法来识别房间中单一物体的语义，并对单一物体进行渲染，以使所构建的实时3D模型更接近于真实的场景。

图6为本发明的智能远程看护装置的实施例一的示意图，如图6所示，本实施例的智能远程看护装置，具体可以包括第一图像采集模块61、第二图像采集模块62和远程护理模块63。

第一图像采集模块61，配置为预先对待看护场景进行图像采集，并基于图像融合算法，根据采集的图像构建待看护场景的3D模型；

第二图像采集模块62，配置为采集待看护场景内的实时图像信息；将实时图像信息结合至3D模型中；

远程护理模块63，配置为根据实时图像信息，对被看护人员进行相应的远程护理。

本实施例的智能远程看护装置，通过采用上述模块对待看护人员进行远程看护的实现机制与上述图1所示实施例的智能远程看护方法的实现机制相同，详细可以参考上述图1所示实施例的记载，在此不再赘述。

图7为本发明的智能远程看护装置的实施例二的示意图，本实施例的智能远程看护装置在如图6所示的实施例一的基础上，进一步更加详细地介绍本发明的技术方案。如图7所示，本实施例的智能远程看护装置，进一步可以包括：

第一图像采集模块61，包括：

生成地图模块611，配置为根据待看护场景的建筑结构，在虚拟坐标系按预设比例生成地图；

第三采集模块612，配置为采集待看护场景内的多角度图像信息，根据多角度图像信息和地图，构建待看护场景的3D模型。

进一步地，第三采集模块612，具体配置为：

通过深度学习算法或随机森林算法，对多角度图像信息进行语义上的识别，并标注每一单个物体；对单个物体进行渲染；将渲染后的单个物体和地图结合，构建形成待看护场景的3D模型。

进一步地，远程护理模块63，包括：

获取模块631，配置为通过虚拟现实眼镜，获取结合有实时图像信息的待看护场景的3D模型；

发送模块632，配置为根据基于实时图像信息的手势操作向待看护场景发送控制指令。

进一步地，发送模块632，具体配置为：

根据对虚拟现实眼镜中显示的结合有实时图像信息的3D模型中的用电设备进行的手势操作直接向待看护场景中的对应用电设备发送远程控制指令；

和/或

根据对虚拟现实眼镜中显示的结合有实时图像信息的3D模型中的非用电物品进行的手势操作向相关人员发送关于对非用电物品进行处理的提示消息。

本实施例的智能远程看护装置，通过采用上述模块对待看护人员进行远程看护的实现机制与上述图2所示实施例的智能远程看护方法的实现机制相同，详细可以参考上述图2所示实施例的记载，在此不再赘述。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。