一种监控饮食的方法、装置、设备和存储介质与流程

本发明实施例涉及信息处理技术领域，尤其涉及一种监控饮食的方法、装置、设备和存储介质。

背景技术：

随着生活水平的提高，人们越来越重视饮食安全和健康，尤其对于儿童的饮食安全和健康更为重视。

由于儿童没有辨识食物的能力，并且习惯性的把各种物体放在嘴里吃，所以他们经常会将不可食用的物品吃到肚子里，甚至出现物品卡在喉咙的情况，从而对儿童的身体造成伤害。为了保证营养均衡，儿童通常食用的食物种类繁多，所以也会出现将相克的食物混吃的情况，从而导致出现腹泻等不良反应，严重危害了儿童的身体健康。

现有技术中，通常是通过人工看护儿童的方式来防止儿童乱吃。然而这种人工方式费时费力，并且也会出现发现或阻止不及时的情况，易导致儿童出现饮食危险的情况。

技术实现要素：

本发明实施例提供一种监控饮食的方法、装置、设备和存储介质，以实时监控饮食情况，避免食用危险物体，从而保证饮食安全。

第一方面，本发明实施例提供了一种监控饮食的方法，包括：

获取监控对象图像，所述监控对象图像包括深度信息和RGB信息；

若根据所述监控对象图像确定所述监控对象有饮食动作，则提取所述监控对象图像中待食物体图像；

根据所述待食物体图像的深度信息和RGB信息确定所述待食物体的属性；

根据所述待食物体的属性和所述监控对象的状态信息，确定所述待食物体的食用属性；

若所述待食物体的食用属性为危险，则对所述监控对象进行提醒，并向所述监控对象的关联用户发送警告信息。

第二方面，本发明实施例还提供了一种监控饮食的装置，包括：

监控对象图像获取模块，用于获取监控对象图像，所述监控对象图像包括深度信息和RGB信息；

待食物体图像提取模块，用于若根据所述监控对象图像确定所述监控对象有饮食动作，则提取所述监控对象图像中待食物体图像；

待食物体属性确定模块，用于根据所述待食物体图像的深度信息和RGB信息确定所述待食物体的属性；

待食物体食用属性确定模块，用于根据所述待食物体的属性和所述监控对象的状态信息，确定所述待食物体的食用属性；

提醒警告模块，用于若所述待食物体的食用属性为危险，则对所述监控对象进行提醒，并向所述监控对象的关联用户发送警告信息。

第三方面，本发明实施例还提供了一种设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

输入装置，用于采集图像；

输出装置，用于播放提醒语音；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的监控饮食的方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的监控饮食的方法。

本发明实施例通过根据监控对象图像确定监控对象是否有饮食动作，若有则提取监控对象图像中待食物体图像，并确定待食物体的属性，以及根据待食物体的属性和监控对象的状态信息确定待食物体的食用属性，当待食物体的食用属性为危险时，对监控对象进行提醒，并向监控对象的关联用户发送警告信息。从而对饮食情况进行实时监控，避免食用危险物体，保证了饮食安全。

附图说明

图1是本发明实施例一提供的一种监控饮食的方法的流程图；

图2是本发明实施例二提供的一种监控饮食的方法的流程图；

图3是本发明实施例三提供的一种监控饮食的装置的结构示意图；

图4是本发明实施例四提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种监控饮食的方法的流程图，本实施例可适用于监控儿童饮食以确保饮食安全的情况，该方法可以由一种监控饮食的装置来执行，具体包括如下步骤：

步骤110、获取监控对象图像，监控对象图像包括深度信息和RGB信息。

其中，本实施例中的监控对象可以为1岁到10岁的儿童，尤其是指没有辨识食物能力的儿童。可选的，将发射器发出的结构光的特定光信息投射到监控对象，利用可以测量深度信息的摄像头接收经监控对象反射的结构光来获取监控对象图像。根据监控对象导致的特定光信息的变化来计算监控对象的位置信息、深度信息和RGB(Red，Green，Blue)信息，从而得到包括深度信息和RGB信息的监控对象图像。需要注意的是，根据监控对象图像中的深度信息准确的计算出监控对象各部分的三维坐标数据，即三维空间数据，避免了仅根据监控对象图像中的位置信息计算得到的监控对象的坐标数据，导致的坐标精度低的问题，以根据监控对象的三维空间数据的变化实时对监控对象的动作进行监控。

步骤120、若根据监控对象图像确定监控对象有饮食动作，则提取监控对象图像中待食物体图像。

其中，通过监控对象图像中监控对象的预设关节点的位置变化来确定监控对象是否有饮食动作。其中，饮食动作指的是监测对象有将手中物体放入口中的动作。若有饮食动作，则在监控对象图像中提取出待食物体图像。待食物体可以为监控对象手中拿到的物体。本实施例中可以直接提取监控对象图像中监控对象手中的物体图像，并确定为待食物体图像。利用待食物体图像对待食物体的属性进行进一步的判断，以确定待食物体是否可以食用。

可选的，步骤120中的根据监控对象图像确定监控对象有饮食动作，包括：

根据监控对象图像的深度信息确定监控对象的预设关节点的三维空间数据，预设关节点至少包括手和口腔；根据预设关节点的三维空间数据的变化确定手和口腔的距离和位置关系；若手和口腔的距离和位置关系满足进食条件，则确定监控对象有饮食动作。

其中，根据监控对象图像的深度信息提取监控对象的目标骨架数据，将目标骨架数据和骨架数据库中的骨架数据进行对比，从而确定监控对象的手和口腔在监控对象图像中的形态和位置，并进行一步获取手和口腔的三维空间数据。根据每帧监控对象图像实时检测手和口腔的三维空间数据的变化，并计算手和口腔的距离和位置关系。可选的，手和口腔的距离和位置关系可以具体为手指和口腔之间的距离和位置关系。可选的，进食条件为手和口腔的最小距离小于预设距离且手在口腔的前面或侧面。当计算得到的手和口腔最小距离小于预设距离且手在口腔的前面或侧面时，确定监控对象有饮食动作。示例性的，若手和口腔的最小距离小于预设距离但手在口腔的下方或者上方，则表示没有饮食动作。在本实施例中，也可以在根据预设关节点的三维空间数据的变化确定手和口腔的距离和位置关系之前，检测监控对象的手中是否有待食物体，若没有，则直接确定监控对象没有饮食动作；若有，则再根据手和口腔的距离和位置关系确定是否有饮食动作，避免饮食动作的误判，提高判断精度。

步骤130、根据待食物体图像的深度信息和RGB信息确定待食物体的属性。

其中，待食物体的属性包括但不限于物体名称、种类、形状和颜色。其中种类可以为水果类、蔬菜类或主食类。待食物体图像的深度信息可以用于确定待食物体的三维空间数据，进而确定待食物体的形状特征。待食物体图像的RGB信息可以用于确定待食物体的颜色特征。

可选的，步骤130具体包括：

根据待食物体图像的深度信息确定待食物体的三维空间数据，并根据待食物体的三维空间数据确定待食物体的形状特征；将待食物体图像的RGB信息转换为色调HSI数据；根据待食物体的形状特征、HSI数据以及物体数据库确定待食物体的属性。

其中，本实施例中待食物体图像的RGB信息需转换为色调HIS(Hue，Saturation，Intensity)数据，根据待食物体的HSI数据确定待食物体的颜色特征。物体数据库中预先存储了所有物体的属性。将待食物体的形状特征和颜色特征与物体数据库中每一物体的形状特征和颜色特征进行匹配，若匹配成功，则对应的物体的属性即为待食物体的属性，从而可以确定待食物体的物体名称。

步骤140、根据待食物体的属性和监控对象的状态信息，确定待食物体的食用属性。

其中，监控对象的状态信息指的是监控对象当前的身体状态和当前已食用的食物信息，示例性的，当前的身体状态可以是但不限于为监控对象的食道尺寸，当前已食用的食物信息可以是监控对象在第一预设时间内已食物体信息。可选的，第一预设时间可以为距当前时刻的4小时内。食用属性包括安全和危险，根据待食物体的属性可以确定待食物体是否为安全的食物。利用监控对象的状态信息可以确定待食物体的食用是否会出现饮食危险的情况。可选的，当待食物体为安全食物且不会出现卡喉和食物相克的情况时，该待食物体的属性为安全，否则，该待食物体的属性为危险。

可选的，步骤140包括：

根据待食物体的物体名称、物品数据库以及安全食品数据库确定待食物体是否为安全食物；若待食物体是安全食物，则根据待食物体三维尺寸和监控对象的食道三维尺寸，确定待食物体是否可安全食用，其中，待食物体三维尺寸根据待食物体的三维空间数据确定；若待食物体为非安全食物或待食物体不可安全食用，则确实待食物体的食用属性为危险。

其中，物品数据库包括了所有不为食物的物品的名称，比如玩具车、遥控器等。安全食品数据库包括了对监控对象来说安全食物的名称，比如苹果、香蕉、西红柿、大米和玉米等。而对监控对象来说不安全的食物有但不限于红枣和核桃等这些容易卡喉的食物。可选的，先将待食物体的物体名称与物品数据库进行匹配，确定待食物体是否为食物，若待食物体不是食物，则可以直接确定待食物体的食用属性为危险；若待食物体是食物，则再将待食物体的物体名称与安全食品数据库进行匹配，确定待食物体是否为安全食物。若不是安全食物，即不可安全食用，则确定待食物体的属性为危险；若为安全食物，则根据待食物体三维尺寸和监控对象的食道三维尺寸确定待食物体是否可安全食用。本实施例中待食物体先与物品数据库进行匹配，然后再与安全食品数据库进行匹配，降低了匹配工作量，从而可以快速的确定待食物体是否为安全食物。

可选的，若待食物体可安全食用，且监控对象在第一预设时间内已食物体与待食物体相克，则确定待食物体的食用属性为危险。

其中，若待食物体可安全食用，则获取监控对象在第一预设时间内已食物体。判断第一预设时间内已食物体是否与待食物体相克，若相克，则确定待食物体的食用属性为危险，以避免食用相克食物对身体造成伤害；若不相克，则确定待食物体的食用属性为安全。其中，可以根据食物的名称和预先存储的食物相克对照表来判断食物是否相克，示例性的，将待食物体与已食物体的随机组合在食物相克对照表中进行匹配，若任意食物组合匹配成功，则确定已食物体中存在与待食物体相克的食物，即确定待食物体的食用属性为危险；若不存在匹配成功的食物组合，则确定待食物体的食用属性为安全。

通过记录监控对象在第一预设时间内已食物体以及食用时间，精确的检测是否存在食物相克的问题，避免了人工监护时，饮食知识欠缺或者对已食物体遗忘导致的饮食危险。

可选的，根据待食物体三维尺寸和监控对象的食道三维尺寸，确定待食物体是否可安全食用，包括：

根据监控对象的食道三维尺寸确定安全食物尺寸范围；若待食物体三维尺寸在安全食物尺寸范围内，则确定待食物体可安全食用；若待食物体三维尺寸在安全食物尺寸范围外，则确定待食物体不可安全食用。

其中，待食物体三维尺寸可以根据待食物体的三维空间数据确定。监控对象的食道三维尺寸是根据预先拍摄的监控对象的初始图像确定的。食道三维尺寸的确定方法为：根据监控对象的初始图像的深度信息，获取监控对象的目标骨架数据；将目标骨架数据和骨架数据库中的骨架数据进行对比，确定监控对象的喉咙骨架信息；根据喉咙骨架信息和喉咙的三维空间数据确定食道的三维坐标数据；根据食道的三维坐标数据确定食道三维尺寸。可选的，定期的更新监控对象的初始图像，以获取准确的食道三维尺寸，避免了由于食道的三维尺寸随着监控对象的成长而改变，导致的数据不精确的问题。可选的，安全食物尺寸范围比食道三维尺寸略小几个毫米，使得吞咽待食物体时，不会出现卡喉的情况。

步骤150、若待食物体的食用属性为危险，则对监控对象进行提醒，并向监控对象的关联用户发送警告信息。

其中，当待食物体的食用属性为危险时，需要提醒监控对象不能食用待食物体，并且也需要向监控对象的关联用户发送警告信息，以提醒关联用户进行人为干预。关联用户可以为监控对象的父母或其他的看管人。警告信息可以为语音警告和/或视频警告。本实施例中可以通过播放预先存储的警告语音和父母的劝导语音，对监控对象进行提醒和引导。同时也通过无线连接的方式将警告信息发送到关联用户的智能终端，以告知关联用户需要进行人为干预来阻止监控对象食用危险的物体。

本发明实施例通过根据监控对象图像确定监控对象是否有饮食动作，若有则提取监控对象图像中待食物体图像，并确定待食物体的属性，以及根据待食物体的属性和监控对象的状态信息确定待食物体的食用属性，当待食物体的食用属性为危险时，对监控对象进行提醒，并向监控对象的关联用户发送警告信息。从而对饮食情况进行实时监控，避免食用危险物体，保证了饮食安全和健康。

实施例二

图2为本发明实施例二提供的一种监控饮食的方法的流程图，本实施例在上述实施例的基础上进行优化，在确定待食物体的食用属性为安全时，根据监控对象的预设关节点的三维空间数据的变化和待食物体的状态确定监控对象是否存在进食动作。

优化后，一种监控饮食的方法具体包括如下步骤：

步骤210、获取监控对象图像，监控对象图像包括深度信息和RGB信息。

步骤220、若根据监控对象图像确定监控对象有饮食动作，则提取监控对象图像中待食物体图像。

步骤230、根据待食物体图像的深度信息和RGB信息确定待食物体的属性。

步骤240、根据待食物体的属性和监控对象的状态信息，确定待食物体的食用属性。

步骤250、若待食物体的食用属性为安全，则根据监控对象的预设关节点的三维空间数据的变化和待食物体的状态确定监控对象是否存在进食动作。

其中，根据步骤240确定待食物体的食用属性为安全时，则表示待食物体可以放心食用，不会对身体造成伤害。预设关节点除了包括手和口腔外，还包括牙齿、喉咙和食道。待食物体的状态可以是待食物体放入口腔后，待食物体变化后的形状和大小。当监控对象将待食物体放入口腔后，通过监测牙齿、喉咙和食道的三维空间数据的变化和待食物体的状态，来确定监控对象是否有咀嚼和吞咽动作，若有咀嚼和吞咽动作，则可以确定监控对象存在进食动作。若监控对象将待食物体放到口腔后，又吐了出来，即不会产生咀嚼和吞咽动作，则表示没有进食动作。

步骤260、若存在进食动作，则记录并存储所述监控对象的当前饮食信息，其中所述当前饮食信息包括当前饮食的食物名称、进食量、进食速度和进食时间。

其中，当监控对象有进食动作时，则根据牙齿、喉咙和食道的三维数据的变化计算监控对象的进食量和进食速度，以检测饮食过程是否规范，同时也需要记录和存储监控对象当前食用的食物名称和进食时间，以作为下次判断食物是否相克的依据。在记录并存储当前饮食信息后，可以确定监控对象在第二预设时间内的统计饮食信息，并根据统计饮食信息、监控对象的年龄和体重信息以及饮食标准，生成推荐信息，以推荐健康的饮食使得营养均衡。第二预设时间可以为24小时、一个星期或者一个月。通过监控第二预设时间内的饮食信息，便于对监控对象的饮食进行管理，使得在保证饮食安全的情况下，也保证了饮食健康和营养均衡。

本发明实施例通过根据待食物体的属性和监控对象的状态信息，确定待食物体的食用属性为安全后，根据监控对象的预设关节点的三维空间数据的变化确定监控对象是否存在进食动作。若有，则记录并存储所述监控对象的当前饮食信息，以根据饮食信息对监控对象的饮食进行合理管理，保证了饮食安全和营养均衡。

实施例三

图3所示为本发明实施例三提供的一种监控饮食的装置的结构示意图，本实施例可适用于监控儿童饮食以确保饮食安全的情况，该装置包括：监控对象图像获取模块310、待食物体图像提取模块320、待食物体属性确定模块330、待食物体食用属性确定模块340和提醒警告模块350。

监控对象图像获取模块310，用于获取监控对象图像，监控对象图像包括深度信息和RGB信息；待食物体图像提取模块320，用于若根据监控对象图像确定监控对象有饮食动作，则提取监控对象图像中待食物体图像；待食物体属性确定模块330，用于根据待食物体图像的深度信息和RGB信息确定待食物体的属性；待食物体食用属性确定模块340，用于根据待食物体的属性和监控对象的状态信息，确定待食物体的食用属性；提醒警告模块350，用于若待食物体的食用属性为危险，则对监控对象进行提醒，并向监控对象的关联用户发送警告信息。

可选的，该装置还包括饮食动作确认模块，具体用于：

根据监控对象图像的深度信息确定监控对象的预设关节点的三维空间数据，预设关节点至少包括手和口腔；根据预设关节点的三维空间数据的变化确定手和口腔的距离和位置关系；若手和口腔的距离和位置关系满足进食条件，则确定监控对象有饮食动作。

可选的，待食物体属性确定模块330，具体用于：

根据待食物体图像的深度信息确定待食物体的三维空间数据，并根据待食物体的三维空间数据确定待食物体的形状特征；将待食物体图像的RGB信息转换为色调HSI数据；根据待食物体的形状特征、HSI数据以及物体数据库确定待食物体的属性。

可选的，待食物体食用属性确定模块340，具体用于：

根据待食物体的物体名称、物品数据库以及安全食品数据库确定待食物体是否为安全食物；若待食物体是安全食物，则根据待食物体三维尺寸和监控对象的食道三维尺寸，确定待食物体是否可安全食用，其中，待食物体三维尺寸根据待食物体的三维空间数据确定；若待食物体为非安全食物或待食物体不可安全食用，则确实待食物体的食用属性为危险。

可选的，待食物体食用属性确定模块340，还用于若待食物体可安全食用，且监控对象在第一预设时间内已食物体与待食物体相克，则确定待食物体的食用属性为危险。

可选的，该装置还包括可安全食用确定模块，具体用于：

根据监控对象的食道三维尺寸确定安全食物尺寸范围；若待食物体三维尺寸在安全食物尺寸范围内，则确定待食物体可安全食用；若待食物体三维尺寸在安全食物尺寸范围外，则确定待食物体不可安全食用。

可选的，该装置还包括：

进食动作确定模块，用于若待食物体的食用属性为安全，则根据监控对象的预设关节点的三维空间数据的变化和待食物体的状态确定监控对象是否存在进食动作；

饮食信息存储模块，用于若存在进食动作，则记录并存储监控对象的当前饮食信息，其中当前饮食信息包括当前饮食的食物名称、进食量、进食速度和进食时间。

上述产品可执行本发明任意实施例所提供的监控饮食的方法，具备执行监控饮食的方法相应的功能模块和有益效果。

实施例四

图4为本发明实施例四提供的一种设备的结构示意图，如图4所示，该设备包括处理器410、存储器420、输入装置430和输出装置440；设备中处理器410的数量可以是一个或多个，图4中以一个处理器410为例；设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的监控饮食的方法对应的程序指令/模块(例如，监控对象图像获取模块310、待食物体图像提取模块320、待食物体属性确定模块330、待食物体食用属性确定模块340和提醒警告模块350)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行设备/终端/服务器的各种功能应用以及数据处理，即实现上述的监控饮食的方法。

存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置430可包括摄像头等采集设备，用于将采集的监控对象图像输入到处理器410进行数据处理。

输出装置440可包括扬声器等发声设备，用于播放提醒语音。

实施例五

本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的监控饮食的方法。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。