用于在瓶子喂食期间提供帮助的系统和方法与流程

文档序号:33507335发布日期:2023-03-18 04:06阅读:150来源:国知局
用于在瓶子喂食期间提供帮助的系统和方法与流程

1.本发明涉及婴幼儿(例如婴儿)的瓶子喂食,并且特别地,本发明涉及用于帮助正确地保持瓶子和/或婴儿的系统和方法。


背景技术:

2.瓶子喂食婴儿是比许多人猜想的更复杂的过程。在瓶子喂食期间喂食婴儿的角度对于使婴儿舒适并且允许婴儿接收正确量的乳汁的喂食是至关重要的。
3.例如,不正确的喂食技术,例如不正确的瓶子角度,可能导致太多的空气进入胃中,并且在极端情况下可能导致窒息或呼吸损失。正确的喂食技术意味着正确地给予所有的乳汁,减少了气体和绞痛,并且有助于避免婴儿的过度喂食和喂食不足。
4.绞痛例如由消化系统中的空气引起。如果喂食瓶内的液位下降到某一水平以下和/或喂食瓶以水平位置提供给婴儿,则空气可以进入到瓶子的奶嘴区域。然而,水平或接近水平的喂食位置可能是优选的(取决于婴儿的定向),因为它可以更接近地模仿自然的喂食位置。
5.因此,瓶子(相对于婴儿)具有针对婴儿的相对窄的最佳角度范围,并且这可能给母亲或其他护理带来实现成功喂食的困难。


技术实现要素:

6.本发明由权利要求限定。
7.根据依据本发明的一个方面的示例,提供了一种图像处理器,用于在瓶子喂食期间提供帮助的系统中使用,该图像处理器包括:
8.输入,该输入用于接收受试者瓶子喂食婴儿的视频图像;
9.输出,用于提供视频图像以供显示,其中所述图像处理器适于:
10.识别所述视频图像内的婴儿;
11.确定所述婴儿的定向;
12.识别所述视频图像内的瓶子;
13.确定所述瓶子的定向;
14.确定所述瓶子和/或婴儿为了达到期望的瓶子定向所需的重新定向;以及
15.控制所述显示设备以输出叠加在所述视频图像之上的重新定向指令,以帮助所述受试者重新定向所述瓶子和/或所述婴儿,以实现期望的瓶子和/或婴儿定向。
16.该图像处理器执行图像分析以在婴儿的瓶子喂食期间向受试者(例如婴儿的母亲或其他看护者)提供实时帮助。特别地,处理器确定期望的瓶子定向和/或婴儿定向,并提供反馈以帮助受试者保持最合适的瓶子角度和/或婴儿定向,以正确地保持婴儿和瓶子,从而实现成功的喂食。
17.期望的瓶子角度取决于婴儿的定向以及相对于水平面的角度。因此,可能需要调整瓶子角度和/或婴儿定向或受试者定向以实现期望的关系。
18.例如,如果婴儿处于用于喂食的适合位置,处理器可以仅提供用于重新定向瓶子的指令。如果婴儿位置不合适,则系统可以在提供重新定向瓶子的指令之前提供重新定向婴儿的指令。
19.重新定向指令使得用户能够在整个喂食过程中被引导。该系统还通过提供积极强化和恒定的音频和/或视觉反馈来保持受试者的参与。
20.在医院的情况下,通过允许检查视频图像的一个医务人员远程监测多个进食过程,该系统可用于向远程监测站提供视频图像以解决医院工作人员不足的问题。另外,医务人员可以调整角度以在特定情况下提供最佳反馈。
21.图像处理器可适于在图像中识别受试者的手的定向,并且确定瓶子的长轴的定向垂直于手的手掌的定向。
22.因此,瓶子定向可以从受试者的手导出(因为受试者的手可能使瓶子本身不可见)。该受试者可以知道,该系统是基于瓶子的长轴垂直于手的手掌的假设来校准的。这是自然的喂食姿势,因此瓶子的底部在手的手掌中被托起。因此,识别瓶子可以包括基于握持瓶子的受试者的手的所识别的定向来呈现定向。
23.期望的瓶子定向可以对应于相对于婴儿身体轴线的倾角,该倾角落在预定范围内。
24.处理器还适于在图像中识别婴儿头部的位置和受试者的喂食手的位置。
25.通过定位婴儿头部和手,重新定向信息可以作为增强现实被提供,向受试者示出了瓶子和受试者的手旁边的最适当的瓶子角度。
26.处理器还可以适于识别图像中受试者的姿势。
27.该姿势信息例如基于头部位置、手臂和肩部位置,坐姿或站立姿势,以及向后或向前定向。该姿势信息可以帮助确定保持婴儿的方式,并且因此帮助确定婴儿的身体轴线。它还可以帮助确定瓶子被握持的角度。
28.因此,从图像中提取可靠地使得能够评估当前的瓶子定向和婴儿身体定向所需的尽可能多的信息。
29.处理器可以适于输出重新定向指令作为显示器输出上的期望定向的指示。
30.这提供了期望定向的视觉指示,这为受试者提供了如何调整它们握持瓶子的方式或者甚至调整它们的喂食位置的直观指示。
31.重新定向指令可以包括位于瓶子附近的箭头指示器。它们可以指示应当使用视频图像上的视觉叠加来调整定向的方式。可以提供类似的指示来引导受试者调整他们的位置和他们保持婴儿的方式。
32.处理器可以适于使用音频信号输出重新定向指令。可以附加地或替换地使用音频信号,使得受试者不需要观看显示器以受益于反馈信息。
33.本发明还提供了一种用于在瓶子喂食过程中提供帮助的系统,该系统包括:
34.捕获受试者瓶子喂食婴儿的视频图像;
35.识别视频图像内的婴儿;
36.确定所述婴儿的定向;
37.识别视频图像内的瓶子;
38.确定所述瓶子的定向;
39.确定所述瓶子和/或婴儿为了达到期望的瓶子定向所需的重新定向;以及
40.结合输出重新定向指令来显示视频图像,以帮助受试者将瓶子和/或婴儿重新定向到期望的瓶子和/或婴儿定向。
41.该方法可以包括在图像中识别受试者的手的定向,并且确定瓶子的长轴的定向垂直于手的定向。
42.期望的瓶子定向例如对应于在预定范围内相对于婴儿身体轴线的倾斜角。
43.该方法还可以包括识别图像中受试者的姿势。该方法可以包括提供输出重新定向指令作为显示器输出上的期望定向的指示。
44.本发明还提供一种计算机程序产品,包括指令,当所述程序在处理器上运行时所述指令用于实现上述方法。
45.本发明还提供一种包括上述计算机程序产品的计算机可读介质。
46.参考下面描述的实施例,本发明的这些和其它方面将变得显而易见。
附图说明
47.为了更好地理解本发明,并且为了更清楚地示出如何实现本发明,现在将仅通过示例的方式参考附图,其中:
48.图1示出了在本发明的系统中采用的图像处理步骤的序列;
49.图2示出了系统的硬件部分;以及
50.图3示出了用于在瓶子喂食期间提供帮助的方法。
具体实施方式
51.将参照附图描述本发明。
52.应当理解,详细描述和特定示例虽然指示了装置、系统和方法的示例性实施例,但是仅用于说明的目的,而不旨在限制本发明的范围。本发明的装置、系统和方法的这些和其它特征、方面和优点将从以下描述、所附权利要求和附图中变得更好理解。应当理解,附图仅仅是示意性的并且没有按比例绘制。还应当理解,在所有附图中使用相同的附图标记来表示相同或相似的部件。
53.本发明提供一种用于在瓶子喂食期间提供帮助的系统。受试者瓶子喂食婴儿的视频图像被捕获并显示。使用图像分析,瓶子和/或婴儿的重新定向被确定为达到期望的瓶子定向和/或婴儿定向所需的重新定向。重新定向指令与视频图像结合提供,以帮助受试者重新定向瓶子和/或婴儿以实现期望的瓶子定向。
54.图1示出了在本发明的系统中采用的图像处理步骤的序列。
55.捕获受试者12(母亲或看护者)瓶子喂食婴幼儿,例如婴儿13的视频图像10。图像可以由诸如移动电话的移动设备捕获。该过程可以从看护者将婴儿保持在移动设备的相机前方开始,以启动识别过程,此后,受试者可以采取喂食姿势。然后,图像处理可以包括在初始识别之后跟踪婴儿和受试者的位置。然而,图像处理可以替代地识别所有需要的特征而不需要任何初始化步骤。然后,移动设备开始获取实况视频数据。
56.然后执行图像预处理步骤,例如基于图像的灰度转换。
57.在步骤14中,执行图像的帧提取,并且在步骤16中,执行3d姿势估计以至少识别婴
儿的姿势。在一个示例中,还确定受试者的姿势。特别地,至少确定相对于瓶子的受试者的手的定向和婴儿的姿势。
58.受试者的姿势信息还有助于确定婴儿的定向(三个维度),因为婴儿定向可以部分地从受试者的姿势推导出。
59.然而,如果图像处理能够以足够的精度定位和分析瓶子和婴儿,则可以不需要受试者的姿势信息,因为它主要用于推导瓶子的定向,特别是由于瓶子可能被遮掩而不可见。
60.姿态估计例如包括通过神经网络运行帧以从每个帧中提取2d关键点。由此,识别关键位置,例如婴儿的面部和身体以及受试者的实际握持瓶子的手。
61.例如,鼓励受试者以特定的方式握持瓶子,使得系统可以假设受试者的瓶子喂食手的定向和瓶子的长轴之间的关系。例如,假定瓶子的长轴垂直于手的手掌,即垂直于手的总体平面。
62.例如,当受试者将瓶子握持到相机时,可以向受试者显示相对于手的正确瓶子定向(使得系统做出的假设有效),从而用户可以正确地握持瓶子。
63.受试者和婴儿的关键点和姿势可以被转换成由图像18表示的地图。这可以包括受试者的头部、手、手臂、颈部等,婴儿的身体定向,以及观察或假定的瓶子定向。图像18以直角示意性地示出了婴儿的长轴以及母亲的头部和婴儿的头部之间的线。
64.图像20示出了感兴趣区域的放大图,包括婴儿的头部、受试者的手以及瓶子。
65.用于识别和跟踪视频数据中感兴趣的特征的适当图像处理算法是公知的,并且在本技术的范围之外。
66.在步骤22中,确定受试者的最佳瓶子角度和/或定向。
67.在最简单的情况下,受试者的姿势是合适的喂食姿势,因此为受试者的特定姿势确定最佳瓶子角度。
68.在步骤24中,产生最佳瓶子角度定向的可视化。该可视化显示为图像26,其表示用于定位瓶子的重新定向指令。
69.在更先进的情况下,系统可以首先评估受试者姿势(以及婴儿姿势)是否适合于瓶子喂食。如果没有,重新定向指令或训练信息可以呈现给受试者以改善他们在瓶子喂食期间保持婴儿的方式。
70.这些说明例如采取箭头和虚线的形式来指示瓶子应该从其当前位置移位多少。可以提供类似的指令来适应受试者的姿势或婴儿的定向,或者可以为此目的提供训练视频。
71.在步骤27中对重新定向指令进行后处理,使得它们与视频图像的组合兼容之后,重新定向指令与原始视频图像实时组合,以将指令叠加在实际图像上。这显示为图像28。
72.重新定向指令可以基于使用图形的3d可视化,所述图形例如使用虚线示出瓶子应该如何被准确地握持。如果受试者不能经常观看屏幕,则还可以提供音频提示,以加强瓶子应该向上移动、向下移动或改变角度。可视化例如使用增强现实来提供最佳可视化。
73.在像医院的专业设置中,如果(婴儿和/或瓶子的)喂食位置在特定时间范围内未被优化,则该系统还可以警告医院中远程监测的医务人员,从而可以及时采取行动来支持和教育父母。
74.图2示出了用于在瓶子喂食期间提供帮助的系统的硬件组件,用于实现上述过程。可以包括单个相机,或多个相机,或3d相机的相机系统30用于捕获受试者瓶子喂食婴儿的
视频图像。相机系统可以是固定的相机,或者它可以是诸如平板计算机或电话的移动设备的相机,用户面向它们安装。
75.显示器32用于显示视频图像。显示器可以是同一移动设备的显示器,或者可以是例如通过诸如蓝牙的短程通信将图像发送到其的单独显示器。还提供了一种音频输出系统,例如包括同一移动设备的扬声器。
76.图像处理器34执行上述处理。图像处理器可以简单地是用作相机并且可选地还用作显示器的移动设备的处理器。因此,本发明可以实现为要加载到平板计算机或电话上的app。然而,该处理可以替代地远程执行,例如利用使用短程通信的本地设备(例如膝上型计算机)或者甚至通过因特网与远程设备通信。
77.图像处理的关键功能是:
78.识别所述视频图像内的婴儿;
79.确定所述婴儿的定向;
80.识别视频图像内的瓶子(通过直接识别或基于来自关于受试者的图像信息的假设);
81.确定所述瓶子的定向。
82.基于图像处理,可以确定瓶子和/或婴儿的所需重新定向,或者甚至受试者姿势的改变,以便达到期望的喂食条件。
83.期望的瓶子角度例如可以简单地为相对于水平面的角度,例如45度。然而,该角度可以取决于瓶子类型,并且该系统可以被调整到所使用的特定类型的瓶子。婴儿需要处于使得在期望的瓶子角度处能够从瓶子饮用的定向。
84.由此,可能需要调整瓶子角度和/或婴儿定向。期望的瓶子角度给出了相对于水平面的向下倾斜,以保持整个奶嘴,并且还需要相对于婴儿的身体定向的合适角度,使得婴儿能够舒适地锁在瓶子奶嘴上。婴儿应该处于合适的倾斜度以帮助打嗝,例如防止绞痛。
85.控制显示设备以结合视频图像输出重新定向指令,以帮助受试者重新定向瓶子和/或婴儿以实现期望的瓶子定向。该系统通过提供积极的强化和恒定的音频和/或视觉反馈来保持受试者参与。
86.图3示出了一种用于在瓶子喂食过程中提供帮助的方法,该方法包括:
87.在步骤40中,捕获受试者瓶子喂食婴儿的视频图像;
88.在步骤42中,识别视频图像内的婴儿;
89.在步骤44中,确定婴儿的定向;
90.在步骤46中,识别视频图像内的瓶子;以及
91.在步骤48中,确定瓶子的定向。
92.在步骤50中确定瓶子所需的重新定向,以便达到期望的瓶子定向。
93.在步骤52中显示与输出重新定向指令结合的视频图像,以帮助受试者将瓶子重新定向到期望的瓶子定向。
94.该方法还可以在步骤42开始,例如当捕获的视频已经可用时。
95.该系统还可用于跟踪婴儿喂食模式和习惯。本发明还可用于研究医院以及家庭应用中的婴儿喂食行为和模式。
96.该系统可以完全基于自然图像的分析。然而,也可以使用更容易识别的标记,例如
婴儿的身体或面部上的标记,和/或受试者的握持瓶子的手上的标记,和/或瓶子上的标记。
97.图像识别系统可以自动获得所有需要的姿势信息,而不需要受试者的任何特殊动作。然而,受试者可以替代地提供输入,例如如上所述在相机前方具有初始姿态。
98.期望的瓶子角度例如垂直于婴儿的身体轴线,其被确定为3d姿势信息的一部分。至少,该系统利用婴儿身体定向,婴儿头部的位置和瓶子定向(和位置),从而可以确定它们之间的角度。相对于水平面的角度也是已知的。
99.期望的定向可以作为3d矢量获得。这可以用简化的2d形式表示,使得对于受试者和婴儿的给定姿势,所需要的全部是瓶子与显示器上的2d矢量的对准,具有实时反馈以示出何时对准被实现。可以使用所需重新定向的更复杂表示来显示3d方向信息。
100.可以使用增强现实将期望方向的3d矢量传递到屏幕上的2d空间。备选地,屏幕上的3d表示可由用户通过用户界面中的观看选项菜单来选择。
101.可以利用给出更详细的瓶子位置和婴儿定向信息的额外传感器(诸如3d相机或多个相机)来创建期望定向的更精确估计。也可以使用音频反馈向用户给出3d域中的重新定向指令。
102.本领域技术人员能够容易地开发用于执行所述方法的处理器。因此,图3的流程图的每个步骤可以表示由处理器执行的不同动作,并且可以由处理的处理器的相应模块执行。
103.处理器可以用软件和/或硬件以多种方式实现,以执行所需的各种功能。处理器通常采用可使用软件(例如,微码)编程以执行所需功能的一个或多个微处理器。处理器可以实现为执行某些功能的专用硬件和执行其它功能的一个或多个编程微处理器和相关电路装置的组合。
104.可以在本发明的各种实施例中采用的电路装置的示例包括(但不限于)常规微处理器、专用集成电路(asic)和现场可编程门阵列(fpga)。
105.在各种实现中,处理器可以与诸如易失性和非易失性计算机存储器(诸如ram、prom、eprom和eeprom)之类的一个或多个存储介质相关联。存储介质可以编码有一个或多个程序,当在一个或多个处理器和/或控制器上执行时,该程序执行所需的功能。各种存储介质可以固定在处理器或控制器内,或者可以是可传送的,使得其上存储的一个或多个程序可以被加载到处理器中。
106.通过研究附图、公开内容和所附权利要求,本领域技术人员在实践所要求保护的本发明时可以理解和实现所公开实施例的变型。在权利要求中,词语“包括”不排除其他元件或步骤,并且不定冠词“一”或“一个”不排除多个。
107.在相互不同的从属权利要求中叙述某些措施的事实并不表示不能有利地使用这些措施的组合。
108.计算机程序可以存储/分布在适当的介质上,例如与其他硬件一起提供或作为其他硬件的一部分提供的光存储介质或固态介质,但是也可以以其他形式分布,例如经由因特网或其他有线或无线电信系统。
109.如果在权利要求或说明书中使用术语“适于”,则应注意,术语“适于”旨在等同于术语“被配置为”。
110.权利要求中的任何附图标记不应解释为限制范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1