食物体积和碳水化合物的估计的制作方法
【技术领域】
[0001]本发明一般地涉及用于估计食物的体积和糖类（以下称为碳水化合物)含量的方 法、系统和设备。
【背景技术】
[0002] 移动电话关联的应用代表快速增长的市场，其为用户提供了针对各种各样的任务 的许多有帮助的工具。最近在硬件和信号处理方面的成就已经提高了这些工具的可使用性 并给予用户机会来靠他们自己执行准确测量。
[0003] 同样地，存在对适合于饮食的自我评估的便携设备的增长的需求，其中对于患有I 型糖尿病的患者而言尤其强烈需要。患有糖尿病的人的总数估计达到4亿，并且这个数量在 接下来的几十年中将大大增加。针对患有糖尿病的人的关键任务之一是对食物摄取的量和 类型的控制。对他们来说，饮食影响血糖会比对于健康个人多得多。临床研究已经表明，对 接受强化胰岛素治疗的儿童和青少年，±l〇g碳水化合物计数的不准确性不会恶化餐后控 制，而± 20g变化显著影响餐后血糖。
[0004] 由于各种各样的食物类型和食物份的复杂不规则形状，食物摄入估计是不小的任 务。图像处理和计算机视觉技术已经取得了一些进展，但众多不确定性依然存在且累积(食 物的类型的辨别、体积的估计、多种多样的照明条件等）。关于体积(其是关键参数)的估计， 针对工业活动的可用3D扫描技术(使用中等功率消耗激光器来扫描物体和重建3D形状)不 适配于移动和个人环境。工业激光器需要重要的能量来源，可能对于眼睛来说是危险的，且 可能需要若干个图像获取设备。
[0005] 专利文献针对工业环境中的3D或体积估计而被开发，但对于销售量大的类型环境 来说是稀缺的。
[0006] EP2161537公开了一种位置测量装置，包括:把第一束照射到物体的第一照射部 分;把第二束照射到物体的第二照射部分;捕获物体的图像的捕获部分;处理部分，其通过 处理由捕获部分捕获的图像来生成第一差异图像和第二差异图像;提取部分，其从第一差 异图像提取物体的轮廓和特征点；计算部分，其基于第二差异图像来计算位于物体上的反 射点的三维坐标；以及确定部分，其通过相对于物体的预定建模数据匹配轮廓、特征点和三 维坐标来确定物体的位置。该系统呈现出缺点。
[0007] Shang等人的〃Dietary intake assessment using integrated sensors and software", Proceedings of SPIE, Vol. 8304 page 830403描述了由以下各项构成的系 统:移动设备，集成智能电话和集成激光器封装；智能电话上的软件，用于数据收集和激光 控制；算法，处理针对食物体积估计的所获取的数据；以及数据库和接口，用于数据存储和 管理。激光器封装创建结构化光图案，特别是激光网格。
[0008] 该系统利用摄像机围绕食物的缓慢移动收集视频，并收集视频序列，摄像机被稳 定在若干个位置处。在视频收集期间开启和关闭激光器，导致交替地具有和不具有激光网 格的视频帧。由于两个相邻帧之间的运动被认为是小的，因此可以通过从网格图像中减去 非网格图像来提取激光网格线。
[0009] 因为智能电话仅具有中等计算能力，所以它适合于数据收集而不适合于体积估 计。因此，所获取的网格视频被传输到服务器以用于进一步处理。此外，食物类型是由用户 手动识别的，同时也手动执行对其运动较小的若干对图像的选择。这些限制了系统的可使 用性。
[0010] 存在对估计物体(如食物）的体积和推导食物营养价值及其胰岛素丸剂建议的方 法、系统和便携设备的需要。
【发明内容】
[0011] 本发明涉及供摄像机使能便携设备(如移动电话、智能电话)用于使用结构化光进 行的食物体积估计、用于通过图像分析进行的食物分割/辨别和用于高级丸剂提议特征的 应用。使用数据分析/处理和表面突出显示的变化的组合，3D扫描原理被适配于移动设备， 如移动电话，其呈现特定图像获取条件。示例教导如何过滤噪声和信号伪像。本发明的实施 例解决了包括下述各项的技术问题:对光源的小型化，以使其可能用作可附接设备;优化处 理算法以适应对移动设备的计算功率约束；以及实现有效的噪声降低。
[0012] 这是通过如权利要求1中所描述的本发明系统实现的。
[0013] 本文公开了一种系统，用于估计物体的体积，所述系统包括当由处理器执行时导 致包括以下各项的操作的指令:从图像获取部件接收物体的第一图像;利用光图案投影部 件在物体的表面上投影光图案;从图像获取部件接收物体的第二图像，第二图像被突出显 示有所述光图案;使第一和第二图像相减;识别物体上的投影光图案;和在给定投影光图案 的变形的情况下，计算物体的立体形状和体积。
[0014] 在可选发展中，光图案投影部件的照射功率可以在5mW之下。对于环境照明条件， 合适的照射功率可以在〇.5mW之上。在发展中，光图案投影部件包括从列表中选择的一个或 多个光源，该列表包括低强度半导体激光器二极管、LED、有机LED(OLED)、预先存在的移动 电话闪光灯，诸如白光LED或小型化卤素灯或其组合。更优选地，光源被操作在连续模式中 或在脉动模式中，具有大约〇. 1到100Hz之间的脉冲频率，甚至更优选地，0.5和10Hz之间的 脉冲频率。
[0015] 在特定实施例中，光源的功率消耗小于0.7W，特别地，功率消耗处于大约0.05W和 大约0.7W之间的范围内。
[0016] 在发展中，系统，特别是光图案投影部件，包括光学物镜，光学物镜被适配为形成 和投影和/或聚焦光图案到物体上。优选地，光学物镜具有从光源的照射功率的总输出的在 60%以下的照射损耗。
[0017] 在发展中，光图案投影部件和图像获取部件的相对姿态和取向在图像获取操作 和/或光图案投影操作期间是静态的或不变的。在发展中，投影光图案由几何主题构成，几 何主题诸如是条纹、或点、或重复图形元素或其组合的序列。特别地，几何主题具有明亮区 域，该明亮区域处的功率密度在55mWt/cm 2之下。
[0018] 在发展中，光图案是通过颜色和/或相位和/或幅度调制来编码的。在发展中，光图 案的编码是预定义的并与图像获取部件同步。所有颜色分量的总照射功率等于光图案投影 部件的光源的输出照射或在其之下。
[0019] 在发展中，编码可以是通过把一个或多个源的光谱匹配到图像获取部件的滤波器 的最大传输速率来实现的。在发展中，系统还包括如下操作:通过补偿在图像获取操作期间 图像获取部件的移动来校正第一和/或第二图像。在进一步的发展中，补偿是通过处理从与 移动设备关联的加速度计和/或陀螺仪和/或运动传感器和/或机械光学部件和/或电气光 学部件和/或摄像机追踪部件和/或磁力计和/或计算机视觉跟踪设备接收的数据来执行 的。
[0020] 在发展中，补偿是通过如下方式执行的：通过多视图几何方法(例如，使用图像特 征的姿态解算机)或投影扭曲；或通过分段线性、投影或更高阶扭曲；或通过反卷积;或通过 取向图像锐化;或通过在具有图像减法的迭代改善过程之前或之后或之中的光流检测。在 发展中，物体是食物，且进一步包括如下操作:执行第一和/或第二图像的食物辨别以估计 所述图像中的一个或多个食物类型和与所述食物类型相关联的一个或多个体积。在发展 中，食物识别操作包括如下操作中的一个或多个:分割图像、识别图像的经分割的部分的颜 色和/或纹理特征、和针对图像的一个或多个经分割的部分执行基于机器学习的分类、或其 组合。
[0021] 在发展中，系统还包括如下操作:通过把确定的食物类型的估计体积与从数据库 中检索的单位体积值相乘来估计在第一或第二图像中捕获的膳食的一个或多个膳食特性， 所述数据库被远程存储(例如群集、服务器和/或计算机网络)且通过任何可用的有线和无 线通信信道而访问，和/或本地存储在设备上，和/或通过使用光学字符辨别(OCR)从食物标 签确定和/或与地理位置数据相关联和/或由用户提供。在进一步的发展中，膳食或其部分 的一个或多个特性是如下各项中的一个或多个:碳水化合物含量、脂肪含量、蛋白质含量、 血糖指数(GI)、血糖负荷(GL)和/或胰岛素指数（II)或其组合。在发展中，本文提供了基于 所述一个或多个膳食特性的胰岛素剂量推荐和/或丸剂分布建议。在发展中，光图案的投影 以及特别地由系统执行的整个传递途径是通过语音命令或通过手势命令和/或通过触摸屏 命令和/或键盘和/或通过地理围栏和/或地理定位和/或通过跟随预定义的时间调度来触 发的。在发展中，图像获取部件和光图案投影部件被嵌入在移动设备中，所述移动设备诸如 是葡萄糖仪或被提供有测试条端口或移动电话的胰岛素栗控制器。
[0022] 在发展中，光图案投影部件可附接到移动设备。优选地，光图案投影部件被插入， (即，被连接到）系统的电接触槽，特别诸如是优选地手持设备(例如，优选地，智能电话）的 充电槽或USB槽。
[0023] 在发展中，第一或第二图像是视频帧，并且图像获取部件是视频摄像机。
[0024] 在发展中，一个或多个操作被连续地、并且特别地自动地重复，直到基于与包括如 下各项中的一个或多个的准则相关联的预定义阈值将第一和/或第二图像的获取认为是足 够的：图像质量、手抖动的关联测量值、静止图像或视频帧之间的时间延迟、所得到的光图 案或其组合。
[0025] 在进一步的实施例中，图像获取部件具有处于5勒克斯之下的灵敏度。
[0026] 本文公开了一种计算机程序，包括用于当所述计算机程序在一个或多个合适部件 上执行时执行根据本公开的一个或多个操作的指令。本文还公开了一种计算机可读介质， 具有编码在其上的这种计算机程序。
【附图说明】
[0027] 图1图示了方法的实施例的实际使用； 图2是体积估计的方法的示意性和示例性工作流程； 图3示出所分析的物体的示例，具有和不具有被投影在该物体上