的光图案、光图案的所 得到的识别和所检测到的手抖动移动； 图4示出3D重建的步骤的示例； 图5示出光图案结构的一些可能变型； 图6图示手抖动补偿系统； 图7图示从连续图像提取光图案的方法； 图8图示二进制化的示例； 图9示出摄像机视图和投影仪视图上对应条纹的边缘之间的匹配过程； 图10示出一致匹配的曲线追踪； 图11图示图像获取过程； 图12图示图像分割步骤； 图13图示食物辨别步骤； 图14和15图示高级丸剂计算(例如脂肪含量、血糖指数）； 图16和17图示移动设备中的实现的各种选项(例如移动电话、葡萄糖仪、胰岛素栗控制 器），作为扩展或附件或者作为本机嵌入式部件。
【具体实施方式】
[0028] 本文公开了一种用于利用移动设备估计食物的体积的系统。该系统使用摄像机和 光图案投影仪。在其上具有和不具有投影光图案的食物的图像使得能够计算立体形状、图 像分割和辨别步骤，识别和辨别所述图像中的一个或多个食物类型，而通过使用形状和分 割和辨别结果来计算体积。通过应用离线或远程可访问数据库，一个或多个碳水化合物值 被估计并且一个或多个关联的胰岛素丸剂剂量被提供。发展包括如下各项:光图案、不同光 源和关联的光谱属性的编码、运动补偿、附加光学器件、脂肪含量的估计和关联的多波丸 剂。本发明可以例如在葡萄糖仪或者被提供有测试条端口或移动电话的胰岛素栗控制器中 实现。
[0029] 本文公开了一种设备，附连或嵌入到移动电话中，以用于取回由外部的小型单元 构成的表面的三维结构以生成和/或投影表面上的一个或多个低强度光图案和数据处理算 法。该设备在预定的位置处被放置在移动电话上或中，且由移动电话控制。作为控制信道， 可以使用蓝牙、电话插孔或移动电话闪光灯。该控制由专用软件应用执行。移动电话软件在 具有和不具有图案突出显示的情况下顺序地拍摄物体的两张照片。使用图像的所得到的减 法来提取图案。另外，表面的3D形状和关联的体积被计算。为了估计碳水化合物含量，所计 算的形状连同自动或半自动食物分割和辨别的结果和营养数据库一起被使用。
[0030] 图1图示当一些特定实施例被实现时方法的实际使用的示例。根据本发明的设备 (包括一个或多个图像或视频获取装置和一个或多个投影仪装置)被附接到移动电话。可 替代地，这样的设备被嵌入在移动电话中。在其中设备在固定位置中被附接到移动电话的 情况下，光图案的取向是预定义的，并允许在移动电话上使用简化算法。专用的应用可以在 移动电话上由用户启动。移动电话然后被放置在取向朝向盘装菜的某个位置中。用户利用 例如显示器上的虚拟控件启动测量(例如，按压按钮或激活触摸屏区域）。应用（"app"）触发 连续的子步骤。它首先开启照射(光源的投影）。可选地，可以通过开启移动电话闪光灯来实 现触发。还可以通过经由蓝牙或电话插孔而传输到设备的命令来实现触发。该设备的光学 物镜形成到特定图案中的光源束。图案的形状可以是预定义的(或自适应的，当例如连续照 明发生时）。光图案的投影覆盖移动电话摄像机的所有视场。执行一张图片拍摄（图像获 取）。然后，应用关闭照明并在不突出显示的情况下重复拍摄。然后，应用区分盘装菜中存在 的不同食物元素，计算不同体积和不同的关联食物类别。最后，应用提出一个或多个丸剂值 给用户。在一些实施例中，分割的图像被示出为指示不同辨别部分和关联的碳水化合物值。 在一些进一步的实施例中，脂肪含量和其他营养值也被估计，并且可以提出多波丸剂，以匹 配血糖上升的动力学与体内的胰岛素效果。
[0031] 在一些实施例中，移动设备的位置可以是使用操作为取景器的屏幕来调整的，其 中保证突出显示所选择的具有光图案的视场。换句话说，按照原则，取景器把摄像机聚焦在 正确的物体上，光学器件的视场被设计为覆盖摄像机的视场。
[0032] 在一些实施例中，在膳食的消耗之前执行方法的步骤，并且在膳食被消耗之后重 复方法的步骤。通过减去所估计的体积，可以进行进一步的碳水化合物估计。用户未完全吃 掉膳食可能是非常确实的，并且在这样的情况下，将必须执行减法操作。由于食物盘可以被 分割成若干个部分(对应于不同食物类别，例如牛排和马铃薯），因此可以存在若干个体积 的关联估计并且接下来可以提出全局胰岛素丸剂推荐，或者每个与不同食物部分相关联的 若干个丸剂值，所述一个或多个胰岛素剂量对应于实际消耗的食物。
[0033] 图2是体积估计的方法的示意性和示例性工作流程。移动设备上的预先安装的应 用（"app"或程序)包括用户界面，以允许用户与系统交互，例如启动或停止测量。用户将移 动电话保持在感兴趣物体(例如，盘上的食物)之上的固定位置处。然后，应用在最小时间框 架内自动获得物体的两次拍摄。在图像获取后，程序使用两个所获取的图像来提取图案。这 是通过从没有光图案的简单图像中减去含有光图案的图像来执行的。减法的结果被用于获 得光图案及其形状。在具有减法和光图案检测的迭代过程之前或之后或之中，由用户手抖 动引起的伪像被检测和校正。手抖动生成运动模糊，其可以被公式化为卷积核，该核可以被 自动检测到且然后通过使用图像降噪而自动补偿。此外，多视图方法允许:通过使用图像序 列上的共同特征来检测运动;计算相对姿态和取向。可替代地，可以使用图像之间的共同点 来应用一般投影和图像扭曲变换，并且因此，该一般投影和图像扭曲变换可以用于将一个 图像映射到另一个上，从而去除由于运动而导致的伪像。光流是图像扭曲的密集等同物，其 可以发现更优的变换，并提供更准确的误差补偿。一旦检测到运动，它就由图像重映射来校 正。
[0034]若干种方法可以用于3D重建。
[0035]例如，可以通过计算各个线的变形来执行从光图案的3D重建。梯度也可以被视为 沿每一条线延伸，并且，可以通过三角测量来计算场景的深度。三角测量在于使用多个摄像 机上投影点的已知三角连接性来取回它们在空间中的位置。考虑到空间中的点的投影几何 形状，空间中的点的投影处于连结该点和摄像机中心的直线上。当存在多个摄像机时，将点 连结到两个摄像机的段和连结两个摄像机中心的段形成三角形，并且点的投影处于连结点 和摄像机的两个段上。所述三角测量使用点的投影，以重建对应的三角形，其中第三个角是 3D场景中的点。这个步骤被应用到图像之间的所有对应关系。获得点的云，点的云代表在图 像中描绘的场景。通过使用根据本发明的不同实施例的投影光图案来促进在不同图像中点 的对应投影的识别(称为《点对应关系》)。例如，使用条纹图案，发现多个图像中的点对应关 系与发现多个图像中的对应条纹的任务相比被简化。通过同时在这两个图像中传播条纹 索引远离参考（'水平地'），单个参考条纹是获得针对所有点的匹配所必需的。通过沿条纹 ("垂直地"）传播索引，条纹内的逐渐阻塞可以被处置。每当穿越黑和白边界时，水平传播的 步骤都增加条纹索引。垂直传播条纹索引的步骤针对所连接的部件中的点保持相同的索 弓丨。通过在每个点处选择最小传播索引，获得正确的条纹匹配(除非在前景中存在大物体的 集合，掩蔽感兴趣物体，但在实践中，当扫描食物时或类似地当扫描平坦表面上的简单场景 时，这不会发生）。
[0036]图3示出所分析的物体的示例，具有和不具有在其上投影的光图案、光图案的所得 到的识别和所检测到的手抖动移动。图3A示出具有在其上投影的光图案（即，亮条纹）的物 体(例如鸡翅）。图3B示出不具有突出显示的物体。图3C代表两个图像之间的减法的结果，得 到光图案的识别。摄像机的移动可以由于手抖动（由箭头标记在图像上)而被观察到。
[0037]图4示出3D重建的步骤的示例，包括图像的减法、噪声去除步骤和3D形状计算步 骤。图4A和图4B示出具有和不具有光图案的测试图像。图4C示出在没有"手抖动"的情况下 原始图像(A)和(B)的减法结果。图4D示出光图案的处理并且使它们1像素薄。图4E示出从线 的变形计算的3D模型。
[0038]图5示出光图案结构的一些可能的变化，这些变化仅是示例。图案的元素的形状可 以就其关于局部深度的变形而言给出关于到物体的距离的信息。光图案可以是从光源直接 获得的，来自被附接到移动装置或被本机嵌入在移动设备中的设备中的可更换或预定义的 掩模或非光学元件。例如，移动电话闪光灯可以包含形成光图案的光学元件、幅度波带片。 图案的结构可以变化，如由图5(A)条纹、（B)重复元素、（C)圆点或甚至(D)其混合物中的一 些示例所示。
[0039]根据本方法的3D信息提取在分析光图案在所分析的表面上的反射的技术上被简 化。在优选实施例中，通过使用静态光图案对表面进行编码来获得3D信息。仍然，根据本方 法的一些进一步发展，在图像/视频获取(获取例如更多图像)期间移动或旋转(一个或多 个)光图案可以是可能的，该附加步骤可以使得能够节省关于表面的条纹的二进制信息(并 且接下来推断关于被分析的表面的各部分的性质和纹理的信息）。
[0040] 图6图示了手抖动补偿系统。虽然固定摄像机（即，在图像获取期间具有空间中的 稳定条件)导致准确的体积测量，但本发明的一些实施例在移动性情形中（即，在图像获取 期间具有空间中的相对不稳定的条件)实现图像获取。当移动设备由人握持时，在执行图像 获取的同时(在获得表面的快照的同时），用户的手可能抖动。
[0041] 根据本发明的一些实施例，设备的由于手抖动而导致的所检测到的移动可以被考 虑，以补偿这些移动并最终减小噪声伪像。所描述的方法有利地利用在该设备中且针对该 设备测量且可用的加速度计和/或运动传感器数据。因此，通过考虑补偿数据（即，由手抖动 生成的伪像），该方法可以超出纯图案线提取的处置。作为结果，体积的准确度增加。在没有 补偿的情况下，由于手抖动而导致的伪像线将以其他方式参与不太准确(但仍然有价值)的 三维重建。
[0042]各种机构或部件可以被用于补偿手抖动:运动传感器(例如加速度计或陀螺仪）， 用于图像稳定的机械(和/或电气)光学元件。在优选实施例中，移动电话的现有光学元件被 使用，并且手抖动由软件校正基于加速