物品识别系统与方法与流程

本发明是有关于一种物品识别系统与方法，且特别是有关于融合影像与光谱信息的物品识别系统与方法。

背景技术：

近年来，由于新兴的个人医疗保健，食物识别技术已吸引很多的注意。然而，以影像为基础的食物识别是一个挑战的工作。这是由于即使对相同的食物取得影像，但是食物的外形仍是有多样的变化。在这样的方式下，可以直接采用以组片(patch)为基础的视觉外观的方式取代以特征为基础的方式。

以视觉为基础的食物辨认是新兴辨认物品的应用之一，因为其能用来辅助估算食物热量以及分析人们的饮食习惯以进行健康管理。因此，已有许多方式被提出。在计算机视觉的研究上已经探讨在实验室环境控制下的食物的小组成或由网络所获得的食物影像的辨认。然而，仅有少数的系统尝试挑战从实际环境所获取的影像来对食物辨认，这些方法在特定的环境下可以工作得很好。然而，这些方法的困难点是要找到不变的特征，也就是指此特征在因食物的不同配置所产生不同视觉外观时仍是稳固的。

技术实现要素：

本发明有关于根据食物的影像与光谱的组合而达到食物辨认的技术，有助于提升对于例如食物等此类物品的辨认准确性。

于一实施例，本发明提供一种物品识别系统。此系统包括影像/光谱感测元件、物品影像特征数据库、物品光谱特征数据库、物品影像特征撷取模块、物品影像特征分析模块、物品光谱特征撷取模块、物品光谱特征分析模块、融合模块。影像/光谱感测元件，以从实际物品取得实际物品影像以及在对应该实际物品影像的多个感测区域对该实际物品感测出多个光谱。物品影像特征数据库，储存对应不同的多个第一物品样本的多个影像特征形态，其中每一个物品样本是由一组片来确认，该组片由微基础阵列所构成，其中每一个影像特征形态是一个稀疏编码，代表分布在对应的一个组片上的多个特征微基础的一稀疏编码。物品光谱特征数据库，储存对应不同的多个第二物品样本的多个光谱特征形态。物品影像特征撷取模块，耦接到该物品影像特征数据库，以对应该物品影像的每一个兴趣区域(ROI)取得一实际物品影像特征形态。物品影像特征分析模块，依照该些组片的该些稀疏编码，从该些物品影像特征形态对应每一个该兴趣区域搜寻出至少一个第一候选物品，以及输出关于该至少一第一候选物品的第一信息。物品光谱特征撷取模块，耦接到该物品光谱特征数据库，以对应该物品影像的每一个该兴趣区域取得一实际物品光谱特征形态。物品光谱特征分析模块，对应每一个该兴趣区域从该些物品光谱特征形态搜寻出至少一第二候选物品，输出关于该至少一第二候选物品的第二信息。融合模块分析该第一信息与该第二信息，以决定是否在该第一信息与该第二信息存在至少一组确认物品，以确认该实际物品。

于一实施例，本发明提供一种物品识别方法。此方法包括：提供影像/光谱感测元件、提供物品影像特征数据库、提供物品光谱特征数据库、提供物品影像特征撷取模块、提供物品影像特征分析模块、提供物品光谱特征撷取模块、提供物品光谱特征分析模块、提供融合模块。该影像/光谱感测元件进行从实际物品取得实际物品影像以及在对应该实际物品影像的多个感测区域对该实际物品感测出多个光谱。该物品影像特征数据库用以储存对应不同的多个第一物品样本的多个影像特征形态，其中每一个物品样本是由一组片来确认，该组片由微基础阵列所构成，其中每一个影像特征形态是一个稀疏编码，代表分布在对应的一个组片上的多个特征微基础的一稀疏编码。该物品光谱特征数据库进行储存对应不同的多个第二物品样本的多个光谱特征形态。该物品影像特征撷取模块，进行耦接到该物品影像特征数据库，以对应该物品影像的每一个兴趣区域(ROI)取得一实际物品影像特征形态。该物品影像特征分析模块，进行依照该些组片的该些稀疏编码，从该些物品影像特征形态对应每一个该兴趣区域搜寻出至少一第一候选物品，以及输出关于该至少一第一候选物品的第一信息。该物品光谱特征撷取模块，进行耦接到该物品光谱特征数据库，以对应该物品影像的每一个该兴趣区域取得一实际物品光谱特征形态。该物品光谱特征分析模块，进行对应每一个该兴趣区域从该些物品光谱特征形态搜寻出至少一第二候选物品，输出关于该至少一第二候选物品的第二信息。该融合模块进行分析该第一信息与该第二信息，以决定是否在该第一信息与该第二信息存在至少一组确认物品，以确认该实际物品。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。

附图说明

图1绘示本发明一实施例的物品识别系统示意图。

图2A绘示本发明一实施例的影像/光谱感测元件示意图。

图2B绘示本发明一实施例的影像/光谱感测元件示意图。

图3绘示本发明一实施例的在初始阶段搜寻候选食物的机制示意图。

图4绘示本发明一实施例的物品影像特征分析模块示意图。

图5绘示本发明一实施例的物品光谱特征分析模块示意图。

图6绘示本发明一实施例的组合影像特征与光谱特征信息的融合模块示意图。

图7绘示本发明一实施例的依照食物组片搜寻候选食物示意图。

图8绘示本发明一实施例的食物样本的光谱特征形态示意图。

图9绘示本发明一实施例的依照方大光谱的方式以验认候选食物的机制示意图。

图10绘示本发明一实施例的依照放大光谱的方式以验认候选食物的机制示意图。

【符号说明】

80：实际食物 400：融合核心

90、90’：物镜 402：处理模块

92、92’：影像感测阵列 404：第一模块

94、94’：光谱感测阵列 406：第二模块

96：感测元件 408：第三模块

100：影像/光谱感测元件 410：第四模块

102：食物影像特征撷取模块 412：第五模块

104：食物光谱特征撷取模块 414：输出模块

106：食物影像特征分析模块 500：食物样本

108：食物光谱特征分析模块 502：组片

110：食物影像特征数据库 504：直方图

112：食物光谱特征数据库 700：食物光谱特征形态

114：融合模块 702：食物光谱特征形态

116：模块 704：食物光谱特征形态

118：应用单元

150：膳食

152：影像

154：微基础阵列

156：光谱形态

200：模块

202：模块

203：搜寻模块

204：外观搜寻模块

206：纹理搜寻模块

208：判断模块

210：外观/纹理选择模块

212：扫描结束电路

214：输出模块

300：模块

302：模块

304：搜寻模块

306：判断模块

308：支持向量机模块

310：扫描结束电路

312：输出模块

具体实施方式

本发明有关于根据物品的影像与光谱的组合而达到物品例如食物的辨认技术。影像的辨认采用一个稀疏编码(sparse code)构成一个组片来代表一个物品种类。因为影像特征与光谱特征二者都被考虑，对于实际物品的识别准确度可以提升。

提供的多个实施例是用来描述，但不是用来限制本发明。

本发明所使用的“模块”代表一个电路，其涉及计算与分析的软件程序。“模块”是属于结构而不仅是一个功能方块。

图1绘示本发明一实施例的物品识别系统示意图。请参阅图1，所述物品识别系统例如为以识别食物为例的物品识别系统，包括影像/光谱感测元件100、食物影像特征数据库110、食物光谱特征数据库112、食物影像特征撷取模块102、食物影像特征分析模块106、食物光谱特征撷取模块104、食物光谱特征分析模块108、融合模块114。此系统也可以还包括一模块116，以处理在经过食物确认后的结果数据。在应用上，其结果可以传送给外部的应用单元118或是给适合需要的任何应用。

通常，影像/光谱感测元件100是要从实际食物取得食物影像以及在对应此食物影像的多个感测区域对此实际食物感测出多个光谱。于此，食物的影像与光谱可以是分别取得，也可以是由单一感测装置整合取得。

图2A绘示本发明一实施例的影像/光谱感测元件示意图。请参阅图1与图2A，影像/光谱感测元件包括对应物镜90的影像感测阵列92以及应物镜90’的光谱感测阵列94。如此，在实际食物80的影像以及对应实际食物80的光谱可为分别取得。然而，光谱是对应实际食物80的多个区域，且会被对应到影像的空间。

另一种方式，食物的影像与光谱可以被整合。图2B绘示本发明一实施例的影像/光谱感测元件示意图。参阅图1与图2B，影像感测阵列92’与光谱感测阵列94’是被整合成感测元件96。影像/光谱感测元件100包括影像感测阵列92’与光谱感测阵列94’，其例如是被叠置在一起且其间的像素对像素是对应的。然而在另一实施例，光谱感测阵列94’的分辨率可能比影像感测阵列92’的分辨率小。于是，其就不需要像素对像素的对应，但是取的光谱的位置可以在影像上的位置相对地对应。更关于像素对像素的对应，其也可以由硬件或是软件达成。于本实施例，影像感测阵列92’与光谱感测阵列94’例如为叠置在一起，光谱感测阵列94’的传感器相对于影像感测阵列92’的几何位置可以准确得知。此两个阵列的对应可以利用硬件或是软件简单地与准确地对应。光谱感测阵列94’的每一个像素产生一个对应波长的光谱。

请再参阅图1，食物影像特征数据库110储存对应不同的多种第一食物样本的多组影像特征形态(Image Feature Pattern)，用于影像识别。于此，请先参阅图7，这些食物样本500中的任一个食物样本500由一组片(patch)502来进行识别，组片502例如是由微基础阵列所构成，每一微基础阵列是由多个微基础所构成。请再参阅图7，每一个组片502中的这些微基础(Atom)对于每一种食物是在松散(Sparse)的位置以代表该种特定食物的特征形态。在每一个组片502中的这些微基础构成一组稀疏编码(Sparse Code)，不同组片502的不同食物具有不同的稀疏编码。换句话说，这些影像特征形态的每一个是由一组稀疏编码来代表分布在对应的组片的多个特征微基础的一影像信息，所述影像信息例如可以是颜色信息。

请参回至图1，食物光谱特征数据库112储存对应不同的多种第二食物样本的多个光谱特征形态(Spectrum Feature Pattern)。食物影像特征撷取模块102耦接到食物影像特征数据库110以取得对应食物影像中的每一个兴趣区域(Region of Interest，ROI)的一实际物品(食物)影像特征形态。每一个兴趣区域例如是对应上述食物影像中的一个区域，而在此区域中可能有食物要被确认。这兴趣区域中，可能主要包含一种食物，或是包含多种食物的混合，又或是没有食物。一般而言，被影像感测阵列92’所摄取的实际物品影像(或食物影像)，可能会是包含多种食物配置在一起的影像。可以根据图像处理技术中关于食物搜寻的算法，来于上述食物影像中找出各个食物影像的可能边缘，并通过此找出的边缘来界定出至少一个兴趣区域。关于影像边缘或区域的侦测可以参考本申请涉及的美国临时专利申请第62/206,317号的内容。但是，本发明并不限于所述的方法来决定出食物的兴趣区域，亦例如可通过一用户介面来让用户圈选决定所述兴趣区域。由前述可知，每一种食物样本各具有对应的稀疏编码，所以一个食物兴趣区域会与对应不同多种食物样本的多组稀疏编码做验证，例如与图7中显示的25种食物样本的25组片的稀疏编码做验证。

食物光谱特征撷取模块104耦接到食物光谱特征数据库112，以对应食物影像的每一个兴趣区域取得一实际物品(食物)光谱特征形态。

图3绘示本发明一实施例的在初始阶段搜寻候选食物的机制示意图。更请一并参阅图3及图1，在一实施例中，一份膳食150可能包含五种食物，其食物影像例如经前述的图像处理技术而被界定出五个兴趣区域，如图3中绘示的五个虚线框影像152。每一个兴趣区域更可以一个或是多个光谱为代表。五个兴趣区域在影像搜寻时被转换为五组微基础阵列154且有五组代表光谱形态156。食物影像特征分析模块106会根据这些组片的稀疏编码从这些影像特征形态中对应每一个兴趣区域搜寻出至少一组第一候选物品(食物)，以得到初始结果。

食物影像特征分析模块106更可分析前述实际食物影像特征形态与前述至少一组第一候选物品的每一个间的关联度而给予一权重，并且输出关于前述至少一组第一候选物品的第一信息。

食物光谱特征分析模块108对应每一个兴趣区域从前述多个物品光谱特征形态搜寻出至少一组第二候选物品，以及分析前述实际物品光谱特征形态与前述至少一组第二候选物品的每一个间的吻合程度而对前述至少一组第二候选物品的每一个给予一权重，并且输出关于前述至少一组第二候选物品的第二信息。

融合模块114分析前述第一信息与第二信息，以决定是否有至少一组已确定物品(食物)存在于第一信息与第二信息中，以确认前述实际物品。

图4绘示本发明一实施例的食物(物品)影像特征分析模块示意图。请参阅图1与图4，食物影像特征撷取模块102扫描(Loop)于每一个兴趣区域，且食物影像特征分析模块106依序分析每一个该兴趣区域。于本实施例，食物影像特征撷取模块102例如是包括一模块200以确认一个或多个影像特征物品以及一模块202以扫描每一个兴趣区域以及比较影像特征。

食物影像特征分析模块106包括搜寻模块203，从食物(物品)影像特征数据库110搜寻出至少一组第一候选物品。在一实施例，搜寻模块203例如包括外观搜寻模块204与纹理搜寻模块206，以分析食物外观与食物纹理。判断模块208作为一分析核心操作(analyzing kernel operation)，接收至少一组第一候选物品的信息。组片基外观/纹理选择模块(patch-based appearance/texture voting module)210，耦接到前述判断模块208以进一步根据上述组片的稀疏编码对实际物品与至少一组第一候选物品之间作分析。

上述组片基外观/纹理选择模块210可依照支持向量机(Support Vector Machine，SVM)的机制，将所有组片的全部微基础转换出一微基础特征向量，并根据该微基础特征向量的微基础分布，以确认至少一组第一候选物品。

又，扫描结束电路(loop ending circuit)212用以判断是否有任一个兴趣区域还没有被执行食物(或物品)确认，若为是时，则扫描回到上述模块202。在所有的兴趣区域都完成食物确认后，其本质的信息已经由输出模块214输出。

又，前述输出的食物的结果可以用来教育在食物影像特征数据库110中的食物样本。

图5绘示本发明一实施例的物品光谱特征分析模块示意图。请参阅图1与图5，食物光谱特征撷取模块104也扫描于每一个兴趣区域，且食物光谱特征分析模块108依序分析每一个兴趣区域。在本实施例，食物光谱特征撷取模块104例如包括一模块300以确认一个或多个光谱特征物品以及一模块302以扫描每一个兴趣区域以及比较光谱特征。食物光谱特征分析模块108包括搜寻模块304，从该食物光谱特征数据库112依据光谱比较机制，搜寻出多个初始候选物品(食物)。

判断模块306作为分析核心以用来掌控操作。支持向量机模块308耦接于判断模块306以进一步确认上述这些初始候选物品(食物)，以得到至少一组第二候选食物且对前述至少一组第二候选食物给予权重。

当上述至少一组第二候选食物包含多种食物但是对应其的多个光谱特征形态是相似时，每一个光谱特征形态的至少一个特征区域可以再被放大，以进一步作细部特征的区分。

又，扫描结束电路310用以判断是否有任一个兴趣区域还没有被执行食物确认，若为是时，则扫描回到上述模块302。在所有的兴趣区域都完成食物确认后，其本质的信息已经由输出模块312输出。

图6绘示本发明一实施例的组合影像特征与频谱光谱特征信息的融合模块示意图。请参阅图6，融合模块114包括数据融合核心(data fusion kernel)400，用以一般性地处理第一信息与第二信息的数据融合。处理模块402耦接到数据融合核心400，对第一信息与第二信息交叉比对，以食物种类的机率分析出相似性以及确认实际食物。在信息融合后，全部的结果会通过输出模块414输出。输出模块414与处理结果数据模块116交流。

又，食物的结果可以用来教育在食物光谱特征数据库112中的食物样本。

在一实施例，处理模块402包括第一模块404耦接数据融合核心404，对于相同的该兴趣区域取得第一候选食物与第二候选食物。第二模块406耦接第一模块404，用以找出上述至少一组第一候选食物与上述至少一组第二候选食物之间的相似。第三模块408耦接第二模块406，根据影像特征或光谱特征以分析一可靠度。第四模块410耦接第三模块408，对上述至少一组第一候选食物与上述至少一组第二候选食物调整权重。第五模块412耦接该第四模块410，以确认实际食物。

图7绘示本发明一实施例的依照食物组片搜寻候选食物示意图。请参阅图7，本实施例是使用具有微基础阵列的食物组片来作食物识别。以下对其机制较详细描述。在食物影像特征数据库110中例如收录25种食物样本作为考虑。根据实验，基于外观与纹理的每一食物样本500可以各由一个组片502来代表，其中每一个组片502是由多个微基础所构成，如图7中间的图所绘示的多个小方块。这些微基础对于对应的每一种特定食物样本是其最具有特征的部分。每一个微基础是一个编码。这些微基础会松散(稀疏)分布在食物样本上，一个组片502的稀疏编码代表此特定食物。

上述组片基的外观/纹理选择模块210可依照SVM机制将所有组片的全部微基础转换成为一微基础特征向量，根据该微基础特征向量的微基础分布，以确认至少一个第二候选物品。请参阅图7的实施例，这25个组片的全部微基础的微基础机率分布构成一直方图504，如浅阴影的直方条(bin)所示。每一个尖峰代表一种食物。要被识别的食物的微基础机率分布是以较深阴影的直方条分布绘示于图7中，以看看是否有任何吻合的尖峰。

图8绘示本发明一实施例的食物样本的光谱特征形态示意图。请参阅图8，多种食物样本的食物光谱形态，例如5种光谱，被收录在食物光谱特征数据库112中。于图8的实施例中，仅分别绘示3种食物样本例如苹果、面食及蛋糕的多个食物光谱特征形态700、702、704，从中可知某一种食物样本可能会有多个相似程度的食物光谱形态分布。

图9为依据本发明一实施例，绘示依照放大光谱的方式以验认候选食物的机制示意图。图10为依据本发明一实施例，绘示另一依照放大光谱的方式以验认候选食物的机制示意图。

请参阅图9与图10的实施例，要被识别的实际食物的光谱特征形态是以X1为标示。标示为X2、X3的光谱特征形态是从食物光谱特征数据库112搜寻出的候选食物的光谱特征形态，例如，图9及图10分别是面食及蛋糕的光谱特征形态。因为，光谱特征形态X2与光谱特征形态X3相似于光谱特征形态X1，面食与蛋糕就为初始搜寻出的候选食物。

为了能够进一步区分面食与蛋糕，图9的面食的光谱特征形态会包含一个或是多个特征区域(例如图9的斜纹图区域)，更能用来代表面食。类似地，图10的蛋糕的光谱特征形态亦会包含一个或是多个特征区域(例如图10的斜纹图区域)，更能用来代表蛋糕。这些特征区域的光谱信息被放大。据此，面食与蛋糕可因此些细部特征而更准确区分出来。在这实施例，这些细部特征被用来作进一步的确认。然而，当仅有一个候选食物被搜寻出，则利用细部特征作为进一步区分的程序可以省略，又或是仅当作验正而进行此程序。另外，亦可用影像验证的程序来对候选食物进行第二次区分，其例如是用各种食物的影像的颜色信息来作为第二次区分的依据。请参回图9及图10的实施例，于本实施例，面食的光谱特征形态X2相较于蛋糕的光谱特征形态X3具有较高的机率或权重(weight)。

关于两种数据库的教育，被识别的食物品项可以用户确认的方式来响应其识别的正确性。在统计上具有足够的样本后，其多个结果可以用来调整食物样本的影像/光谱特征形态。

再者，对于以光谱为基础的识别结果与以组片为基础的识别结果，其中一个是正确，而另一个是错误的实际食物例子。在经过足够的统计后，对于此特定实际食物，对于经常得到正确识别的其一可以给予较高的权重。

然而，对于数据库的教育机制并不限于上述的各范例。

又，本发明的实施例是以食物为样本作为被识别的物品，但是本发明并不以此为限。相同的机制亦可以应用在其它关注的物品的识别，而不需要限制在食物识别。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作部分的更改与修饰，故本发明的保护范围当视后附的权利要求所界定者为准。