专利名称：便携终端、卡路里推定方法及卡路里推定程序的制作方法
技术领域：
本发明涉及便携终端、卡路里推定方法及卡路里推定程序，优选适于例如推定用照相机拍摄到的饮食的卡路里的情况。
背景技术：
近年，代谢综合症、生活习惯病成为社会问题，为了预防及改善这些疾病、并进行每日的健康管理，对每次饮食摄取的卡路里进行确认及管理尤为重要。因此，提出了下述方案，S卩，通过根据照射近红外线所拍摄的近红外线图像来测量菜品中的红外线吸收率，从而来计算该菜品的卡路里(例如参见专利文献1)。还提出了下述方案，S卩，通过比较所拍摄的菜品的图像与预先存储的许多菜品的图像，选出最相似的菜品，从而提取该菜品的营养成分(例如参见专利文献2)。专利文献1 日本特开2006-105655公报专利文献2 日本特开2007-2^621公报
发明内容
然而，在上述照射近红外线来拍摄图像的装置中，必须设置照射近红外线的光源及拍摄近红外线图像的近红外照相机，存在用户不容易拍摄的问题。另外，在比较上述所拍摄的菜品的图像与预先存储的许多菜品的图像的装置中，必须预先存储许多菜品的图像，数据量膨大，而且还有与各图像匹配的处理负荷大的问题。尤其是如便携终端这样的可存储的数据量有限且处理能力不高的装置中，这种问题成为重大问题。本发明是鉴于上述情况而完成的，提出一种无须勉强用户进行繁杂的操作就能够以小数据量减轻处理负荷来推定菜品的卡路里的便携终端、卡路里推定方法及卡路里推定程序。为了解决该问题，本发明的便携终端中，包括拍摄部；存储部，其存储有数据库，该数据库中多个菜品及该菜品的卡路里与器皿的形状及菜品的颜色相关联；器皿检测部，其根据由拍摄部拍摄的图像来检测器皿；器皿形状分类部，其检测由器皿检测部检测出的器皿的形状；颜色检测部，其检测菜品的颜色，将由器皿检测部检测出的器皿中盛放菜品的区域的颜色作为菜品的颜色；菜品推定部，其基于由器皿检测部检测出的器皿的形状和由颜色检测部检测出的菜品的颜色，根据数据库推定菜品及其卡路里。在本发明的便携终端的上述存储部的数据库中，多个菜品及该菜品的卡路里还与器皿的颜色相关联，上述颜色检测部还检测上述器皿的区域的颜色，上述菜品推定部还基于该器皿的颜色，根据该数据库推定菜品及其卡路里。在本发明中，一种卡路里推定方法包括器皿检测步骤，其根据拍摄的菜品图像来检测盛放有该菜品的器皿，所述菜品图像是从相对于水平方向倾斜规定角度的斜向拍摄的；器皿形状分类步骤，其对由器皿检测步骤检测出的器皿的形状进行分类；颜色检测步骤，其检测菜品的颜色，将由器皿检测步骤检测出的器皿中盛放菜品的区域的颜色作为菜 品的颜色；菜品推定步骤，其基于由器皿检测步骤检测出的器皿的形状和由颜色检测步骤 检测出的菜品的颜色，根据多个菜品及该菜品的卡路里与器皿的形状及菜品的颜色相关联 的数据库推定菜品及其卡路里。
〔0013〕 本发明的卡路里推定方法中，上述颜色检测步骤还检测上述器皿的区域的颜色， 上述菜品推定步骤根据多个菜品及菜品的卡路里还与器皿的颜色相关联的上述数据库来 推定菜品及其卡路里。
〔0014〕 在本发明中，一种卡路里推定程序，执行如下步骤器皿检测步骤，其根据拍摄的 菜品图像来检测盛放该菜品的器皿，所述菜品图像是从相对于水平方向倾斜规定角度的斜 向的；器皿形状分类步骤，其对由器皿检测步骤检测出的器皿的形状进行分类；颜色检测 步骤，其检测菜品的颜色，将由器皿检测步骤检测出的器皿中盛放菜品的区域的颜色作为 菜品的颜色；菜品推定步骤，其基于由器皿检测步骤检测出的器皿的形状和由颜色检测步 骤检测出的菜品的颜色，根据多个菜品及该菜品的卡路里与器皿的形状及菜品的颜色相关 联的数据库推定菜品及其卡路里。
〔0015〕 本发明的卡路里推定程序中，上述颜色检测步骤还检测上述器皿的区域的颜色， 上述菜品推定步骤根据多个菜品及菜品的卡路里与器皿的颜色相关联的上述数据库推定 菜品及其卡路里。
〔0016〕 由此，仅使用户拍摄1幅菜品的图像，就能检测出该图像中显示的器皿的形状及 器皿中盛放的菜品的颜色、或器皿的颜色，基于该器皿的形状、颜色及器皿中盛放的菜品的 颜色，计算菜品及其卡路里。
〔0017〕 根据本发明，仅使用户拍摄1幅菜品的图像，就能检测出该图像中显示的器皿的 形状及器皿中盛放的菜品的颜色、或器皿的颜色，基于该器皿的形状、颜色及器皿中盛放的 菜品的颜色，计算菜品及其卡路里，无须勉强用户进行繁杂的操作就能够以小数据量减轻 处理负荷来推定菜品的卡路里。
〔0018〕图1是表示便携终端的外观结构的简化线图。
〔0019〕图2是表示便携终端的电路结构的简化线图。
〔0020〕图3是表示的功能结构的简化线图。
〔0021〕图4是表示菜品图像的简化线图。
^00223图5是表示器皿的形状(丨)的简化线图。
〔0023〕图6是表示器皿的形状^的简化线图。
^00243图7是表示器皿的形状^的简化线图。
〔0025〕图8是表示器皿的椭圆区域及环状区域的简化线图。
〔0026〕图9是表示菜品推定数据库的简化线图。
〔0027〕图10是表示卡路里推定处理顺序的流程图。
〔0028〕图11是表示器皿形状分类处理顺序的流程图。
〔0029〕图12是表示学习处理顺序的流程图。
〔0030〕符号说明
1……便携终端，2……显示部，3……触控面板，4……照相机，5……操作键，11……CPU, 12……RAM, 13……ROM, 14……操作输入部，15……拍摄部，16……存储部，17……总线，21……图像取得部，22……器皿检测部，23……器皿形状分类部，24……颜色检测部，25……菜品推定部，26……显示控制部。
具体实施例方式以下，基于附图详述本发明的一个实施方式。〔1.便携终端的结构〕(1-1.便携终端的外观结构〕如图1㈧及⑶所示，例如作为移动电话机的便携终端1是形成为手掌大小的大致长方体的扁平形状，在其前表面IA设有显示部2，该显示部2的上表面设有接受用户的触摸操作的触控面板(touch panel) 3。显示部2可应用液晶显示器皿、有机EL (Electro-Luminescence)显示器皿等。触控面板3可应用电阻膜方式、静电电容方式等。便携终端1的背面IB设有照相机4。便携终端1中，用于进行照相机4的拍摄开始的快门键5A设于上侧面1C，用于改变照相机4的缩放倍率的放大键5B及缩小键5C设于横侧面1D。需要说明的是，将快门键5A、放大键5B及缩小键5C统称为操作键5。(1-2.便携终端的电路结构〕如图2所示，便携终端1是经由总线17连接CPU (Central Processing Unit) 11、RAM (Random Access Memory) 12、ROM (Read Only Memory) 13、操作输入部 14、拍摄部 15、存储部16及显示部2而成。 CPUl 1通过将保存在R0M13中的基本程序读出到RAMI 1并予以执行，从而来统括控制整体，并通过将存储在R0M13的各种应用程序读出到RAM12并予以执行，从而来执行各种处理。操作输入部14由操作键5及触控面板3构成。拍摄部15由照相机4及图像处理部18构成，所述图像处理部18将由该照相机4拍摄的像转换为图像并实施各种图像处理。存储部16可应用例如非易失性存储器等。〔2.卡路里推定处理〕接着说明便携终端1进行的卡路里推定处理。CPUll通过将在R0M13存储的卡路里推定处理程序读出到RAM12并执行，来执行卡路里推定处理。CPUll在执行卡路里推定处理时，如图3所示，作为图像取得部21、器皿检测部22、器皿形状分类部23、颜色检测部M、菜品推定部25及显示控制部沈而发挥作用。当执行卡路里推定处理时，图像取得部21在显示部2显示例如“为拍到整个菜品，请从斜向拍摄”等提示，并控制拍摄部15拍摄图像。由此，图像取得部21促使用户操作放大键5B或缩小键5C来调整视场角，以从斜向(例如相对于水平为45度)拍到整个菜品，并在斜向拍到整个菜品的状态下按下操作快门键5A。当用户利用放大键5B或缩小键5C设定视场角并按下操作快门键5A时，拍摄部15
6利用AF(Auto Focus)功能而使照相机4的焦点对焦到菜品，然后将从被照体(菜品)发出的光在照相机4的拍摄元件成像，然后进行光电转换，将通过该光电转换而得的图像信号发送至图像处理电路18。图像处理电路18对从照相机4提供的图像信号实施了图像处理后对其进行A/ D (Analog/Digital)转换而生成图像数据。图像取得部21将由图像处理电路18生成的图像数据所对应的图像显示在显示部 2，并将在拍摄时照相机4是否有闪光、焦距等图像信息，以例如Exif (Exchangeable Image File Format)形式与该图像数据相关联地存储在存储部16。器皿检测部22读出存储在存储部16的例如图4所示的拍摄到整个菜品的菜品图像Gl的图像数据，根据该菜品图像G1，检测盛有菜品的器皿CT(CTa、CTb、……)。具体而言，器皿检测部22例如对菜品图像Gl实施边缘检测处理，将由表示背景与器皿的分界的边缘所围成的具有规定面积的区域作为器皿CT来检测。作为另一例子可以是，器皿检测部22对菜品图像Gl进行Hough转换，根据该菜品图像Gl检测直线或圆，将该直线或圆所围成的具有规定面积的区域作为器皿CT来检测。也可以利用其他方法从菜品图像Gl检测器皿CT。如图5 7所示，器皿形状分类部23将检测到的器皿CT中的像素数最多的列及行作为器皿CT中的最长的横向宽度(以下，也将其称为最长横向宽度)MW及最长的纵向宽度(以下，也将其称为最长纵向宽度)ML。另外，器皿形状分类部23基于该最长横向宽度 MW及最长纵向宽度ML的像素数与菜品图像Gl相关联的焦距的关系，计算检测到的最长横向宽度MW及最长纵向宽度ML的长度。器皿形状分类部23检测最长横向宽度漏及最长纵向宽度ML的交点作为器皿CT 的中心点CP。在器皿CT是圆盘、碗、大碗、中碗、无把杯子、啤酒杯等时，最长横向宽度MW是该器皿CT的口径，在器皿CT是方盘时，最长横向宽度丽是其一边的长度。在器皿CT是圆盘、 碗、大碗、中碗、无把杯子、啤酒杯等时，中心点CP是器皿CT的口部的中心。将饮食中使用的器皿大致分类可使用方盘、圆盘、碗、大碗、中碗、无把杯子、啤酒杯及带把杯子等。因此，器皿形状分类部23将由器皿检测部22检测到的器皿CT分类为例如方盘、 圆盘、碗、大碗、中碗、无把杯子、啤酒杯、带把杯子及其他的任一种。器皿形状分类部23根据作为由器皿检测部22检测的器皿CT的轮廓的、在上述边缘检测处理检测到的边缘检测直线成分，将具有4个该直线成分的器皿形状分类为图5的 (A)所示的方盘CTa。器皿形状分类部23计算被分类为方盘CT的以外的器皿CT的最长纵向宽度ML与最长横向宽度MW之比(以下也将其称为纵横比)，按该纵横比大于规定的纵横阈值或小于该阈值进行分类。在此，纵横阈值是为了区分圆盘、碗、大碗、带把杯子、中碗及其他与无把杯子及啤酒杯而设定的值。纵横阈值如下进行设定，即，无把杯子及啤酒杯是细长形状，与最长纵向宽度ML相比，最长横向宽度MW长，而除此以外的器皿不是细长形状，与最长横向宽度MW相比，最长纵向宽度ML短或与其同等程度，从而这些器皿进行区分。
因此，将判断为纵横比大于纵横阈值的器皿CT分类为无把杯子或啤酒杯的某一种，将判断为纵横比小于纵横阈值的器皿CT分类为圆盘、碗、大碗、带把杯子、中碗或其他的某一种。判断为纵横比大于纵横阈值的器皿CT是无把杯子还是啤酒杯，还要根据其大小大致判断，器皿形状分类部23将判断为纵横比大于纵横阈值的器皿CT中的、例如最长横向宽度MW比为无把杯子或啤酒杯的分界长度长的器皿分类为啤酒杯CTb，将该最长横向宽度MW的长度比无把杯子或啤酒杯的分界长度短的器皿分类为无把杯子CTc。另一方面，器皿形状分类部23计算判断为纵横比小于纵横阈值的器皿CT的最长纵向宽度ML中距中心点CP的上侧长度(以下，将其称为上纵向宽度长度)UL及下侧长度(以下，将其称为下纵向宽度长度)LL，计算下纵向宽度长度LL与上纵向宽度长度UL之比(以下，也将其称为上下比)。在此，如图6的㈧所示，圆盘CTd是浅平形状，从斜向拍摄时，上纵向宽度长度UL与下纵向宽度长度LL几乎一致或下纵向宽度长度LL比上纵向宽度长度UL长一些。另一方面，如图6的(B) (E)所示，碗CTe、大碗CTf、中碗CTg及带把杯子CTh是比圆盘CTd深的形状，从斜向拍摄时，下纵向宽度长度LL比上纵向宽度长度UL长。如图7的㈧所示，例如在圆盘盛有糕点等具有高度的菜品时，从斜向拍摄时，菜品的一部分显示在圆盘之上。此时，在器皿检测部22检测器皿CT时连同菜品都被检测到，因此下纵向宽度长度LL比上纵向宽度长度UL短。如图7的⑶所示，例如蒸鸡蛋羹那样盛有菜品的器皿放在口径比该器皿的口径大的底盘之上时，作为最长横向宽度MW测量底盘的口径，因此下纵向宽度长度LL比上纵向宽度长度UL短。因此，器皿形状分类部23能够基于上下比判断是圆盘CTd还是碗CTe、大碗CTf、中碗CTg及带把杯子CTh的某一种，或是其他器皿CTi。因此，器皿形状分类部23比较计算出的器皿CT的上下比与第一及第二上下阈值。在此，第一上下阈值设定为下纵向宽度长度LL比上纵向宽度长度UL短的其他器皿CTi的上下比与圆盘CTd的上下比的分界值。第二上下阈值设定为圆盘CTd的上下比与碗CTe、大碗CTf、中碗CTg及带把杯子CTh的某一种的上下比的分界值。在作为比较结果是上下比小于第一上下阈值时，器皿形状分类部23将该器皿CT分类为其他器皿CTi。器皿形状分类部23将上下比为第一上下阈值以上且小于第二上下阈值的器皿CT分类为圆盘CTd。而且，器皿形状分类部23将上下比为第二上下阈值以上的器皿CT判断为碗CTe、大碗CTf、中碗CTg及带把杯子CTh的某一种。器皿形状分类部23在判断为碗CTe、大碗CTf、中碗CTg及带把杯子CTh的某一种时，比较这些器皿CT的最长横向宽度MW的长度(口径)与预先设定的碗CTe、大碗CTf、中碗CTg及带把杯子CTh的口径，由此分类为碗CTe、大碗CTf、中碗CTg及带把杯子CTh的某一种。由此，将由器皿检测部22检测的器皿CT分类为方盘CTa、啤酒杯CTb、无把杯子CTc、圆盘CTd、碗CTe、大碗CTf、中碗CTg、带把杯子CTh及其他器皿CTi的某一种。如图8所示，颜色检测部M检测以器皿CT的中心点CP为中心而将最长横向宽度MW的一半、例如60%为长边、将上纵向宽度长度UL及下纵向宽度长度LL中的短者的例如 60%为短边的椭圆区域EA的颜色成分作为菜品的颜色。另外，对于啤酒杯CTb及无把杯子CTc以外的器皿CT，颜色检测部M检测在椭圆区域EA的外侧的、以中心点CP为中心的、以相当于自器皿CT的外边缘到最长横向宽度边丽的一半、例如20%的长度为宽度的环状区域RA作为器皿CT的颜色。该椭圆区域EA的中心点CP位于器皿CT的开口中心，因此是以该中心点CP为中心的可盛放菜品的区域。因此，能够通过检测椭圆区域EA的颜色成分来检测菜品的颜色。环状区域RA是自椭圆区域EA的外侧、即器皿CT的外边缘开始不盛放菜品的恒定区域。因此，能够通过检测环状区域RA的颜色成分来检测器皿CT的颜色。另一方面，啤酒杯CTb及无把杯子CTc大部分都使用透明玻璃，因此颜色检测部M 对于啤酒杯CTb及无把杯子CTc，不需检测环状区域RA的颜色，设器皿的颜色为透明。菜品推定部25基于由器皿形状分类部23分类的器皿CT的形状、由颜色检测部M 检测到的菜品的颜色或器皿CT的颜色，根据图9所示那样的菜品推定数据库DB，推定该器皿CT中盛放的菜品及其卡路里。在此菜品推定数据库DB预先被存储在存储部16，将器皿的形状、器皿的颜色及菜品的颜色与例如几十种菜品(菜品名)及其菜品的卡路里相关联。菜品推定数据库DB中还登记有许多未与器皿的形状、器皿的颜色及菜品的颜色相关联的菜品及其卡路里，在后述的学习处理中，可根据用户操作将器皿的形状、器皿的颜色及菜品的颜色与菜品及其卡路里相关联。因此，菜品推定部25从菜品推定数据库DB检索与由器皿形状分类部23分类的器皿CT的形状、由颜色检测部M检测到的菜品的颜色、或器皿CT的颜色的组合一致的菜品及其卡路里，将一致的菜品及其卡路里推定为器皿CT中盛放的菜品及其卡路里。例如，在器皿CT的形状为“圆盘”、菜品的颜色为“茶”时，菜品推定部25推定菜品为汉堡包”，卡路里为 “500kcal”。并且，菜品推定部25将菜品图像G1、菜品图像Gl中显示的所推定的菜品及其卡路里、和拍摄菜品图像Gl的时刻相关联地添加于存储部16中存储的卡路里管理数据库。显示控制部沈在菜品图像Gl的所对应的器皿CT的附近叠加显示由菜品推定部 25推定的菜品名及其卡路里。但是，在1次饮食中，有时分多次提供菜品，因此，菜品推定部25在例如1小时以内拍摄多个菜品图像Gl时，将该多个菜品图像Gl作为1次饮食相关联地存储。另外，显示控制部沈在根据用户对操作输入部14的输入操作而选择了例如1周等的期间时，以当前时刻为基准，从卡路里管理数据库读出自该基准起所选择的期间的每次饮食的摄取卡路里并一览显示于显示部2。由此，用户能够容易把握自身摄取的菜品及其卡路里，并能够在所推定的菜品不同时执行后述的学习处理来改变及学习该菜品。然而，由于在上述的卡路里推定处理基于器皿的形状、器皿的颜色及菜品的颜色推定菜品，只能大概地推定菜品。但是，为了使用户不需要繁杂地操作就能在每次饮食时记录摄取卡路里，仅凭普通携带的、计算处理能力及数据容量有限的便携电话等便携终端1 拍摄1幅饮食照片就能推定卡路里，这点尤为重要。
S卩，虽然损失一些准确性，但记录每餐的卡路里，对于健康管理是重要的。因此，本发明是大致地推定1幅菜品图像Gl所显示的饮食来计算卡路里。另一方面，对于希望更准确地推定菜品及卡路里的用户，通过执行学习处理，能够学习菜品图像Gl上显示的器皿CT中盛放的菜品，提高菜品及其卡路里的推定精度。〔3.学习处理〕CPUll通过将R0M13中存储的学习处理程序读出到RAM12并予以执行，来执行学习处理。CPUll执行学习处理时，作为学习部发挥作用。CPUll根据用户对操作输入部14的输入操作从存储部16中存储的卡路里管理数据库中选择学习对象的菜品图像Gl时，在显示部2对于其菜品图像Gl叠加地显示与该菜品图像Gl关联的菜品名及其卡路里。然后，CPUll在借助例如触控面板3选择菜品图像Gl上显示的器皿CT的某一种时，在显示部2 —览显示菜品推定数据库DB中存储的菜品名，并选择该器皿CT中盛放的菜
P
ΡΠ OCPUll在借助例如触控面板3而选择一览显示的菜品名中的一个时，将其选择的菜品及其卡路里与该器皿CT的形状、器皿CT的颜色及菜品的颜色相关联地添加到菜品推定数据库DB的列表中。由此，在由菜品推定部25推定的菜品名错误时，更正为正确的菜品名，并添加到菜品推定数据库DB，能够提高下一次以后的推定精度。这种方法在有自己常去的店时，在该店每次用的菜品和器皿相同的情况较多时尤其有效。〔4.卡路里推定处理顺序〕接着，按照图10及图11所示的流程图，说明上述的卡路里推定处理的顺序。CPUll从程序RTl的开始步骤移至下一步骤SPl，利用拍摄部15取得从斜向拍摄整个菜品而成的菜品图像G1，移至下一步骤SP2。在步骤SP2中，CPUll根据菜品图像Gl检测器皿CT，移至下一子程序SRT对该器皿CT的形状进行分类。在子程序SRT (图11)，在步骤SPll中CPUll检测从菜品图像Gl检测到的器皿CT的最长横向宽度丽、最长纵向宽度ML及中心点CP，移至下一步骤SP12。在步骤SP12中，CPUll判断器皿CT的轮廓是否具有4个直线成分，若得到肯定结果则移至步骤SP13，将该器皿CT分类为方盘CTa，若得到否定结果，则移至步骤SP14。在步骤SP14中，CPUll计算出器皿CT的纵横比，移至步骤SP15判断该纵横比是否是纵横阈值以上。在此，若得到肯定结果，则CPUll移至步骤SP16，基于最长横向宽度MW分类为啤酒杯CTb及无把杯子CTc。在步骤SP15中，若得到否定结果，则CPUll移至步骤SP17，计算器皿CT的上下比，移至步骤SP18，判断该上下比是否小于第一上下阈值。在此，若得到肯定结果，则CPUll移至步骤SP19，将该器皿CT分类为其他器皿CTi。另一方面，在步骤SP18中若得到否定结果，则CPUll移至步骤SP20，判断上下比是否是第一上下阈值以上且小于第二上下阈值。在此，若得到肯定结果，则CPUll移至步骤SP21，将该器皿CT分类为圆盘CTd。在此若得到否定结果，则CPUll移至步骤SP22，基于器皿CT的最长横向宽度丽的长度(口径)将其分类为碗CTe、大碗CTf、中碗CTg及带把杯子CTh中的某一种。CPUll在结束子程序SRT时进入下一步骤SP3，检测器皿CT中的椭圆区域EA及环状区域RA的颜色成分作为菜品的颜色及器皿CT的颜色，移至下一步骤SP4。在步骤SP4中，CPUll基于器皿CT的形状及菜品的颜色，或进一步基于器皿CT的颜色，根据菜品推定数据库DB推定菜品及其卡路里，移至下一步骤SP5。在步骤SP5中，CPUll判断是否对于菜品图像Gl显示的所有的器皿CT推定了菜品及其卡路里，在尚存在未推定菜品及其卡路里的器皿CT时，对于所有器皿CT进行子程序 SRT、步骤SP3及SP4，推定菜品及其卡路里。在步骤SP5中，判断为已对所有的器皿CT推定了菜品及其卡路里时，CPUll移至步骤SP6，对菜品图像Gl添加菜品名及其卡路里进行显示，移至下一步骤SP7。在步骤SP7中，CPUll将菜品图像Gl、菜品图像Gl上显示的所推定的菜品及其卡路里、和拍摄菜品图像Gl的时刻相关联地追加于卡路里管理数据库，结束处理。〔5.学习处理顺序〕接着，按照图12所示的流程图说明上述的学习处理的顺序。CPUll从开始步骤进入，移至步骤SP31，判断是否从卡路里管理数据库中选择了作为学习对象的菜品图像Gl，在选择了时移至步骤SP32，对其菜品图像Gl叠加显示相关联的菜品名及其卡路里，移至下一步骤SP33。在步骤SP33中，CPUll在菜品图像Gl中显示的器皿CT的某一种被选择时，一览显示菜品推定数据库DB中存储的菜品名。然后，CPUll在一览显示的菜品名中的一个被选择时，将该选择的菜品名及其卡路里与该器皿CT的形状、器皿CT的颜色及菜品的颜色关联地追加于菜品推定数据库DB的列表，结束处理。〔6.工作及效果〕在以上的结构中，便携终端1从利用拍摄部15根据斜向拍摄的菜品的菜品图像Gl 检测器皿CT，将该器皿CT的形状分类并检测该器皿CT的颜色及该器皿CT中盛放的菜品的颜色。然后，便携终端1基于根据多个菜品及其卡路里与器皿的形状及菜品的颜色、或器皿的颜色关联的菜品推定数据库DB检测到的器皿CT的形状、器皿CT的颜色及菜品的颜色，推定该器皿CT中盛放的菜品及其卡路里。由此，便携终端1仅使用户从相对于水平方向倾斜规定角度的斜向拍摄1幅菜品的菜品图像G1，就能推定菜品及其卡路里，因此不需要使用户进行繁杂的操作，就能容易推定菜品及其卡路里。便携终端1根据器皿CT的形状及菜品的颜色、或器皿CT的颜色推定菜品及其卡路里，因此例如与预先存储许多菜品的图像并与该许多菜品的图像匹配的以往方式相比， 能够减轻处理负荷及数据容量。根据以上结构，便携终端1根据利用拍摄部15从斜向拍摄的菜品的菜品图像Gl 检测器皿CT，检测该器皿CT的形状及器皿CT中盛放的菜品的颜色、或器皿的颜色，基于所检测的器皿CT的形状及菜品的颜色、或器皿CT的颜色，根据菜品推定数据库DB推定菜品及其卡路里，因此能够使用户进行拍摄1幅菜品的菜品图像Gl的简单操作，不需强迫用户进行繁杂的操作，能够减小处理负荷及数据容量。〔7.其他实施方式〕在上述实施方式中，作为从器皿CT中分类方盘CTa的方法，说明的是从作为器皿CT轮廓的边缘检测直线成分开始、将具有4个该直线成分的分类为方盘CTa的情况。但本发明不限于此，可以是，在对菜品图像Gl进行Hough转换而根据该菜品图像Gl检测器皿CT时，在进行该Hough转换时将作为所检测的器皿CT的轮廓而检测到4个以上直线的情况分类为方盘CTa。也可以对根据菜品图像Gl检测的器皿CT进行与四边形的图案匹配，将具有规定的相似度以上的情况分类为方盘CTa。在上述实施方式中，说明了在将器皿CT分类为某一种后、检测该器皿CT的颜色及菜品的颜色的情况，但本发明不限于此，可以在检测器皿CT的颜色及菜品的颜色后将器皿CT分类为某一种。此时，颜色检测部M算出最长横向宽度丽及最长纵向宽度ML，并检测中心点CP。在上述实施方式中，说明了基于器皿CT的形状、器皿CT的颜色及菜品的颜色，根据菜品推定数据库DB推定所检测的该器皿CT中盛放的菜品及其卡路里的情况。但本发明不限于此，例如在便携终端1设有GPS时，可以由该GPS取得拍摄菜品图像Gl的当前位置，将该当前位置与菜品图像Gl相关联，在学习处理中除了器皿CT的形状、器皿CT的颜色及菜品的颜色之外，还将当前位置与菜品及其卡路里相关联。由此，能够高精度地推定例如常去的店的菜品。在上述实施方式中，说明了根据菜品推定数据库DB推定在器皿CT中盛放的菜品的情况，但本发明不限于此，例如在无法根据菜品推定数据库DB判断所检测的器皿CT的形状、器皿CT的颜色及菜品的颜色的组合时，可以使用户借助触控面板3来选择。此时，CPUll将不能推定菜品及其卡路里的器皿CT显示在显示部2，并显示例如西餐、日式餐饮、中国菜品、面类等候选以供选择。此时，为了不使用户进行繁杂的作业，不是将菜品推定数据库DB中存储的菜品名全部显示，而是使用户从20个选项中选择。在上述实施方式中，说明了 CPUll按照R0M13中保存的程序进行上述的各种处理。但本发明不限于此，可以按照从存储介质安装的、或者从网络下载的程序进行上述的各种处理。可以按照其他各种途径安装的程序进行上述的各种处理。本发明可适用于例如便携电话、PDA (Personal Digital Assistant)、便携音乐播放器、游戏机等便携终端。
权利要求
1.一种便携终端，包括拍摄部；存储部，其存储有数据库，该数据库中多个菜品及所述菜品的卡路里与器皿的形状及菜品的颜色相关联；器皿检测部，其根据拍摄的菜品图像来检测盛放有所述菜品的器皿，所述图像是通过所述拍摄部从相对于水平方向倾斜规定角度的斜向拍摄的；器皿形状分类部，其对由所述器皿检测部检测出的器皿的形状进行分类；颜色检测部，其检测菜品的颜色，将由所述器皿检测部检测出的器皿中盛放菜品的区域的颜色作为菜品的颜色；菜品推定部，其基于由所述器皿检测部检测出的器皿的形状和由所述颜色检测部检测出的菜品的颜色，根据所述数据库推定菜品及其卡路里。
2.根据权利要求1所述的便携终端，其中，所述器皿形状分类部检测由所述器皿检测部检测出的器皿中的最长的横向宽度及纵向宽度，基于所述横向宽度及纵向宽度之比，对器皿的形状进行分类。
3.根据权利要求2所述的便携终端，其中，所述器皿形状分类部检测所述横向宽度及纵向宽度相交的中心点，根据所述纵向宽度中距所述中心点的上侧长度及下侧长度之比，对器皿的形状进行分类。
4.根据权利要求1所述的便携终端，其中，所述存储部的数据库还使多个菜品及所述菜品的卡路里与器皿的颜色相关联，所述颜色检测部还检测所述器皿的区域的颜色，所述菜品推定部还基于所述器皿的颜色根据所述数据库推定菜品及其卡路里。
5.根据权利要求4所述的便携终端，其中，所述器皿形状分类部检测由所述器皿检测部检测出的器皿中的最长的横向宽度及纵向宽度相交的中心点，所述颜色检测部检测以所述中心点为中心的规定范围的颜色成分作为所述菜品的颜色，并检测所述器皿中的所述规定范围外侧的规定范围的颜色成分作为所述器皿的颜色。
6.根据权利要求1所述的便携终端，还包括显示控制部，对于所述图像中的用户所选择的盛放有菜品的器皿，为了使用户选择菜品名而一览显示所述数据库中的菜品名；学习部，其在所述一览显示的菜品名中的某一个被选择时，将与所选择的菜品名对应的菜品及其卡路里，与所述用户所选择的器皿的形状及菜品的颜色相关联地添加到所述数据库中。
7.一种卡路里推定方法，包括器皿检测步骤，其根据拍摄的菜品图像来检测盛放有所述菜品的器皿，所述菜品图像是从相对于水平方向倾斜规定角度的斜向拍摄的；器皿形状分类步骤，其对由所述器皿检测步骤检测出的器皿的形状进行分类；颜色检测步骤，其检测菜品的颜色，将由所述器皿检测步骤检测出的器皿中盛放菜品的区域的颜色作为菜品的颜色；菜品推定步骤，其基于由所述器皿检测步骤检测出的器皿的形状和由所述颜色检测步骤检测出的菜品的颜色，根据多个菜品及所述菜品的卡路里与器皿的形状及菜品的颜色相关联的数据库推定菜品及其卡路里。
8. 一种卡路里推定程序，使计算机执行如下步骤器皿检测步骤，其根据拍摄的菜品图像来检测盛放所述菜品的器皿，所述菜品图像是从相对于水平方向倾斜规定角度的斜向拍摄的；器皿形状分类步骤，其对由所述器皿检测步骤检测出的器皿的形状进行分类； 颜色检测步骤，其检测菜品的颜色，将由所述器皿检测步骤检测出的器皿中盛放菜品的区域的颜色作为菜品的颜色；菜品推定步骤，其基于由所述器皿检测步骤检测出的器皿的形状和由所述颜色检测步骤检测出的菜品的颜色，根据多个菜品及所述菜品的卡路里与器皿的形状及菜品的颜色相关联的数据库推定菜品及其卡路里。
全文摘要
本发明提供一种便携终端、卡路里推定方法及卡路里推定程序，能够无须使用户进行繁杂的操作，而以小数据量减轻处理负荷来推定菜品的卡路里。在本发明中，根据通过拍摄部(15)从斜向拍摄到的菜品的菜品图像(G1)检测器皿(CT)，检测该器皿(CT)的形状、颜色及器皿(CT)中盛放菜品的颜色，基于检测出的器皿(CT)的形状、器皿(CT)的颜色及菜品的颜色，根据菜品推定数据库(DB)推定菜品及其卡路里，因此无需使用户进行繁杂的操作就能够减小处理负荷及数据容量地推定菜品及其卡路里。
文档编号G06F17/30GK102565056SQ201110400589
公开日2012年7月11日 申请日期2011年11月24日 优先权日2010年11月26日
发明者中尾浩治 申请人:泰尔茂株式会社