信息处理设备以及信息处理方法
【专利摘要】提供了一种信息处理设备和信息处理方法，该信息处理设备包括：图像获取单元，被配置为获取通过拍摄单个或者多个烹调食品而获得的烹调食品图像；以及第一烹调食品识别单元，被配置为参考烹调食品数据来识别被包括在烹调食品图像中的单个或者多个烹调食品，其中烹调食品数据是基于与以下方面中的至少之一有关的条件而从预先登记的烹调食品数据中选择的：与烹调食品图像有关的人员、烹调食品图像的拍摄环境、烹调食品图像的拍摄地点、以及烹调食品图像的拍摄时间。
【专利说明】信息处理设备以及信息处理方法
[0001]交叉参考相关申请
[0002]本申请要求2012年10月30日提交的申请号为JP2012-238768的日本优先权专利申请的优先权，其全部内容通过引用合并在本文中。
【技术领域】
[0003]本公开内容涉及一种信息处理设备和信息处理方法。
【背景技术】
[0004]下述这种技术正在得到广泛使用:对关于用户食用的餐食的信息进行电子记录以用于日常饮食管理等，例如，计算并且向用户提供营养和热量作为信息。在这种技术中，用户通常通过使用该用户所使用的终端设备来输入与餐食有关的信息，并且将该信息发送给服务器。然而，作为用于对信息的输入进行简化的方法，提出了这种技术:使用由用户拍摄的图像作为与餐食有关的信息的输入。
[0005]例如，专利JP2011-28382描述了一种用于以下处理的技术:从用户拍摄的餐食图像中检测各个烹调食品(例如米饭、味增汤、炒青菜以及咖啡)的区域，并且通过模板匹配等识别在该区域中示出的各个烹调食品是什么。可以将以下两种图像用作为用于识别的模板:用户已经预先拍摄的烹调食品的图像，以及作为标准被登记的餐食的图像。
[0006]如果以这种方式将用户预先拍摄的餐食的图像用作为用于识别的模板，则能够准确地识别用户日常食用的烹调食品。将作为标准被登记的餐食的图像与上述图像一起使用使得用户能够识别甚至不是日常食用的烹调食品。
【发明内容】
[0007]随着作为模板被登记的烹调食品的图像的增加，在JP2011-28382A中描述的技术使得更多的烹调食品被准确识别。然而，越多的图像(是图像中示出的餐食的候选)作为用于匹配的目标，在进行处理如用于烹调食品识别的模板匹配时的负荷就越重。也就是说，JP2011-28382A中所描述的技术难以更容易地识别烹调食品并且同时降低处理负荷。
[0008]本公开内容因此提出了一种新颖且改进的信息处理设备和信息处理方法，并且该信息处理设备和信息处理方法能够保持根据图像识别烹调食品的准确性以及通过对识别中所参考的数据进行限制来降低处理负荷。
[0009]根据本公开内容的实施方式，提供一种信息处理设备，包括:图像获取单元，被配置为获取通过拍摄单个或者多个烹调食品而获得的烹调食品图像；以及第一烹调食品识别单元，被配置为参考烹调食品数据来识别被包括在烹调食品图像中的单个或者多个烹调食品，其中烹调食品数据是基于与以下方面中的至少之一有关的条件而从预先登记的烹调食品数据中选择的:与烹调食品图像有关的人员、烹调食品图像的拍摄环境、烹调食品图像的拍摄地点、以及念调食品图像的拍摄时间。
[0010]根据本公开内容的另一实施方式，提供一种信息处理方法，包括:获取通过拍摄单个或者多个烹调食品而获得的烹调食品图像；以及参考烹调食品数据来识别被包括在烹调食品图像中的单个或者多个烹调食品，其中烹调食品数据是基于与以下方面中的至少之一有关的条件而从预先登记的烹调食品数据中选择的:与烹调食品图像有关的人员、烹调食品图像的拍摄环境、烹调食品图像的拍摄地点、以及烹调食品图像的拍摄时间。
[0011 ] 基于烹调食品数据应该被参考的与烹调食品图像有关的人员、烹调食品图像的拍摄环境、烹调食品图像的拍摄地点、烹调食品图像的拍摄时间等进行选择。因此可以选择性地参考与烹调食品图像有关的烹调食品数据来进行烹调食品识别。可以通过选择性地参考被估计为对烹调食品识别有用的烹调食品数据来保持烹调食品识别的准确性并且降低处理负荷。
[0012]根据本公开内容的一个或者多个实施方式，可以保持根据图像识别烹调食品的准确性，并且能够通过对识别中参考的数据进行限制来降低处理负荷。
【专利附图】
【附图说明】
[0013]图1是示出根据本公开内容的第一实施方式的信息处理设备的示意性功能配置的框图；
[0014]图2是用于示意性描述本公开内容的第一实施方式中的烹调食品识别过程的图；
[0015]图3A是示出本公开内容的第一实施方式中的烹调食品图像的元数据的第一示例的图；
[0016]图3B是示出与本公开内容的第一实施方式中的烹调食品数据关联的信息的第一示例的图；
[0017]图4是示出本公开内容的第一实施方式中的烹调食品识别过程的示例的流程图；
[0018]图5A是示出本公开内容的第一实施方式中的烹调食品图像的元数据的第二示例的图；
[0019]图5B是示出与本公开内容的第一实施方式中的烹调食品数据关联的信息的第二示例的图；
[0020]图6是示出根据本公开内容的第二实施方式的信息处理设备的示意性功能性配置的框图；
[0021]图7是示出与根据本公开内容的第二实施方式中的烹调食品数据关联的信息的示例的图；
[0022]图8是示出本公开内容的第二实施方式中的烹调食品识别过程的示例的流程图；
[0023]图9是示出根据本公开内容的第三实施方式的信息处理设备的示意性功能配置的框图；
[0024]图10是示出与本公开内容的第三实施方式中的烹调食品数据关联的信息的示例的图；
[0025]图11是示出根据本公开内容的第四实施方式的信息处理设备的示意性功能配置的框图；
[0026]图12是示出根据本公开内容的第五实施方式的信息处理设备的示意性功能配置的框图；
[0027]图13是用于描述本公开内容的第五实施方式中的烹调食品数据的附加登记的示例的图；
[0028]图14是示出根据本公开内容的第六实施方式的系统的示意性功能配置的框图；以及
[0029]图15是用于描述信息处理设备的硬件配置的框图。
【具体实施方式】
[0030]在下文中，将参考附图对本公开内容的优选地实施方式进行详细描述。注意的是，在本说明书和附图中，用相同的附图标记表示具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。
[0031 ] 将按照以下顺序进行描述。
[0032]1.第一实施方式
[0033]1-1.功能配置
[0034]1-2.烹调食品识别过程概述
[0035]1-3.烹调食品识别过程的第一示例
[0036]1-4.烹调食品识别过程的第二示例
[0037]2.第二实施方式
[0038]3.第三实施方式
[0039]4.第四实施方式
[0040]5.第五实施方式
[0041]6.第六实施方式
[0042]7.硬件配置
[0043]8.补充
[0044](1.第一实施方式)
[0045](1-1.功能配置)
[0046]图1是示出根据本公开内容的第一实施方式的信息处理设备的示意性功能配置的框图。参考图1，信息处理设备100包括图像获取单元110、信息提取单元120、烹调食品识别单元130、数据库140以及结果输出单元150。信息处理设备100进行获取作为输入的烹调食品图像，并且识别被包括在烹调食品图像中的烹调食品的过程。
[0047]信息处理设备100例如可以是用户所使用的终端设备或者是与作为客户端的终端设备进行通信并向用户提供服务的服务器。终端设备例如可以是个人计算机(PC)(例如平板PC、笔记本PC以及桌上型PC)、移动电话(智能手机)、媒体播放器或者游戏装置。服务器的功能可以例如通过单个服务器设备或者通过有线或者无线网络连接的多个服务器设备来实现。终端设备和服务器设备可以例如通过使用下面将要进行描述的信息处理设备的硬件配置来实现。
[0048]图像获取单元110获取通过拍摄单个或者多个烹调食品而获得的烹调食品图像。例如，如果信息处理设备100是终端设备，则图像获取单元110被实现为拍摄烹调食品图像的照相机(成像单元)。或者，图像获取单元110可以被实现为对由其中安装有照相机的设备拍摄的烹调食品图像进行接收的通信装置。在这种情况下，该通信装置接收来自另一个例如通过家庭网络连接并且被用户拥有的设备的烹调食品图像。另外，如果信息处理设备100是服务器，则图像获取单元110被实现为例如接收来自通过网络连接的客户端终端设备的烹调食品图像的通信装置。
[0049]烹调食品图像是指通过拍摄例如用户食用的餐食而获得的图像。例如，便餐包括烹调食品图像中的单个烹调食品。正餐包括烹调食品图像中的多个烹调食品，如主食、主菜和配菜。信息处理设备100通过下面将要描述的烹调食品识别单元130的处理，对被包括在烹调食品图像中的烹调食品，即被包括在用户食用的餐食中的烹调食品，进行识别。
[0050]本实施方式中的烹调食品图像带有元数据。该元数据包括指示例如与烹调食品图像有关的人员、烹调食品图像的拍摄环境、烹调食品图像的拍摄地点或者烹调食品图像的拍摄时间的信息。例如可以由拍摄烹调食品图像的终端设备自动设定这种信息。或者，可以根据用户的输入操作来设定该信息。例如，还可以根据兼容格式如可交换图像文件格式(Exif)来记录元数据。或者，可以用提供烹调食品图像的分析的应用所特有的格式来记录该元数据。
[0051]信息提取单元120从由图像获取单元110获取到的烹调食品图像的元数据中提取与烹调食品图像有关的人员、烹调食品图像的拍摄环境、烹调食品图像的拍摄地点以及烹调食品图像的拍摄时间中的至少之一有关的信息，并且把所提取的信息提供给烹调食品识别单元130。由处理器，如根据存储在存储器中的程序工作的中央处理单元(CPU)，来实现信息提取单元120。
[0052]烹调食品识别单元130参考基于和与烹调食品图像有关的人员、烹调食品图像的拍摄环境、烹调食品图像的拍摄地点以及烹调食品图像的拍摄时间中的至少之一有关的条件而从预先登记的烹调食品数据中选择的烹调食品数据，识别被包括在烹调食品图像中的单个或者多个烹调食品。通过本实施方式中的信息提取单元120从烹调食品图像的元数据中提取用于设定条件的信息。烹调食品数据被存储在数据库140中。该烹调食品数据是与可能被包括在烹调食品图像中的各个烹调食品相对应的数据。通过基于预定条件在烹调食品识别的过程中选择烹调食品识别单元130所参考的烹调食品数据，来降低烹调食品识别中的处理负荷。此外，下面将描述参考烹调食品数据识别烹调食品的详细过程。烹调食品识别单元130还可以通过处理器如根据存储在存储器中的程序工作的CPU来实现。
[0053]“与烹调食品图像有关的人员”在本文中包括例如拍摄烹调食品图像的用户，以及拍摄烹调食品图像时与该用户在一起的人员，即与该用户一起食用烹调食品图像中示出的食物的人员。“烹调食品图像的拍摄环境”例如包括拍摄烹调食品图像时附近的光强度、背景餐桌和托盘的颜色以及照明情况(是指照明是否是自然光、荧光灯的光、电灯的光等)。“烹调食品图像的拍摄地点”例如包括拍摄烹调食品图像的地点的坐标(纬度和经度)，以及该地点的具体名称(如办公室、家和餐厅)。此外，烹调食品图像的拍摄地点不一定以点的形式进行标识，也可以例如以具有预定尺寸的区域、行政区域以及地名的形式来标识。“烹调食品图像的拍摄时间”是指拍摄烹调食品图像的时间。该时间可以包括日期。被烹调食品识别单元130参考的烹调食品数据是根据基于如本实施方式中以上描述的烹调食品图像的附属信息的条件进行选择的。
[0054]数据库140存储在烹调食品识别单元130进行的烹调食品识别的过程中被参考的烹调食品数据。该烹调食品数据以与如人员、拍摄情况、拍摄地点以及拍摄时间的信息相关联的方式被存储。烹调食品识别单元130基于上述与烹调食品数据关联的信息和由信息提取单元120基于从烹调食品图像的元数据中提取的信息来设定的条件，选择在烹调食品识别的过程中参考的烹调食品数据。例如通过信息处理设备100的存储装置来实现数据库140。或者，通过信息处理设备100的外部存储装置来实现数据库140。烹调食品识别单元130可以经由网络来访问数据库140。
[0055]结果输出单元150输出与烹调食品识别单元130所进行的烹调食品识别的结果有关的信息。例如，如果信息处理设备100是终端设备，则结果输出单元150可以被实现为输出装置，如以图象或者声音的形式输出与识别结果有关的信息的显示器或扬声器。或者，结果输出单元150可以被实现为将与烹调食品识别结果有关的信息发送给另一个设备的通信装置。如果信息处理设备100是服务器，则结果输出单元150将与烹调食品识别的结果有关的信息输出给例如客户端终端设备。结果输出单元150可以将与烹调食品识别结果有关的信息输出给例如向用户输出信息的设备，或者使用烹调食品识别结果用于进一步的分析和数据累积的设备。
[0056]基于用于烹调食品的材料和用于烹制烹调食品的方法，提供了与各个烹调食品有关的信息如营养和热量。这种信息可以被存储在数据库140中，并且也可以从网络上的适当服务获取。因此，一旦识别出被包括在烹调食品图像中的烹调食品，就可以基于识别出的烹调食品的信息，如营养和热量，来计算用户食用的餐食的营养和热量，并且经由结果输出单元150将该信息提供给用户。可以在用户每次用餐时把这种与识别结果有关的信息提供给用户。或者，可以累积与识别结果有关的信息作为日志，根据需要进行进一步分析，并且提供给用户。
[0057](1-2.烹调食品识别过程的概述)
[0058]图2是用于示意性地描述根据本公开内容的第一实施方式的烹调食品识别过程的图。参考图2，信息处理设备100的烹调食品识别单元130通过将烹调食品图像1010与烹调食品数据1020匹配来识别被包括在烹调食品图像1010中的烹调食品1012。在示出的示例中，米饭1012a、沙拉1012b、鸡蛋1012c、鱼1012d以及味增汤1012e被识别作为烹调食品 1012。
[0059]烹调食品图像1010是通过拍摄例如用户食用的餐食而获得并且由图像获取单元110获取的图像。另外，烹调食品数据1020是预先登记的并且被存储在数据库140中的、与可能被包括在烹调食品图像1010中各个烹调食品相对应的数据。烹调食品识别单元130将烹调食品图像1010与烹调食品数据1020进行匹配。例如，如果烹调食品数据1020是示出各个烹调食品的图像的数据，则烹调食品识别单元130对图像进行匹配，如模板匹配。例如可以将JP2011-28382A中所描述的各种已知技术用于匹配。
[0060]作为示例，本文中的烹调食品图像1010在由烹调食品识别单元130进行的过程中与烹调食品数据1020进行匹配。然而，烹调食品识别单元130可以通过不同于匹配的过程来识别被包括在烹调食品图像1010中的烹调食品1012。例如，烹调食品识别单元130可以将所选择的烹调食品数据1020用作为学习样本，通过对象识别来识别烹调食品1012。
[0061]上述的匹配过程以及对象识别均造成较重负荷。由此，例如，随着向数据库140登记的烹调食品数据1020的量的增加，由烹调食品识别单元130进行的过程被施以更重的负荷。反之，随着登记的烹调食品数据1020的量的减少，因为较少的烹调食品可以被识别，所以由烹调食品识别单元130进行的烹调食品识别的准确性更加降低。[0062]在本实施方式中，烹调食品识别单元130因此基于与关于烹调食品图像1010的人员、烹调食品图像1010的拍摄环境、烹调食品图像1010的拍摄地点以及烹调食品图像1010的拍摄时间等有关的条件来选择在烹调食品识别的过程中参考的烹调食品数据1020。从而可以保持由烹调食品识别单元130进行的烹调食品识别的准确性，并且通过对参考的烹调食品数据1020进行限制来降低处理负荷。
[0063]下面将参考由烹调食品图像1010的元数据指示的条件的具体示例和与烹调食品数据1020关联的信息，对本实施方式的烹调食品识别过程进行进一步的描述。
[0064](1-3.烹调食品识别过程的第一示例)
[0065]图3A和图3B是分别示出与本公开内容的第一实施方式中的烹调食品数据关联的信息和烹调食品图像的元数据的第一示例的图。图3A示出多条元数据1030a至1030c作为烹调食品图像的元数据1030的示例。图3B示出多条烹调食品数据1020a、1020b、1020p以及1020q作为烹调食品数据1020的示例。
[0066]图3A中示出的元数据1030与烹调食品图像(001.jpg至003.jpg)相对应。此外，烹调食品图像不限于jpg格式的图像。在第一示例中，日期、时间、地点、拍摄烹调食品的人(“由”)以及与拍摄烹调食品的人一起的人(“与”)被设定为元数据1030的项。例如，烹调食品图像001.jpg的元数据1030a指示烹调食品图像001.jpg由John于2012年10月12日星期五12:10与Paul和George在办公室中拍摄。
[0067]可以基于由拍摄烹调食品图像的终端设备自动检测到的信息对这种元数据1030进行设定。例如，通过使用拍摄日期、拍摄时间、全球定位系统(GPS)等获取的拍摄地点的位置信息通常已知作为通过使用兼容格式如Exif被作为元数据添加到图像的信息。此外，可以基于例如向设备登记的用户信息以及从其他人所持有的终端设备提供的位置信息将与拍摄烹调食品图像的用户以及拍摄烹调食品图像时与该用户一起的其他人员有关的信息作为元数据自动添加到图像中。
[0068]或者，可以根据烹调食品图像的拍摄时间或者后面的用户的输入操作对元数据1030进行设定。在这种情况下，用户通过输入操作如关于例如烹调食品图像的拍摄地点、拍摄烹调食品图像的人员以及拍摄烹调食品图像时与该用户一起的人员的所谓的标记来设定元数据。元数据1030可以包括如以上所述的通过用户的输入操作来设定的项和被自动检测的项两者。或者，元数据1030可以包括这些项中的任意一项。
[0069]此外，为了便于说明，具体示出了被包括在元数据1030中的各个项的信息，这并非意在限制元数据的形式。例如，时间信息可以和日期一起记录，位置信息可以以坐标(纬度和经度)的形式记录，而拍摄图像的人员以及与拍摄图像的人一起的人员可以以用户ID的形式记录。元数据1030不必包括图中所示的所有项，而可以包括这些项中的至少一项。
[0070]针对每个烹调食品来记录图3B中示出的烹调食品数据1020。在示出的示例中，烹调食品数据1020与多条烹调食品图像数据(POOL jpg、P002.jpg、POll.jpg和P021.jpg)相对应。此外，烹调食品图像数据不限于jpg格式的图像数据。在第一示例中，烹调食品数据1020与信息如拥有数据的人员(谁的数据？)、其中食用烹调食品的时间区间(何时？)、食用烹调食品的地点(何地？)以及一起食用烹调食品的人员(与谁一起？)相关联。例如，指示烹调食品“米饭”的烹调食品数据1020a与下述信息关联:指示John有烹调食品数据1020a，并且“米饭”是在工作日作为午饭与同事(如Paul和George) —起在办公室食用的念调食品的?目息。
[0071]烹调食品数据1020不必与烹调食品一一对应。也就是说，可以对于同一烹调食品设定多条烹调食品数据1020。例如，由烹调食品数据1020a指示的烹调食品不仅是指“米饭”，而是“在工作日与同事一起在办公室作为午饭食用的米饭”。另外，可以有与指示“在周末与家人一起在家作为晚饭食用的米饭”的关于“米饭”的烹调食品数据1020p。这是因为虽然两图像包括相同的烹调食品，但是由于例如用餐时间区间和其他情况导致烹调食品图像可以具有不同的特征。例如，用于工作日在办公室的食堂作为午饭食用的“米饭”的碗与用于周末作为晚饭食用的“米饭”的碗具有不同的形状和不同的颜色，并且附近的光强度也不相同。因此，烹调食品图像具有不同的特征。因此，优选的是为两种类型的“米饭”准备不同种类的烹调食品数据1020，并且识别为两烹调食品图像均包括“米饭”。
[0072]可以通过明确的用户输入操作来登记这种烹调食品数据1020。例如，用户手动输入被包括在拍摄的烹调食品图像中的烹调食品区域以及被包括在该区域内的烹调食品。可以基于此对烹调食品数据1020进行登记。在这种情况下，可以基于与例如原始烹调食品图像的拍摄日期和时间以及拍摄地点有关的信息，设定与烹调食品数据1020相关联的信息。或者，烹调食品数据 1020可以分配给满足预定条件的用户。例如，可以将与办公室的食堂的菜单上的烹调食品有关的烹调食品数据1020分配给办公室的工作人员，或者可以将与餐厅的菜单上的烹调食品有关的烹调食品数据1020分配给已经登记为该餐厅会员的用户。
[0073]此外，为了便于说明，图中还具体示出了被包括在烹调食品数据1020中的各个项，这并非意在限制烹调食品数据的格式。例如，可以在由坐标(纬度和经度)指定的范围内记录位置信息，或者可以以用户ID的形式记录人员。烹调食品数据1020不必包括图中示出的所有信息，而可以包括至少一条信息。然而，元数据1030和烹调食品数据1020包括至少一条对应的信息。例如，如果元数据1030仅包括关于日期和时间的信息，则烹调食品数据1020至少与关于食用烹调食品的时间区间(何时？)的信息相关联。例如，如果烹调食品数据1020只与和食用烹调食品的地点(何地？)有关的信息相关联，则元数据1030至少包括与地点有关的信息。
[0074]接着，将参考图4中示出的流程图对如上所述使用元数据1030和烹调食品数据1020的烹调食品识别过程的示例进行描述。
[0075]图4是示出本公开内容的第一实施方式中的烹调食品识别过程的示例的流程图。在示出的示例中，烹调食品识别单元130在识别被包括在烹调食品图像中的烹调食品时以烹调食品数据1020为单位进行循环处理(步骤S101)。
[0076]烹调食品识别单元130确定烹调食品数据1020是否满足由烹调食品图像的元数据指示的条件(步骤S103)。如果烹调食品数据1020满足条件(是)，则烹调食品识别单元130将烹调食品数据1020用于与烹调食品图像进行匹配(步骤S105)。反之，如果烹调食品数据1020不满足条件(否)，则烹调食品识别单元130不将烹调食品数据1020用于匹配，而是进行至处理下一个烹调食品数据1020 (步骤S101)。
[0077]将进一步描述通过使用图3A和图3B中示出的元数据1030和烹调食品数据1020进行的上述过程。
[0078]作为示例，假设图像获取单元110获取带有元数据1030a的烹调食品图像(001.jpg)。在这种情况下，元数据1030a指示下述条件:烹调食品图像001.jpg “由John拍摄”(与图像有关的人员)、“大约在周五(工作日)中午”(拍摄时间)、“在办公室”(拍摄地点)、“与Paul和George —起”。因此，烹调食品识别单元130选择以与满足条件的信息相关联地登记的烹调食品数据1020作为用于匹配的烹调食品数据。此外，不必将所有的条件用于提取烹调食品数据1020。可以使用这些条件的一部分，即，例如拍摄时间、拍摄地点及与图像有关的人员中的一项或两项。
[0079]烹调食品数据1020的烹调食品数据1020a和1020b分别与指示食用餐食“作为工作日的午餐”、“在办公室”、“与同事(包括Paul和George) —起”的信息相关联。由此，这种烹调食品数据满足由元数据1030a指示的条件。反之，因为数据1020p和1020q指示食用餐食“作为周末的午餐”或者“在家”，所以烹调食品数据1020p和1020q不满足由元数据1030a指示的条件。
[0080]因此，步骤S103中的确定对于烹调食品数据1020a和1020b示出“是”，而对于烹调食品数据1020p和1020q示出“否”。因而，将烹调食品数据1020a和1020b用于步骤S105中的匹配，而不将烹调食品数据1020p和1020q用于匹配。
[0081]如关联的信息所指示出的，烹调食品数据1020p和1020q分别是指示作为晚餐在家与家人食用的餐食的数据和指示周末作为午餐在餐厅与朋友食用的餐食的数据。由此，如果将这些条数据用于与烹调食品图像001.jpg (其是在工作日与同事一起在办公室作为午餐食用的食物的图像)进行匹配，则这些条数据与烹调食品图像001.jpg匹配的可能性很小。可以通过在参考目标不包括烹调食品数据1020的情况下进行烹调食品识别，来保持识别的准确性并降低处理负荷。
[0082]在示出的示例中，多条烹调食品数据1020a、1020b、1020p和1020q是与John有关的所有数据。因此，对于选择烹调食品数据1020来说拍摄烹调食品图像的人员的条件是没有用的。在另一示例中，如果信息处理设备100 (例如是服务器)的数据库140存储与多个用户有关的数据，则烹调食品识别单元130可以选择性地参考这样的烹调食品数据1020:其被指示为与元数据1030所指示的拍摄烹调食品图像的人员有关的数据。
[0083](1-4.烹调食品识别过程的第二示例)
[0084]图5A和图5B是分别示出本公开内容的第一实施方式中的烹调食品图像的元数据和与烹调食品数据关联的信息的第二示例的图。图5A示出多条元数据1032a至1032c作为烹调食品图像的元数据1032的示例。图5B示出多条烹调食品数据1022a、1022b、1022p和1022q作为烹调食品数据1022的示例。
[0085]图5A中示出的元数据1032与烹调食品图像(001.jpg至003.jpg)对应。烹调食品图像不限于jpg格式的图像。在第二示例中，例如，将日期、时间、快门速度以及闪光灯的使用(闪光灯？)设定为元数据1032的项。例如，烹调食品图像001.jpg的元数据1032a指示该烹调食品图像于2012年10月12日星期五12:10以1/240秒的快门速度未用闪光灯来拍摄。
[0086]例如可以基于由拍摄烹调食品图像的终端设备自动检测到的信息对这种元数据1032进行设定。通常通过使用兼容格式如Exif来记录被包括在元数据1032中并且指示烹调食品图像的拍摄环境的项。由此，作为示例，信息提取单元120可以从被添加到烹调食品图像的Exif数据中提取指示被用于烹调食品识别单元130的条件的信息，以选择烹调食品数据。
[0087]针对每个烹调食品设定图5B中示出的烹调食品数据1022。在示出的示例中，烹调食品数据1022与各烹调食品图像数据(POOL jpg、P002.jpg、POll.jpg以及P021.jpg)对应。烹调食品图像数据不限于jpg格式的图像数据。在第二示例中，烹调食品数据1022与信息如拥有数据的人员(睡得数据？)、快门速度以及闪光灯的使用(闪光灯？)相关联。例如，如果烹调食品图像数据是从先前的烹调食品图像中剪切的图像，则基于诸如指示原图像的拍摄情况的Exif的信息对这种信息进行设定。
[0088]在第二示例中，烹调食品数据1022不必与烹调食品--对应。也就是说，可以对
于同一烹调食品设定多条烹调食品数据1022。例如，多条烹调食品数据1022a和1022p均是与“米饭”有关的烹调食品数据。然而，由于烹调食品数据1022a是以高快门速度未用闪光灯拍摄的图像，所以将烹调食品数据1022a估计为例如是从白天在办公室的明亮的餐厅中拍摄的图片中剪切的。另外，由于烹调食品数据1022p是以低快门速度用闪光灯拍摄的，所以将烹调食品数据1022p估计为例如是从晚上在黑暗的家中拍摄的图片中剪切的。由此，优选的是为两种类型的“米饭”准备不同的烹调食品数据1022，并且识别包括两种类型的烹调食品图像包括“米饭”。
[0089]通过使用图5A和图5B中示出的元数据1032和烹调食品数据1022，将进一步描述图4中示出的烹调食品识别的过程的执行。
[0090]作为示例，假设图像获取单元110获取带有元数据1032b的烹调食品图像(002.jpg)。在这种情况下，元数据1032a指示烹调食品图像002.jpg是以1/120秒的快门速度用闪光灯拍摄的。因此，烹调食品识别单元130选择与对应于上述条件的信息相关联地登记的数据1022作为用于匹配的 烹调食品数据。此外，不必将所有条件用于提取烹调食品数据1022。可以使用条件的一部分，即,例如可以使用快门速度和闪光灯的使用中的任一个。
[0091]烹调食品数据1022的烹调食品数据1022p与下述信息关联:该信息指示烹调食品数据1022p是以接近于元数据1032b的快门速度(1/125秒)的快门速度(1/125秒)用闪光灯拍摄的。由此，烹调食品数据1022p满足由元数据1032b指示的条件。反之,多条烹调食品数据1022a、1022b以及1022q具有与该烹调食品图像相比高得多的快门速度(1/250秒)或者低得多的快门速度(1/60秒)，或者不用闪光灯拍摄，这不满足由元数据1032a指示的条件。
[0092]因此，步骤S103中的确定对于烹调食品数据1022p示出“是”，对于烹调食品数据1022a、1022b以及1022q示出“否”。由此，将烹调食品数据1022p用于步骤S105中的匹配。不将烹调食品数据1022a、1022b以及1022q用于匹配。
[0093]如关联的信息所指示的，烹调食品数据1022a和1022b是在非常亮的环境中食用的烹调食品的数据。相反，烹调食品数据1022q是在非常阴暗的环境中食用的烹调食品的数据。由此，如果将这些条烹调食品数据用于与烹调食品图像002.jpg(在黑暗的环境中拍摄的图像)匹配，则这些条烹调食品数据几乎不可能与烹调食品图像002.jpg匹配。可以在参考目标不包括烹调食品数据1022的情况下通过进行烹调食品识别来保持烹调食品识别的准确性并且降低处理负荷。
[0094]如上述示例所示,在确定烹调食品数据1022是否满足由元数据1032指示的条件时可以允许某个范围。在上述示例中，元数据1032b指示烹调食品图像是以1/120秒的快门速度拍摄的，并且与烹调食品数据1022p关联的快门速度为1/125秒。然而，将烹调食品数据1022p看作为满足由元数据1032b指示的条件。
[0095](2.第二实施方式)
[0096]图6是示出根据本公开内容的第二实施方式的信息处理设备的示意性功能配置的框图。参考图6，信息处理设备200包括图像获取单元110、烹调食品识别单元130、数据库140以及结果输出单兀150。与根据第一实施方式与信息处理设备100不同,信息处理设备200不包括信息提取单元120。由此，本实施方式具有不同于第一实施方式的过程的如下过程:提取用于在烹调食品识别单元130中选择烹调食品数据的条件。根据本实施方式的其他配置基本与第一实施方式的配置相同，因此将省略重复的详细描述。
[0097]在本实施方式中，烹调食品识别单元130将整体调食品图像的特征作为与烹调食品图像的拍摄环境、烹调食品图像的拍摄地点以及烹调食品图像的拍摄时间中的至少之一有关的信息。这是因为具有相同的拍摄情况、拍摄地点或者拍摄时间的图像可能具有整体烹调食品图像的类似特征。例如，通过在同一地点拍摄食物(例如办公室的食堂、家以及餐厅)获得的烹调食品图像具有例如相同的托盘、餐桌以及餐具，因此该烹调食品图像具有与整体烹调食品图像相似的特征。
[0098]即使地点未被识别，通过在相对亮的环境中(例如办公室的食堂或者户外空间)拍摄餐食获得的烹调食品图像也与通过在相对暗的环境中(例如家和有气氛的餐厅)拍摄餐食获得的烹调食品图像作为整体食物图像具有不同的特征。因此，可以基于整体烹调食品图像的特征确定拍摄该烹调食品图像的环境。例如，因为光强度因时间区间而不同，所以即使在同一地点的餐食可以进一步反映在整体烹调食品图像的特征上。
[0099]鉴于上述方面，在本实施方式中，烹调食品识别单元130将整体烹调食品图像的特征与源图像的特征进行比较(其中烹调食品数据的图像是从源图像中剪切的)，并且根据该结果选择被参考的烹调食品数据。更具体地，烹调食品识别单元130通过选择性地参考从特征与整体烹调食品图像的特征相似的源图像剪切的图像的数据作为烹调食品数据，来识别包括在烹调食品图像中的烹调食品。下面将参考烹调食品数据的具体示例进一步描述烹调食品识别过程。
[0100]图7是示出本公开内容的第二实施方式中的与烹调食品数据关联的信息示例的图。图7示出多条烹调食品数据2020a、2020b、2020p以及2020q作为烹调食品数据2020的示例。
[0101]针对每个烹调食品记录烹调食品数据2020。基于源图像(源)和从源图像剪切的区域来指定烹调食品数据2020。也就是说，烹调食品数据2020是从源图像中剪切的图像的数据，并且与关于源图像的信息相关联地登记。例如，多条烹调食品数据2020a和2020b是通过从同一源图像(S001.jpg)中剪切不同区域而获得的图像。此外，源图像不限于jpg格式的图像。烹调食品数据2020的图像尺寸被标准化为20X20=400 (像素)，但是也可以使用其他标准化方法。或者，图像尺寸不必被标准化。
[0102]在本实施方式中，源图像的数据被存储在数据库140中。通过从源图像中剪切所指定的区域来参考烹调食品数据2020。作为另一示例，可以将烹调食品数据2020的图像与源图像分开地存储在数据库140中。
[0103]图8是示出本公开内容的第二实施方式中的烹调食品识别过程的示例的流程图。在所示出的示例中，当识别被包括在烹调食品图像中的烹调食品时，烹调食品识别单元130首先以烹调食品数据2020的源图像为单位进行循环处理(步骤S201)。
[0104]对于每个源图像，烹调食品识别单元130确定图像获取单元110所获取到的烹调食品图像是否与该源图像相似(步骤S203)。可以例如基于特征如各个图像的平均亮度值和平均颜色值来确定烹调食品图像是否与源图像相似。
[0105]如果在步骤S203中烹调食品图像与源图像相似(“是”)，则烹调食品识别单元130对与源图像对应的烹调食品数据2020进行循环处理，烹调食品数据2020是从源图像剪切的烹调食品数据2020 (步骤S205)。在循环处理中，烹调食品识别单元130将烹调食品数据2020用于与烹调食品图像进行匹配(步骤S207)。反之，如果烹调食品图像与源图像不相似(“否”)，则烹调食品识别单元130不将与源图像对应的烹调食品数据2020用于进行匹配，并且前进至处理下一源图像(步骤S201)。
[0106]如果在步骤S203中对图像进行严格的相似性确定，因为即使烹调食品图像与源图像是在同一拍摄条件下拍摄，这些图像也可能具有不同的烹调食品，所以实际上不应该被排除的与源图像对应的烹调食品数据可能被从匹配目标中排除。因此，例如，在步骤S203中对图像的相似性确定中可以对于相似性设定较低的阈值，以使得仅从匹配目标中排除下述烹调食品数据:该烹调食品数据是从与烹调食品图像的拍摄条件明显不同的拍摄条件下拍摄的源图像中剪切的。
[0107]根据本实施方式中描述的配置，可以在不获取烹调食品图像的元数据或者将各种类型的信息与烹调食品数据关联的情况下，保持烹调食品识别的准确性，并且同时降低处理负荷。
[0108](3.第三实施方式)
[0109]图9是示出根据本公开内容的第三实施方式的信息处理设备的示意性功能配置的框图。参考图9，信息处理设备300包括图像获取单元110、烹调食品识别单元130、数据库140、结果输出单元150以及烹调食品数据管理单元360。信息处理设备300还可以包括信息提取单元120。
[0110]如图所示，除了信息处理设备300中安装有烹调食品数据管理单元360之外，信息处理设备300可以具有与第一实施方式或第二实施方式中描述的信息处理设备相同的配置。因此，下面将主要对烹调食品数据管理单元360的功能进行描述，并且将省略其他重复的详细描述。
[0111]烹调食品数据管理单元360以附加的方式登记烹调食品数据，并且如果累积了预定量的烹调食品数据，则基于预定的标准删除烹调食品数据的一部分。可以由处理器如根据存储在存储器中的程序工作的CPU来实现烹调食品数据管理单元360。
[0112]如上所述，例如，可以根据用户的输入操作来登记烹调食品数据，并且可以由满足预定条件的用户分配烹调食品数据。然后，烹调食品数据管理单元360以附加的方式向数据库登记新的烹调食品数据。然而，当以附加的方式登记烹调食品数据时，由烹调食品识别单元130使用的烹调食品数据的量也单调增加。因此，尽管在预定条件下选择性地参考烹调食品数据，烹调食品识别中的处理负荷也增加。烹调食品数据管理单元360因此以附加的方式登记烹调食品数据，并且基于本实施方式中的预定标准来自动删除烹调食品数据。
[0113]图10是示出与本公开内容的第三实施方式中的烹调食品数据关联的信息的示例的图。图10示出多条烹调食品数据3020a、3020b、3020p以及3020q作为烹调食品数据3020的示例。
[0114]针对每个烹调食品登记烹调食品数据3020。此外，因为用于烹调食品识别单元130选择参考哪个烹调食品数据的项与第一实施方式和第二实施方式中所描述的项相同，所以图中没有示出这些项。除上述项之外，烹调食品数据3020与烹调食品数据3020最后匹配的日期(最后匹配)、匹配的数目(匹配计数)、烹调食品数据3020最后被使用的日期(最后使用)以及使用计数相关联。例如，烹调食品数据3020b与指示下述情况的信息关联:烹调食品数据3020b于2012年8月20日与烹调食品图像最后匹配，烹调食品数据3020b与烹调食品图像匹配了 18次，烹调食品数据3020b于2012年10月11日被最后用来匹配，以及烹调食品数据3020b被用于匹配了 130次。
[0115]在本实施方式中，烹调食品数据管理单元360将这种信息用作为自动删除烹调食品数据3020的指标，并且将烹调食品数据3020的量保持在适当的范围内。例如，烹调食品数据管理单元360首先删除较旧的最后匹配的数据，即从该数据与烹调食品数据进行最后匹配起经过了较长的时间。如果基于该标准自动删除数据，则在示出的示例中，烹调食品数据3020b首先被删除，并且随后烹调食品数据3020p被删除。
[0116]例如，烹调食品数据管理单元360还可以首先删除具有较小匹配计数的数据，即该数据与烹调食品图像匹配的次数较少。如果基于该标准自动删除数据，则在示出的示例中，烹调食品数据3020q首先被删除，并且随后烹调食品数据3020b被删除。类似地，烹调食品数据管理单元360还可以首先删除较旧的最后被使用的数据，或者具有较小使用计数的数据。
[0117]在示出的示例中，如果烹调食品数据管理单元360将最后匹配或者匹配计数用作自动删除的标准，则数据如频繁用于匹配但是不大可能与烹调食品图像匹配的烹调食品数据3020b被删除。另外，如果烹调食品数据管理单元360将最后使用或者匹配计数用作自动删除的标准，则数据如很少被使用但是当被使用时很可能与烹调食品图像匹配的烹调食品数据3020q被删除。
[0118]或者，烹调食品数据管理单元360可以结合上述指示作为自动删除的标准。例如，烹调食品数据管理单元360可以通过加权和将多个指标相加来计算出用于自动删除烹调食品数据3020的评估值。在这种情况下，具有例如较低的评估值的烹调食品数据3020首先被删除。
[0119]烹调食品数据管理单元360也可以将如决策树的多个指标用于自动删除。在这种情况下，烹调食品数据管理单元360首先基于第一指标确定删除目标，并且基于归入同一第一指标的多条烹调食品数据3020中的不同的第二指标进一步确定删除目标。例如，在示出的示例中，如果四条烹调食品数据3020中的两条烹调食品数据3020被删除，并且如果例如将最后设定为第一指标，则确定烹调食品数据3020q为删除目标。然而，剩余的多条烹调食品数据3020a、3020b以及3020p归入同一指标。接下来，如果例如将使用计数作为第二指标，则可以将烹调食品数据3020p确定为三条烹调食品数据中的删除目标。
[0120]用于自动删除烹调食品数据的指标不限于上述示例。例如，周期性地匹配的烹调食品数据可以与上述指标无关地作为有用数据被排除在自动的删除目标之外。由此可以防止用于识别烹调食品如不经常供应但是在预定的时期内在大多数情况下供应的季节性烹调食品的烹调食品数据被删除。由烹调食品数据管理单元360进行的对烹调食品数据3020的自动删除可以通过管理烹调食品数据3020的用户的输入操作来进行。例如，用户可以通过输入操作来保护特定的烹调食品数据3020，并且可以从删除目标中排除特定的烹调食品数据3020。反之，用户可以通过输入操作强制地删除特定的烹调食品数据3020。
[0121]根据本实施方式中的如以上所述的配置，可以通过加入新的烹调食品数据来提高烹调食品识别的准确性，并且防止由于烹调食品数据的无限增加造成处理负荷的增加。
[0122](4.第四实施方式)
[0123]图11是示出根据本公开内容的第四实施方式的信息处理设备的示意性功能配置的框图。参考图11，信息处理设备400包括图像获取单元110、烹调食品识别单元130、数据库140、结果输出单元150、标准烹调食品识别单元470以及识别结果整合单元480。信息处理设备400还可以包括信息提取单元120或者烹调食品数据管理单元360。
[0124]如图所示，除了信息处理设备400中安装有标准烹调食品识别单元470和识别结果整合单元480之外，信息处理设备400可以与第一实施方式至第三实施方式中描述的信息处理设备具有相同的配置。因此，下面将主要对标准烹调食品识别单元470和识别结果整合单元480的功能进行描述，并且将省略其他重复的详细描述。
[0125]标准烹调食品识别单元470在不使用用于选择烹调食品识别单元130执行识别过程时所参考的数据的条件的情况下，识别包括在由图像获取单元110获取到的烹调食品图像中的单个或多个烹调食品。不具体限制用于由标准烹调食品识别单元470使用的烹调食品识别过程的技术。例如，标准烹调食品识别单元470可以通过边缘检测来识别被包括在该烹调食品图像中的烹调食品区域，并且通过基于学习的目标识别来识别被包括在该区域中的烹调食品。通过处理器如根据存储在存储器中的程序工作的CPU来实现标准烹调食品识别单元470。
[0126]由烹调食品识别单元130进行的烹调食品识别过程使用与例如指示用户拍摄烹调食品图像的情况的信息和指示用餐的情况的信息相关联的烹调食品数据，即用于各个用户的个性化过程。另外，标准烹调食品识别单元470针对各个用户使用共同的数据，并且提供更标准和更普遍的烹调食品识别过程。在不依赖于与烹调食品图像有关的人员、烹调食品图像的拍摄环境、烹调食品图像的拍摄地点以及烹调食品图像的拍摄时间的情况下，标准烹调食品识别单元470进行烹调食品识别。
[0127]由此，即使烹调食品识别单元130难以进行烹调食品识别，即例如未将元数据添加至烹调食品图像从而未获得信息，或者数据库140未存储满足由信息如元数据指示的条件的烹调食品数据(例如，当用户在之前未去过的餐厅用餐时)，标准烹调食品识别单元470也可以成功进行烹调食品识别。
[0128]相反地，标准烹调食品识别单元470难以对在特定的情况下拍摄的烹调食品图像进行适当的烹调食品识别，即例如在氛围餐厅里在非常昏暗的灯光下拍摄的烹调食品图像或者在家中用独特形状的碗盛放的烹调食品。也难以识别例如其数据未预先准备的用户原创烹调食品。因此，例如，如果从烹调食品图像的元数据中获取到必要信息，并且如果数据库140存储满足由信息(例如，用户在同一地点两次或多次食用同一烹调食品)指示的条件的烹调食品数据，则烹调食品识别单元130有效地进行烹调食品识别。
[0129]因此在本实施方式中设置烹调食品识别单元130和标准烹调食品识别单元470 二者，这使得烹调食品识别单元130准确地将烹调食品识别为用户日常食用的烹调食品，并且使得标准烹调食品识别单元470识别出甚至是用户第一次食用的烹调食品。
[0130]识别结果整合单元480对由烹调食品识别单元130获得的识别结果和由标准烹调食品识别单元470获得的结果进行整合。如果烹调食品识别单元130和标准烹调食品识别单元470中的一个成功进行烹调食品识别，则识别结果整合单元480将识别结果提供给结果输出单元150。如果烹调食品识别单元130和标准烹调食品识别单元470两者都成功进行烹调食品识别，则识别结果整合单元480例如根据预先设定的优先级来采用该识别结果，并且将该识别结果提供给结果输出单元150。或者，例如，如果各个识别单元计算出指示识别结果的准确性的分数，则识别结果整合单元480可以采用识别结果中具有较高分数的一个。也可以通过处理器如根据存储在存储器中的程序工作的CPU来实现识别结果整合单元 480。
[0131]此外，如果烹调食品识别单元130和标准烹调食品识别单元470两者都成功进行烹调食品识别，并且如果两个识别结果都相同，则识别结果整合单元480可以负面地评价由烹调食品识别单元130识别为与烹调食品图像匹配的烹调食品数据。这是因为也能够通过由标准烹调食品识别单元470 —般化的烹调食品识别来识别通过使用烹调食品数据识别的烹调食品，以使得烹调食品识别单元130不必识别烹调食品数据。被负面评价的烹调食品数据变得更有可能(例如通过由烹调食品数据管理单元360进行的自动删除)被删除。
[0132](5.第五实施方式)
[0133]图12是示出根据本公开内容的第五实施方式的信息处理设备的示意性功能配置的框图。参考图12，信息处理设备500包括图像获取单元110、烹调食品识别单元130、数据库140、结果输出单元150、标准烹调食品识别单元470、识别结果整合单元480以及烹调食品数据管理单元560。信息处理设备500还可以包括信息提取单元120。
[0134]如图所示，除了信息处理设备500中安装有烹调食品数据管理单元560之外，信息处理设备500的配置可以与第四实施方式中描述的配置相同。因此，下面将主要对烹调食品数据管理单元560的功能进行描述，并且将省略其他的重复的详细描述。
[0135]烹调食品数据管理单元560基于由标准烹调食品识别单元470获得的识别结果以附加的方式向数据库140登记烹调食品数据。在本实施方式中，如果未自动识别出被包括在烹调食品图像中的烹调食品，则由标准烹调食品识别单元470基于用户的输入确定识别结果。在这种情况下，烹调食品数据管理单元560以附加的方式登记未被自动识别的数据作为烹调食品数据。通过对被包括在烹调食品图像中的烹调食品进行自动识别而获得的结果可以由标准烹调食品识别单元470基于用户的输入进行校正。在这种情况下，烹调食品数据管理单元560以附加的方式将具有通过校正确定的识别结果的烹调食品的数据登记为烹调食品数据。通过处理器如根据存储在存储器中的程序工作的CPU来实现烹调食品数据管理单元560。
[0136]图13是用于描述本公开内容的第五实施方式中的烹调食品数据的附加登记的示例的图。图13示出由标准烹调食品识别单元470获得的自动识别结果的示例。该结果指示米饭1012a、鸡蛋1012c、鱼1012d以及味增汤1012e被识别为被包括在烹调食品图像1010中的烹调食品1012，但是沙拉1012b未被识别。虽然味增汤1012e确定被识别，但是确定味增汤的烹调食品区域比味增汤的实际区域小。[0137]因此，用户对识别区域进行校正，并且手动输入识别结果。例如，当将标准烹调食品识别单元470所获得的识别结果经由识别结果整合单元480和结果输出单元150提供给用户时获取这种输入，并且用户作出校正并进行手动输入操作。该图示出这样的示例:其中用户使用触摸面板等指定图像上的位置并且指定用于显示的烹调食品图像1010的区域。然而，用户输入的示例不限于此。可以将多种输入装置用于进行输入操作。
[0138]在示出的示例中，首先，用户校正味增汤1012e的被识别区域。这里由识别结果指示的味增汤1012e的区域与示出实际的味增汤碗的区域匹配。然后，烹调食品数据管理单元560以附加的方式向数据库140登记与经校正的味增汤1012e对应的烹调食品数据。这是因为，更加合适的是由烹调食品识别单元130使用这次登记的烹调食品数据来在下次或者随后识别被包括在烹调食品图像中的味增汤1012e，因为标准烹调食品识别单元470不能正确识别味增汤1012e的区域。
[0139]接下来，用户进行手动输入操作以使得未能被识别的沙拉1012b被识别。例如，用户指定烹调食品图像1010中的沙拉1012b的区域，并且针对所指定的区域输入烹调食品名称“沙拉”。烹调食品数据管理单元560以附加的方式向数据库140登记对应于沙拉1012b的烹调食品数据。这是因为，更合适的是由烹调食品识别单元130使用这次登记的烹调食品数据以在下次或者随后识别被包括在烹调食品图像中的沙拉1012b，因为标准烹调食品识别单元470不能正确识别沙拉1012b的区域。
[0140]此外，以附加的方式向数据库140登记烹调食品数据的烹调食品数据管理单元560可以与第三实施方式中所描述的烹调食品数据管理单元360相同的方式，基于预定的标准自动地删除烹调食品数据，以防止烹调食品数据的无限增加。
[0141]根据本实施方式中的上述配置，如果用户不能明确地对烹调食品数据进行登记过程，则烹调食品数据管理单元560自动向数据库140登记关于标准烹调食品识别单元470不能正确和自动识别的烹调食品的烹调食品数据。由此，可以将烹调食品识别单元130通过使用被存储在数据库140中的烹调食品数据来识别的烹调食品限制为标准烹调食品识别单元470难以识别的烹调食品。因而，仅最小量的烹调食品数据被存储在数据库140中，这降低了烹调食品识别单元130进行的烹调食品识别的处理负荷。
[0142](6.第六实施方式)
[0143]图14是示出根据本公开内容的第六实施方式的系统的示意性功能配置的框图。参考图14，系统60包括客户端600和服务器700。客户端600包括图像获取单元110、烹调食品识别单元130、数据库140、结果输出单元150以及识别结果整合单元480。客户端600还可以包括信息提取单元120或烹调食品数据管理单元560。服务器700包括标准烹调食品识别单元770。
[0144]本实施方式与第四实施方式或者第五实施方式的不同之处在于,第四实施方式或第五实施方式中描述的相同的功能配置在客户端600和服务器700中分布和实现。例如，通过用户所使用的终端设备来实现客户端600。通过单个或者多个与作为客户端600的终端设备通信的服务器设备来实现服务器700，以向用户提供服务。由于根据本实施方式的配置的其他部分基本上与第四实施方式或者第五实施方式中描述的配置相同，所以将省略重复的详细描述。
[0145]服务器700的标准烹调食品识别单元770接收来自客户端600的图像获取单元110的烹调食品图像，并且进行与第四实施方式或者第五实施方式中描述的由标准烹调食品识别单元470进行的烹调食品识别的标准化过程。标准烹调食品识别单元770将识别结果发送给客户端600的识别结果整合单元480。也就是说，在本实施方式中，客户端600要求服务器700进行由标准烹调食品识别单元770进行的烹调食品识别的标准化过程。
[0146]根据第四实施方式和第五实施方式的信息处理设备400和信息处理设备500也可以是终端设备(客户端)和服务器。也就是说，在这两种实施方式中，由烹调食品识别单元130进行的烹调食品识别过程和由标准烹调食品识别单元470进行的烹调食品识别过程在客户端或者服务器中一起进行。然而，如上所述，烹调食品识别的过程产生繁重的处理负荷。因此，在具有相对较低的处理能力的客户端中一起进行该烹调食品识别过程可能是不实际的。由此，优选的是考虑到处理负荷调整来在具有高处理能力的服务器中一起进行烹调食品识别过程。
[0147]然而，例如，如图3B中的示例示出的，烹调食品数据可以包括用户的个人信息。因此，可能不希望在服务器中存储烹调食品数据。因此，在本实施方式中，通过在客户端600中设置对数据进行存储的数据库140和通过使用烹调食品数据进行烹调食品识别过程的烹调食品识别单元130，来保护用户的隐私，而通过使被设置在服务器700中的标准烹调食品识别单元770进行使用通用数据的标准化烹调食品识别过程，来降低客户端600处理负荷。
[0148](7.硬件配置)
[0149]接着，将参考图15描述根据本公开内容的实施方式的信息处理设备的硬件配置。图15是用于描述信息处理设备的硬件配置的框图。示出的信息处理设备900可以实现例如上述实施方式中的信息处理设备100至信息处理设备500、客户端600以及服务器700。
[0150]信息处理设备900包括中央处理器(CPU) 901、只读存储器(ROM) 903以及随机存取存储器(RAM)905。信息处理设备900可以包括主机总线907、桥接器909、外部总线911、接口 913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口 923以及通信装置925。信息处理设备900还可以根据需要包括成像装置933和传感器935。信息处理设备900可以包括代替CPU901或者与CPU901在一起的处理电路如数字信号处理器(DSP)。
[0151]CPU901用作为运算处理装置和控制装置，并且根据记录在R0M903、RAM905、存储装置919或者可移除存储介质927上的各种程序对信息处理设备900的所有或者一部分操作进行控制。R0M903存储例如程序或者由CPU901使用的操作参数。RAM905临时存储例如当CPU901工作时使用的程序和当CPU901工作时根据需要而改变的参数。CPU901、R0M903以及RAM905通过包括内部总线如CPU总线的主机总线907彼此连接。此外，主机总线907经由桥接器909连接到外部总线911如外围部件互联/接口(PCI)总线。
[0152]输入装置915是由用户操作的装置，如鼠标、键盘、触摸板、按钮、开关以及操作杆。输入装置915可以是使用例如红外线或者其他类型的无线电波的遥控装置。或者，输入装置915可以是外部连接设备929如与信息处理设备900的操作相对应的移动电话。输入装置915包括输入控制电路，该输入控制电路基于由用户输入的信息产生输入信号以将所产生的输入信号输出给CPU901。用户通过对输入装置915进行操作来输入各种类型的数据并且对信息处理设备900指示处理操作。
[0153]输出装置917包括可以可视地或者可听地向用户报告获取到的信息的装置。输出装置917可以是例如显示装置如液晶显示器(IXD)、等离子显示面板(PDP)以及有机电致发光(EL)显示器，音频输出装置如扬声器和耳机，以及打印机。输出装置917以视频如文本和图像、或者声音如语音和音频声音的形式，输出通过信息处理设备900所进行的处理获得的结果。
[0154]存储装置919是作为信息处理设备900的存储单元的示例的用于数据存储的装置。存储装置919包括例如:磁存储装置如硬盘驱动器(HDD)、半导体存储装置、光存储装置或者磁光存储装置。存储装置919存储由CPU901执行的程序和各种类型的数据，从外部设备获取到的各种类型的数据等。
[0155]驱动器921是用于可移除存储介质927如磁盘、光盘、磁光盘以及半导体存储器的读取器/写入器，并且被内置或者被外部地附接到信息处理设备900。驱动器921读取出被记录在安装的可移除存储介质927中的信息，并且将该信息输出给RAM905。驱动器921将该记录写入到安装的可移除存储介质927。
[0156]连接端口 923是用于将装置直接连接到信息处理设备900的端口。连接端口 923可以是例如通用串行总线(USB)端口、IEEE1394端口以及小型计算机系统接口(SCSI)端口。连接端口 923还可以是例如RS-232C端口、光学音频端子以及高清晰度多媒体接口(HDMI)端口。可以通过将外部连接设备929连接到连接端口 923来在信息处理设备900和外部连接设备929之间交换各种类型的数据。
[0157]通信装置925是包括例如用于连接到通信网络931的通信装置的通信接口。通信装置925可以是例如有线或者无线局域网(LAN)、蓝牙(注册商标)或者用于无线USB的通信卡(WUSB)。通信装置925还可以是例如用于光学通信的路由器、用于非对称数字用户线路(ADSL)的路由器或者用于各种类型的通信的调制解调器。例如，通信装置925发送和接收因特网中的信号或者通过使用预定的协议如TCP/IP将信号发送给另一通信装置和接收来自另一装置的信号。通信装置925连接至的通信网络931是通过有线连接或者无线连接建立的网络。通信网络931例如是因特网、家庭LAN、红外通信、无线电通信或者卫星通信。
[0158]成像装置933是通过使用图像传感器如电荷耦合装置(CXD)和互补金属氧化物半导体(CMOS)以及各种构件如用于控制目标图像在图像传感器上的图像形成的透镜来拍摄真实空间，并且生成所拍摄的图像的装置。成像装置933可以拍摄静止图像或者运动图像。
[0159]传感器935是各种传感器如加速度传感器、陀螺仪传感器、地磁传感器、光学传感器以及声音传感器。传感器935获取与信息处理设备900的状态有关的信息如信息处理设备900的壳体的姿态，以及与信息处理设备900的周围环境有关的信息如信息处理设备900周围的发光强度和噪音的信息。传感器935还可以包括接收全球定位系统(GPS)信号来测量设备的纬度、经度和海拔的GPS传感器。
[0160]如上所述，描述了信息处理设备900的硬件配置的示例。可以将通用构件用于各个结构元件，或者可以使用专用于各个结构元件的功能的硬件。可以根据在本公开内容工作时的技术条件，根据需要来改变本公开内容的配置。
[0161](8.补充)
[0162]本公开内容的实施方式可以包括例如信息处理设备、系统、由信息处理设备或者系统执行的信息处理方法、用于使信息处理设备起作用的程序以及其上记录有程序的存储介质。[0163]本领域技术人员应当理解，在所附的权利要求或其等同方案的范围内，可以根据设计要求及其他因素发生各种修改、组合、子组合以及替换。
[0164]此外，还可以对本技术进行如下配置。
[0165](I) 一种信息处理设备,包括:
[0166]图像获取单元，被配置为获取通过拍摄单个或者多个烹调食品而获得的烹调食品图像；以及
[0167]第一烹调食品识别单元，被配置为参考烹调食品数据来识别被包括在所述烹调食品图像中的所述单个或者多个烹调食品，其中所述烹调食品数据是基于与以下方面中的至少之一有关的条件而从预先登记的烹调食品数据中选择的:与所述烹调食品图像有关的人员、所述烹调食品图像的拍摄环境、所述烹调食品图像的拍摄地点、以及所述烹调食品图像的拍摄时间。
[0168](2)根据(I)所述的信息处理设备，还包括:
[0169]识别结果整合单元，被配置为把由所述第一烹调食品识别单元获得的第一识别结果与由第二烹调食品识别单元获得的第二识别结果进行整合，所述第二烹调食品识别单元在不使用所述条件的情况下识别被包括在所述烹调食品图像中的所述单个或者多个烹调食品。
[0170](3)根据(2)所述的信息处理设备，还包括:
[0171]烹调食品数据管理单元，被配置为基于所述第二识别结果附加地登记所述烹调食品数据。
[0172](4)根据(3)所述的信息处理设备，
[0173]其中，当未自动识别出所述单个或者多个烹调食品时，基于用户的输入来确定所述第二识别结果，并且
[0174]其中，所述烹调食品数据管理单元根据基于所述用户的所述输入而确定的所述第二识别结果附加地登记所述烹调食品数据。
[0175](5)根据(3)或(4)所述的信息处理设备，
[0176]其中，所述第二识别结果是通过自动地识别所述单个或者多个烹调食品而获得的结果，或者是通过基于由用户输入的信息对所述结果进行校正而获得的结果，并且
[0177]其中，所述烹调食品数据管理单元根据所述第二识别结果附加地登记所述烹调食品数据，所述第二识别结果是通过基于由所述用户输入的所述信息进行的校正而确定的。
[0178](6)根据(2)至(5)中任一项所述的信息处理设备，
[0179]其中，所述信息处理设备是由拍摄所述烹调食品图像的用户使用的客户端，
[0180]其中，所述图像获取单元将获取到的烹调食品图像发送给包括有所述第二烹调食品识别单元的服务器，并且
[0181]其中，所述识别结果整合单元从所述服务器接收所述第二识别结果。(7 )根据(I)至(6)中任一项所述的信息处理设备，还包括:
[0182]烹调食品数据管理单元，被配置为附加地登记所述烹调食品数据，并且当累积了预定量的所述烹调食品数据时，基于预定标准删除所述烹调食品数据的一部分。
[0183](8)根据(7)所述的信息处理设备，
[0184]其中，所述第一烹调食品识别单元通过将所述烹调食品图像与所选择的烹调食品数据进行匹配来识别所述单个或者多个烹调食品。
[0185](9)根据(8)所述的信息处理设备，
[0186]其中，所述烹调食品数据管理单元基于指示所述烹调食品数据用于与所述烹调食品图像进行匹配的次数的数目，或者基于指示所述烹调食品数据何时用于与所述烹调食品图像进行匹配的日期和时间，来删除所述烹调食品数据的一部分。
[0187](10)根据(8)或(9)所述的信息处理设备，
[0188]其中，所述烹调食品数据管理单元基于指示所述烹调食品数据与所述烹调食品图像成功匹配的次数的数目，或者基于指示所述烹调食品数据与所述烹调食品图像何时成功匹配的日期和时间，来删除所述烹调食品数据的一部分。
[0189](11)根据(I)至(10)中任一项所述的信息处理设备，
[0190]其中，所述图像获取单元获取带有元数据的所述烹调食品图像，并且
[0191]其中，所述信息处理设备还包括:
[0192]信息提取单元，被配置为从所述元数据中提取与以下方面中的至少之一有关的信息:与所述烹调食品图像有关的人员、所述烹调食品图像的拍摄环境、所述烹调食品图像的拍摄地点、以及所述烹调食品图像的拍摄时间。
[0193]( 12)根据(11)所述的信息处理设备，
[0194]其中，所述信息提取单元提取关于与所述烹调食品图像有关的人员的信息，并且
[0195]其中，所述第一烹调食品识别单元参考与所述人员相关联地登记的所述烹调食品数据来识别所述单个或者多个烹调食品。
[0196](13)根据(11)或(12)所述的信息处理设备，
[0197]其中，所述信息提取单元提取与所述烹调食品图像的拍摄环境有关的信息，并且
[0198]其中，所述第一烹调食品识别单元使用与下述信息相关联地登记的所述烹调食品数据来识别所述单个或者多个烹调食品:所述信息指示所述拍摄环境的共同的环境。
[0199](14)根据(11)至(13)中任一项所述的信息处理设备，
[0200]其中，所述信息提取单元提取与所述烹调食品图像的拍摄地点有关的信息，并且
[0201]其中，所述第一识别单元使用与所述拍摄地点相关联地登记的所述烹调食品数据来识别所述单个或者多个烹调食品。
[0202](15)根据(11)至(14)中任一项所述的信息处理设备，
[0203]其中，所述信息提取单元提取与所述烹调食品图像的拍摄时间有关的信息，并且
[0204]其中，所述第一烹调食品识别单元使用与包括所述拍摄时间的时间区间相关联地登记的所述烹调食品数据来识别所述单个或者多个烹调食品。(16)根据(I)至(10)中任一项所述的信息处理设备，
[0205]其中，所述第一烹调食品识别单元将所述烹调食品图像的整体的特征看作与所述烹调食品图像的拍摄环境、所述烹调食品图像的拍摄地点以及所述烹调食品图像的拍摄时间中的至少之一有关的信息。
[0206]( 17)根据(16)所述的信息处理设备，
[0207]其中，所述烹调食品数据是被从源图像剪切的图像的数据，并且与关于所述源图像的信息相关联地登记，并且
[0208]其中，当所述烹调食品图像的整体的特征与所述源图像的特征相似时，所述第一烹调食品识别单元使用从所述源图像剪切的所述图像的数据来识别所述单个或者多个烹调食品O
[0209]( 18) 一种信息处理方法，包括:
[0210]获取通过拍摄单个或者多个烹调食品而获得的烹调食品图像；以及
[0211]参考烹调食品数据来识别被包括在所述烹调食品图像中的所述单个或者多个烹调食品，其中所述烹调食品数据是基于与以下方面中的至少之一有关的条件而从预先登记的烹调食品数据中选择的:与所述烹调食品图像有关的人员、所述烹调食品图像的拍摄环境、所述烹调食品图像的拍摄地点、以及所述烹调食品图像的拍摄时间。
【权利要求】
1.一种信息处理设备,包括: 图像获取单元，被配置为获取通过拍摄单个或者多个烹调食品而获得的烹调食品图像；以及 第一烹调食品识别单元，被配置为参考烹调食品数据来识别被包括在所述烹调食品图像中的所述单个或者多个烹调食品，其中所述烹调食品数据是基于与以下方面中的至少之一有关的条件而从预先登记的烹调食品数据中选择的:与所述烹调食品图像有关的人员、所述烹调食品图像的拍摄环境、所述烹调食品图像的拍摄地点、以及所述烹调食品图像的拍摄时间。
2.根据权利要求1所述的信息处理设备，还包括: 识别结果整合单元，被配置为把由所述第一烹调食品识别单元获得的第一识别结果与由第二烹调食品识别单元获得的第二识别结果进行整合，所述第二烹调食品识别单元在不使用所述条件的情况下识别被包括在所述烹调食品图像中的所述单个或者多个烹调食品。
3.根据权利要求2所述的信息处理设备，还包括: 烹调食品数据管理单元，被配置为基于所述第二识别结果附加地登记所述烹调食品数据。
4.根据权利要求3所述的信息处理设备， 其中，当未自动识别出所述单个或者多个烹调食品时，基于用户的输入来确定所述第二识别结果，并且 其中，所述烹调食品数据管理单元根据基于所述用户的所述输入而确定的所述第二识别结果附加地登记所述烹调食品数据。`
5.根据权利要求3所述的信息处理设备， 其中，所述第二识别结果是通过自动地识别所述单个或者多个烹调食品而获得的结果，或者是通过基于由用户输入的信息对所述结果进行校正而获得的结果，并且 其中，所述烹调食品数据管理单元根据所述第二识别结果附加地登记所述烹调食品数据，所述第二识别结果是通过基于由所述用户输入的所述信息进行的校正而确定的。
6.根据权利要求2所述的信息处理设备， 其中，所述信息处理设备是由拍摄所述烹调食品图像的用户使用的客户端， 其中，所述图像获取单元将获取到的烹调食品图像发送给包括有所述第二烹调食品识别单元的服务器，并且 其中，所述识别结果整合单元从所述服务器接收所述第二识别结果。
7.根据权利要求1所述的信息处理设备，还包括: 烹调食品数据管理单元，被配置为附加地登记所述烹调食品数据，并且当累积了预定量的所述烹调食品数据时，基于预定标准删除所述烹调食品数据的一部分。
8.根据权利要求7所述的信息处理设备， 其中，所述第一烹调食品识别单元通过将所述烹调食品图像与所选择的烹调食品数据进行匹配来识别所述单个或者多个烹调食品。
9.根据权利要求8所述的信息处理设备， 其中，所述烹调食品数据管理单元基于指示所述烹调食品数据用于与所述烹调食品图像进行匹配的次数的数目，或者基于指示所述烹调食品数据何时用于与所述烹调食品图像进行匹配的日期和时间，来删除所述烹调食品数据的一部分。
10.根据权利要求8所述的信息处理设备， 其中，所述烹调食品数据管理单元基于指示所述烹调食品数据与所述烹调食品图像成功匹配的次数的数目，或者基于指示所述烹调食品数据与所述烹调食品图像何时成功匹配的日期和时间，来删除所述烹调食品数据的一部分。
11.根据权利要求1所述的信息处理设备， 其中，所述图像获取单元获取带有元数据的所述烹调食品图像，并且 其中，所述信息处理设备还包括: 信息提取单元，被配置为从所述元数据中提取与以下方面中的至少之一有关的信息:与所述烹调食品图像有关的人员、所述烹调食品图像的拍摄环境、所述烹调食品图像的拍摄地点、以及所述烹调食品图像的拍摄时间。
12.根据权利要求11所述的信息处理设备， 其中，所述信息提取单元提取关于与所述烹调食品图像有关的人员的信息，并且 其中，所述第一烹调食品识别单元参考与所述人员相关联地登记的所述烹调食品数据来识别所述单个或者多个烹调食品。
13.根据权利要求11所述的信息处理设备， 其中，所述信息提取单元提取与所述烹调食品图像的拍摄环境有关的信息，并且` 其中，所述第一烹调食品识别单元使用与下述信息相关联地登记的所述烹调食品数据来识别所述单个或者多个烹调食品:所述信息指示所述拍摄环境的共同的环境。
14.根据权利要求11所述的信息处理设备， 其中，所述信息提取单元提取与所述烹调食品图像的拍摄地点有关的信息，并且 其中，所述第一识别单元使用与所述拍摄地点相关联地登记的所述烹调食品数据来识别所述单个或者多个烹调食品。
15.根据权利要求11所述的信息处理设备， 其中，所述信息提取单元提取与所述烹调食品图像的拍摄时间有关的信息，并且 其中，所述第一烹调食品识别单元使用与包括所述拍摄时间的时间区间相关联地登记的所述烹调食品数据来识别所述单个或者多个烹调食品。
16.根据权利要求1所述的信息处理设备， 其中，所述第一烹调食品识别单元将所述烹调食品图像的整体的特征看作与所述烹调食品图像的拍摄环境、所述烹调食品图像的拍摄地点以及所述烹调食品图像的拍摄时间中的至少之一有关的信息。
17.根据权利要求16所述的信息处理设备， 其中，所述烹调食品数据是被从源图像剪切的图像的数据，并且与关于所述源图像的信息相关联地登记，并且 其中，当所述烹调食品图像的整体的特征与所述源图像的特征相似时，所述第一烹调食品识别单元使用从所述源图像剪切的所述图像的数据来识别所述单个或者多个烹调食品O
18.—种信息处理方法,包括: 获取通过拍摄单个或者多个烹调食品而获得的烹调食品图像；以及参考烹调食品数据来识别被包括在所述烹调食品图像中的所述单个或者多个烹调食品，其中所述烹调食品数据是基于与以下方面中的至少之一有关的条件而从预先登记的烹调食品数据中选择的:与所述烹调食品图像有关的人员、所述烹调食品图像的拍摄环境、所述烹调食品图像的拍摄地点、以及所述烹调食品图像的拍摄时间。
【文档编号】G06F17/30GK103793450SQ201310503888
【公开日】2014年5月14日 申请日期:2013年10月23日 优先权日:2012年10月30日
【发明者】望月大介, 佐藤达人 申请人:索尼公司