用于确认对象物的获取的系统、服务器、程序和方法与流程

本发明涉及用于确认用户获取到了对象物的系统、服务器、程序和方法。
背景技术：
：已知有向访问了诸如商店等的预定场所的用户奖励在线游戏等中的特权的签到服务。在专利文献1所公开的系统中，在提供向访问了张贴有预定张贴物的场所的便携式终端装置的用户奖励在线游戏等中的特权这一服务时，如果基于作为便携式终端存储单元中所存储的张贴物的图像的基准图像而将张贴物判断为包括在摄像区域内，则拍摄张贴物及其周边部的图像，将通过对该图像进行归一化所获得的归一化图像与已被认证并存储在服务器中的已认证图像进行比较，并且基于这两者之间的相似度来确认用户的访问。现有技术文献专利文献日本专利6181893技术实现要素：发明要解决的问题然而，该系统的目的是确认对预定场所的访问。因而，为了用于对购买了或以其它方式获取到了产品的用户进行确认并且奖励特权的签到服务的目的，该系统不一定适合于精确地识别要奖励特权的对象物(诸如产品等)的种类。如果将用于识别产品的种类的二维码贴附至产品包装等，则可以在所拍摄到的图像中识别产品的种类。然而，为了通过使用二维码来识别产品的种类，需要在包装纸等上显示针对各个产品而不同的二维码。由于改变现有包装纸的设计并在包装纸上印刷二维码会大大增加单价，因此难以针对时间段有限的事件而实现这一点。此外，在将识别各个产品等的二维码贴附至现有包装纸的情况下，由于该作业将导致单价大大增加，并且将需要改变产品的制造和分销途径，这是不可行的。用于解决问题的方案本发明是有鉴于上述问题而作出的，并且具有以下特征。具体地，根据本发明实施例的一种系统是一种系统，用于确认获取到了多个种类的对象物中的一个种类的对象物，所述系统包括便携式终端装置和服务器，所述系统的特征在于：所述便携式终端装置被配置为：基于与用于检测所述多个种类的对象物的形状有关的局部特征量，来判断所述便携式终端装置的摄像装置所拍摄到的空间的图像中是否包括所述多个种类的对象物中的一个种类的对象物；在判断为所述图像包括一个种类的对象物的情况下，取得被判断为包括该对象物的图像作为获取对象物图像；以及将所述获取对象物图像发送至所述服务器，以及所述服务器被配置为：接收所发送的获取对象物图像；基于所述多个种类的对象物中的一个种类的对象物的图像特征量，来确定所述获取对象物图像相对于所述一个种类的对象物的特征相关量；以及基于所确定的特征相关量，来判断所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像。所述一个种类的对象物的图像特征量可以包括特有特征量和非特有特征量，所述特有特征量可以包括表示作为所述一个种类的对象物的特征的颜色的特征颜色值，所述非特有特征量可以包括表示不是所述一个种类的对象物的特征的颜色的非特征颜色值，所述特征相关量可以是被确定为表示作为所述一个种类的对象物的特征的颜色的特征部的量和被确定为表示不是所述一个种类的对象物的特征的颜色的非特征部的量之间的比，其中，所述确定是基于所述获取对象物图像中的所述一个种类的对象物的图像特征量而进行的，以及与所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像有关的判断可以是根据所述特征相关量是否落在预定范围内而确定的。所述非特有特征量可以包括以下颜色值中的至少任一颜色值：表示所述多个种类的对象物共同的颜色的颜色值、以及未包括在所述一个种类的对象物的特有特征量中但包括在其它种类的对象物的特有特征量中的颜色值。所述一个种类的对象物的图像特征量可以包括与该种类的对象物的基准图像中所包括的形状有关的直方图，以及所述特征相关量可以是基于所述基准图像的直方图和与所述获取对象物图像中所包括的形状有关的直方图之间的差而确定的。与所述便携式终端装置的所述摄像装置所拍摄到的空间的图像中是否包括所述多个种类的对象物中的一个种类的对象物有关的判断可以是与所拍摄到的空间的图像中的预定区域内是否包括所述一个种类的对象物有关的判断。所述多个种类的对象物中的一个种类可以是由用户经由所述便携式终端装置预先指定的。与所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像有关的判断可以是针对所述多个种类的对象物中的各种类的对象物进行的，并且所述获取对象物图像可以被判断为拍摄到具有最高相关性的对象物的图像。所述局部特征量可以是所述多个种类的对象物共同的局部特征量，或者可以是所述多个种类的对象物中的各种类的对象物特有的局部特征量。此外，根据本发明实施例的一种服务器是一种服务器，其被用在系统中，所述系统用于确认获取到了多个种类的对象物中的一个种类的对象物，所述服务器的特征在于，所述服务器被配置为：从便携式终端装置接收被判断为包括所述便携式终端装置所拍摄到的对象物的获取对象物图像；基于所述多个种类的对象物中的一个种类的对象物的图像特征量，来确定所述获取对象物图像相对于所述一个种类的对象物的特征相关量；以及基于所确定的特征相关量，来判断所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像。此外，根据本发明实施例的一组程序是一组程序，用于确认获取到了多个种类的对象物中的一个种类的对象物，所述一组程序使得一个或多个计算机执行以下步骤：基于与用于检测所述多个种类的对象物的形状有关的局部特征量，来判断便携式终端装置的摄像装置所拍摄到的空间的图像中是否包括所述多个种类的对象物中的一个种类的对象物；在判断为所述图像包括一个种类的对象物的情况下，取得被判断为包括该对象物的图像作为获取对象物图像；基于所述多个种类的对象物中的一个种类的对象物的图像特征量，来确定所述获取对象物图像相对于所述一个种类的对象物的特征相关量；以及基于所确定的特征相关量，来判断所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像。根据本发明实施例的一种程序是一种程序，用于确认获取到了多个种类的对象物中的一个种类的对象物，所述程序使得服务器执行以下操作：从便携式终端装置接收被判断为包括所述便携式终端装置所拍摄到的对象物的获取对象物图像；基于所述多个种类的对象物中的一个种类的对象物的图像特征量，来确定所述获取对象物图像相对于所述一个种类的对象物的特征相关量；以及基于所确定的特征相关量，来判断所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像。根据本发明实施例的一种方法是一种方法，用于确认获取到了多个种类的对象物中的一个种类的对象物，其中使得一个或多个计算机执行以下步骤：基于与用于检测所述多个种类的对象物的形状有关的局部特征量，来判断便携式终端装置的摄像装置所拍摄到的空间的图像中是否包括所述多个种类的对象物中的一个种类的对象物；在判断为所述图像包括一个种类的对象物的情况下，取得被判断为包括该对象物的图像作为获取对象物图像；基于所述多个种类的对象物中的一个种类的对象物的图像特征量，来确定所述获取对象物图像相对于所述一个种类的对象物的特征相关量；以及基于所确定的特征相关量，来判断所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像。根据本发明实施例的一种方法是一种方法，用于确认获取到了多个种类的对象物中的一个种类的对象物，其中使得服务器执行以下操作：从便携式终端装置接收被判断为包括所述便携式终端装置所拍摄到的对象物的获取对象物图像；基于所述多个种类的对象物中的一个种类的对象物的图像特征量，来确定所述获取对象物图像相对于所述一个种类的对象物的特征相关量；以及基于所确定的特征相关量，来判断所述获取对象物图像是否是拍摄到所述一个种类的对象物的图像。发明的效果本发明使得可以以低成本实现如下的系统，该系统识别用户从多个种类的对象物(诸如产品等)中获取到的对象物的种类，以确认用户获取到了该对象物。附图说明图1示出根据本发明实施例的系统的总体结构。图2是根据本发明实施例的便携式终端装置的硬件结构图。图3是根据本发明实施例的服务器的硬件结构图。图4是根据本发明实施例的便携式终端装置的功能框图。图5是根据本发明实施例的服务器的功能框图。图6是示出根据本发明实施例的信息处理的流程图。图7是示出根据本发明实施例的便携式终端装置的信息处理的流程图。图8a是示出根据本发明实施例的显示画面的示例的图。图8b是示出根据本发明实施例的显示画面的示例的图。图9是示出根据本发明实施例的服务器的信息处理的流程图。图10是根据本发明实施例的使对象物的特征部和非特征部可视化的图。图11是示出根据本发明实施例的窗口的概念的图。图12a是示意性示出根据本发明实施例的形状特征量提取方法的图。图12b是示意性示出根据本发明实施例的形状特征量提取方法的图。图12c是示意性示出根据本发明实施例的形状特征量提取方法的图。图12d是示意性示出根据本发明实施例的形状特征量提取方法的图。具体实施方式以下将参考附图来说明本发明的实施例。如图1所示，根据本实施例的对象物获取确认系统100可以通过包括经由网络110连接的一个或多个便携式终端装置120以及服务器130的系统来实现。对象物可以是任何种类，只要可以确认用户获取到了这样的物体即可。在本实施例中，对象物是进行签到服务的产品，并且在确认为在线游戏的用户在商店购买并获取到了这样的产品时，奖励与该产品相对应的在线游戏中的物品作为特权。对象物不一定是产品，并且例如，可以是在事件中免费分发的卡片等。本实施例中的各个便携式终端装置120是拍摄对象物的图像、并将所拍摄到的图像经由网络110发送至服务器130的装置。便携式终端装置120可以是诸如移动电话、智能电话、平板终端、便携式游戏机或数字照相机等的便携式装置。便携式终端装置120包括处理装置201、显示装置202、输入装置203、摄像装置204、位置信息获取装置205、存储装置206、通信装置207和总线208。存储装置206存储程序209。处理装置201基于程序209、从输入装置203输入的数据、来自摄像装置204的摄像数据、从位置信息获得装置205或通信装置207接收到的数据等，来执行诸如web浏览器等的应用，并且执行诸如图像处理等的各种处理。处理装置201包括用于控制便携式终端装置120中所包括的各个装置的处理器，并且通过使用处理器或存储装置206中所包括的寄存器作为工作区域来执行各种处理。这些组件经由总线208连接；然而，可选地，这些组件可以根据需要单独连接。显示装置(显示器)202在处理装置201的控制下显示应用画面或摄像装置204所拍摄到的图像。显示装置202优选是液晶显示器，但可以是基于有机el的显示器或等离子显示器等。输入装置203是诸如触摸屏、触摸板或输入按钮等的、具有用于接受来自用户的输入的功能的装置。在便携式终端装置120包括触摸屏作为输入装置203的情况下，触摸屏还用作显示装置202，并且显示装置202和输入装置203是以一体形式构造的。显示装置202和输入装置203可以以分开形式布置在单独位置。摄像装置204拍摄现实空间区域的静止图片或运动图片。位置信息获得装置205是获得表示便携式终端装置的当前位置的信息的装置，并且例如可以是gps传感器或者基于wifissid等来识别位置的装置。存储装置206包括硬盘、主存储器和缓冲存储器。可选地，代替硬盘，可以使用可以是可移除型的、能够存储信息的任何类型的非易失性存储设备或非易失性存储器。例如，在便携式终端装置120是智能电话的情况下，存储装置206包括rom和ram。存储装置206存储程序209、以及在执行这些程序时可以参考的各种数据。程序209可以包括操作系统、以及诸如视频游戏或web浏览器等的需要来自游戏者的输入的任何种类的应用所用的程序和数据。通信装置207执行诸如移动通信或无线lan通信等的无线通信、或者经由以太网(ethernet，注册商标)线缆或usb线缆等的有线通信。通信装置207使得可以从服务器130下载程序并将这些程序存储在存储装置206中。可选地，程序可以存储在诸如cd或dvd等的光盘中，并且通过将光学驱动器连接至通信装置207，可以从光盘读取程序等并将这些程序存储在存储装置206中。图3是示出根据本实施例的服务器130的硬件结构的框图。服务器130包括处理装置301、显示装置302、输入装置303、存储装置306和通信装置307。这些组件经由总线308连接；然而，可选地，这些组件可以根据需要单独连接。处理装置301包括控制服务器130中所包括的各个装置的处理器，并且通过使用存储装置306作为工作区域来执行各种处理。显示装置302具有用于向服务器的用户显示信息的功能。输入装置303是具有用于接受来自用户的输入的功能的装置，诸如键盘或鼠标等。存储装置306包括硬盘、主存储器和缓冲存储器。硬盘存储程序309。可选地，代替硬盘，可以使用可以为可移除型的、能够存储信息的任何类型的非易失性存储设备或非易失性存储器。存储装置306存储程序309，并且执行可被称为程序的各种数据。通信装置307执行经由以太网(ethernet，注册商标)线缆等的有线通信或者诸如移动通信或无线lan通信等的无线通信，以连接至网络110。图4示出根据本发明的便携式终端装置120的功能框图的示例。便携式终端装置120包括便携式终端控制单元401、便携式终端显示单元402、便携式终端输入单元403、摄像单元404、位置信息获得单元405、便携式终端存储单元406和便携式终端通信单元407。便携式终端显示单元402显示要呈现给用户的信息。便携式终端输入单元403接受来自用户的输入。摄像单元404拍摄现实空间区域的静止图片或运动图片。位置信息获得单元405获得便携式终端装置120的当前位置信息。便携式终端存储单元406将作为各个对象物的图像的基准图像与表示对象物的种类的对象物识别信息(id)相关联地存储。在本实施例中，尽管假定存在多个种类的对象物，但可以仅利用一个种类来进行操作。在存在仅一个种类的对象物的情况下，无需将基准图像与对象物id相关联地存储。例如，可以将基准图像从服务器130以包括在获取确认应用中的方式下载到便携式终端装置120的存储单元406。优选应该基于经由通信单元407从服务器130接收到的信息来在预定定时更新便携式终端存储单元406中所存储的基准图像。例如，可以在用于奖励特权的事件的更新时或者每隔一定间隔下载和更新基准图像。通过使用web浏览器作为获取确认应用，在访问用于拍摄查看图像的网站时，可以下载基准图像。便携式终端装置120的控制单元401基于与用于检测对象物的形状有关的局部特征量，来判断便携式终端装置的摄像单元404所拍摄到的空间的图像是否包括多个种类的对象物其中之一。如果该图像被判断为包括这些种类的对象物其中之一，则便携式终端控制单元401取得被判断为包括对象物的图像作为获取对象物图像，并将所取得的获取对象物图像发送至服务器130。此外，可以通过使用位置信息获得单元405来获得便携式终端位置信息，并将该便携式终端位置信息连同所拍摄到的图像一起发送至服务器130。在本实施例中，便携式终端控制单元401通过处理装置201执行图2所示的硬件结构中所包括的程序209来实现，但也可以通过准备集成电路等来实现。此外，便携式终端显示单元402、便携式终端输入单元403、摄像单元404、位置信息获得单元405、便携式终端存储单元406和便携式终端通信单元407分别由图2所示的显示装置202、输入装置203、摄像装置204、位置信息获得装置205、存储装置206和通信装置207的各个硬件实现，但也可以通过处理装置201等执行程序209以与各个硬件协作来实现。图5示出根据本发明的服务器130的功能框图的示例。服务器130包括服务器控制单元501、服务器显示单元502、服务器输入单元503、服务器存储单元506和服务器通信单元507。服务器显示单元502显示要呈现给用户(诸如服务器管理员等)的信息。服务器输入单元503接受来自用户的输入。服务器存储单元506将作为对象物的图像的基准图像以及对象物的图像特征量与对象物id相关联地存储。在存在仅一个种类的对象物的情况下，无需将基准图像和图像特征量与对象物id相关联地存储。此外，服务器存储单元506还将各个对象物的图像特征量与对象物id相关联地存储。服务器控制单元501响应于来自便携式终端装置120的请求，将存储单元506中所存储的基准图像连同与关联的对象物id一起经由通信单元507发送至便携式终端装置120。此外，可以在诸如更新基准图像的定时等的预定定时，从存储单元506读取基准图像，将基准图像发送至便携式终端装置120，并且更新便携式终端装置120中的基准图像。服务器控制单元501通过使用服务器通信单元507接收从便携式终端装置120发送来的获取确认请求，基于多个种类的对象物中的一个种类的对象物的图像特征量来确定相应的获取对象物图像相对于该种类的对象物的特征相关量，并判断获取对象物图像是否是包括该种类的对象物的图像。服务器控制单元501可以进一步判断获取对象物图像是否是非正当获取图像。在获取对象物图像被判断为包括对象物且被判断为不是非正当获取图像的情况下，考虑到确认了用户获取到对象物，奖励相应的特权等。在本实施例中，服务器控制单元501通过处理装置301执行图3所示的硬件结构中所包括的程序309来实现，但也可以通过准备集成电路等来实现。此外，服务器显示单元502、服务器输入单元503、服务器存储单元506和服务器通信单元507分别通过图3所示的显示装置302、输入装置303、存储装置306和通信装置307的各个硬件来实现，但也可以通过处理装置301等执行程序309以与各个硬件协作来实现。接着，图6示出本实施例中的便携式终端装置120和服务器130的操作的流程图。将在如下示例的情况下说明本实施例：要求用作便携式终端装置120的智能电话的用户购买并获取用作多个种类的对象物的产品其中之一，从而获取用户正在玩的在线游戏中的物品。这里，由于在线游戏中奖励的物品根据产品的各个种类而不同，因此需要识别用户获取到了哪个产品。用户实际访问销售被指定为对象的产品的商店，购买并获取这些产品其中之一，通过使用便携式终端装置120拍摄所获取到的产品的图像，并将所拍摄到的图像发送至服务器130。服务器判断所获取到的产品是否是多个种类的对象产品其中之一，并且在判断为所拍摄到的图像中的产品是多个种类的对象产品中的特定一个种类的对象产品时，确认为用户获取到了该产品，并将与该产品种类相对应的物品分发到用户的游戏账户。以下具体说明这些处理步骤中的操作。在本实施例中，首先，用户将获取确认应用作为程序209其中之一下载并安装在便携式终端装置120中，并且访问商店其中之一以购买产品。在用户激活便携式终端装置120中的获取确认应用以拍摄所获取到的产品的图像时，便携式终端装置120开始获取确认请求处理(s601)。在获取确认请求处理中，便携式终端装置120的控制单元401通过使用摄像单元404来拍摄包括产品的图像并将该图像取得为获取对象物图像，并且将包括该获取对象物图像的获取确认请求经由通信单元407发送至服务器130。服务器130接收到获取确认请求并执行获取确认处理(s602)。在获取确认处理中，服务器130判断用户所拍摄到的图像中的产品是否是要奖励特权的多个种类的产品其中之一。图7更具体地示出本实施例中的获取确认请求处理(s601)中的操作。在用户激活便携式终端装置120中的获取确认应用时，开始获取确认请求处理s601。便携式终端控制单元401将用于基准图像的计数器d设置为0(s701)。在本实施例中，便携式终端装置120的存储单元406将基准图像与要奖励特权的d个种类的对象物(产品)的各个对象物id相关联地存储，并且基于基准图像来判断用户所拍摄到的图像是否包括作为对象物的产品。例如，基准图像按照对象物的对象物id的顺序用于比较。用户试图在便携式终端装置120的摄像单元404指向所获取到的产品的状态下拍摄该产品的图像。摄像单元404拍摄摄像单元404指向的方向上的空间的图像(s702)。所拍摄到的图像优选是运动图片的帧，但也可以是通过拍摄静止图片所拍摄到的图像。然后，将摄像单元404所拍摄到的空间的拍摄图像与存储单元406中所存储的基准图像中的第d个(0≤d<d)基准图像进行比较(s703)，并且判断与基准图像相关联的对象物是否是在所拍摄到的空间的图像中的预定区域内拍摄的(s705)。在本实施例中，基于与形状有关的局部特征量来执行基准图像与摄像单元404所拍摄到的空间的图像之间的比较。在这里，形状不仅包括产品的形状，而且还包括字符和图形(诸如印在产品上的徽标和产品名称等)的形状。通过使用局部特征量，可以高速地判断产品是否包括在拍摄图像中。局部特征量优选是预先计算并预先存储在存储单元406中的。这里，由于通过使用局部特征量来粗略地判断对象物是否包括在图像中，因此即使在与正用于比较的基准图像中的对象物类似的其它对象物、或者不是对象物的物体包括在图像中的情况下，也存在将正比较的基准图像中的对象物判断为包括在图像中的可能性。在本发明中，接受使用局部特征量的判断中的这种错误判断的可能性。通过使用局部特征量来高速地识别出图像中的被估计为包括对象物的区域，由此限制了为了进行更精确的识别而使用特征相关量进行计算的对象，从而减少了计算量。这使得能够高速识别对象物的种类。在本实施例中，引导用户移动便携式终端装置120的位置和角度，使得将在预定区域内拍摄产品的图像，由此将拍摄产品的图像的区域限制在该预定区域内。以这种方式，对所拍摄到的图像中的产品的位置和大小进行几何归一化，这用于减少产品种类的后续识别所用的信息处理量。将要拍摄产品的图像的预定区域定义为比可以利用摄像单元404拍摄图像的整个区域小的区域，并且在该预定区域内拍摄产品的图像，同时拍摄该产品周边的区域的图像。可以将周边区域的图像用于后面将说明的非正当获取对象物图像的检测(s907)。在所拍摄到的空间的图像中的预定区域被判断为不包括第d个基准图像中的对象物的图像的情况下(s704)，使计数器d递增(s705)，并且判断所拍摄到的图像是否已与要进行判断的所有d个种类的对象物的基准图像进行了比较(s706)。在未对所有的基准图像进行判断的情况下，判断所拍摄到的图像是否包括下一基准图像中的对象物(s703和s704)。在判断为所拍摄到的图像与所有的基准图像进行了比较的情况下(s706)，重置计数器d(s701)，拍摄新空间的图像(s703)，并且执行该所拍摄到的图像与基准图像的比较。重复执行s701～s706的处理，直到所拍摄到的空间的图像中的预定区域被判断为包括基准图像其中之一中的对象物为止。图8示出显示单元402上所显示的获取确认应用的显示画面800作为示例。汉堡被选为对象物。如图8a所示，显示单元402将表示要容纳用作对象物的汉堡802的预定区域的框801和指示要将对象物容纳在该框内的消息、连同摄像单元404所拍摄到的空间的图像一起显示。这里，显示单元402显示摄像单元404的摄像区域的整体803，并且框801定义比整个区域小的区域。因而，在汉堡802容纳在框801内时，在框801外侧的区域中显示汉堡802的周边图像805。在被指示将汉堡容纳在框801内时，用户移动便携式终端装置120。例如，通过采用使用orb(orientedfastandrotatedbrief(面向fast和旋转brief))特征量的关键点匹配技术，来实现用于判断基准图像中的对象物的图像是否包括在所拍摄到的空间的图像中的预定区域内的、使用局部特征量的判断处理(s703和s704)。具体地，预先检测作为基准图像中的局部特征量的特征点(关键点)，并将该特征点(关键点)作为获取确认应用的一部分而存储在存储单元406中。然后，将预先存储的基准图像中的特征点(关键点)叠加在预定区域(框801)中，并且在摄像单元404所拍摄到的图像中的特征点与叠加在预定区域中的特征点重叠的情况下，将所拍摄到的空间的图像中的预定区域判断为包括基准图像中的对象物的图像。在基准图像中的特征点和所拍摄到的图像中的特征点之间无需完全重叠。例如，在预定数量的特征点在预定的位移范围内重叠的情况下，可以将预定区域判断为包括对象物的图像。在用户移动了便携式终端装置120以成功地将对象物容纳在预定区域内时，所拍摄到的空间的图像中的预定区域被判断为包括基准图像中的对象物的图像(s704)，并且取得包括在预定区域内拍摄到的对象物且还包括其周边区域的图像作为获取对象物图像(s707)。在这种情况下，取得获取对象物图像是为了后续处理的目的而将拍摄图像存储在存储单元406中。由于用于取得获取对象物图像的处理由各便携式终端装置执行，因此即使在同时发出大量获取确认请求的情况下，也使负荷分散到各个便携式终端装置，由此可以减轻服务器负荷。如图8b所示，显示单元402显示用于查询是否将获取对象物图像发送至服务器并发送获取确认请求或者再次拍摄图像的消息、以及用于向用户通知成功取得了获取对象物图像的消息。在输入单元403接收到用于再次拍摄图像的输入的情况下，处理返回到s701。在输入单元403接收到用于将获取确认请求发送至服务器130的输入的情况下，便携式终端装置120的控制单元401通过使用通信单元407将获取确认请求经由网络110发送至服务器130(s708)。获取确认请求包括用于识别用户的用户id以及获取对象物图像。在本实施例中，通过将拍摄图像与对象物的预定基准图像进行比较来判断对象物的图像是否包括在预定区域内。然而，对于具有共同特征的多个种类的对象物，可以基于代表表示共同特征的特征量的数据来进行判断。在这种情况下，检测到具有共同特征的所有对象物。通过后面将说明的处理来识别对象物中的哪个包括在获取对象物图像中。接着，将参考图9所示的流程图来说明服务器130所执行的获取确认处理(s602)的具体处理。在本实施例中，基于第k个对象物的基准图像的图像特征量来确定获取对象物图像相对于第k个种类的对象物的特征相关量(s902)，并且基于所确定的特征相关量来判断获取对象物图像中所包括的产品是否是对象产品的种类其中之一(s903)。然后，判断图像是否没有被非正当篡改、以及图像是否是诸如其它用户所拍摄到的图像的副本等的非正当图像(s907)。在获取对象物图像中包括对象物的种类其中之一、并且获取对象物图像不是非正当图像的情况下，将与该种类相对应的特权奖励给用户(s908)。以下将详细说明这些处理步骤。服务器控制单元501将用于对象物的种类的计数器k设置为0(s901)。在本实施例中，存储单元506将与要奖励特权的多个种类的对象物有关的各个特有特征量和非特有特征量与各个对象物的对象物id相关联地存储，并且顺次判断对象物其中之一是否包括在用户所拍摄到的图像中。尽管这里特有特征量和非特有特征量这两者都是针对各对象物特有地定义的，但可以对各对象物仅特有地定义特有特征量，而在所有种类之间共用非特有特征量。s902和s903中的比较所用的对象物例如可以按对象物id的编号的顺序使用。特有特征量是表示适合于识别对象物的种类的特征的量，并且非特有特征量是表示不适合于识别对象物的种类的特征的量。在本实施例中，特有特征量和非特有特征量是与表示对象物的图像的颜色有关的特征量。这里，特有特征量是以表的形式定义的，该表包括表示对象物的图像的各个像素的rgb值中的、该对象物的一组或多组特征性rgb值。例如，可以通过从对象物的拍摄图像中提取作为查看的结果而被视为特征性的像素rgb值和被视为非特征性的像素rgb值来创建表。尽管该表可以基于各对象物的基准图像来创建，但由于对象物图像中的rgb值根据摄像时的照明的颜色等而变化，因此优选基于在各种照明条件下拍摄到的多个图像来创建包括特有特征量的多个表。作为示例，关于将产品名称印刷在用作对象物的汉堡的包装纸上的情况，将考虑产品名称字符的颜色针对各个产品种类而有所不同、但包装纸的背景颜色是共同的情况。在这种情况下，创建包括表示特定于各产品的字符颜色的rgb值的特有特征量表，并且创建包括表示背景颜色的rgb值的非特有特征量表。此外，由于某产品的字符颜色不同于其它产品的字符颜色，因此表示该其它产品的字符颜色的rgb值可以包括在该某产品的非特有特征量表中。由于除某产品以外的产品的字符颜色是未包括在该产品中的颜色，因此可以通过将这些特征包括在非特有特征量中来降低错误产品识别的概率。在本实施例中，假定：产品名称“cheeseburger”的字符颜色为绿色，产品名称“hamberger”的字符的颜色为紫色，并且cheeseburger和hamberger的包装纸的背景颜色为棕色。表1和表2示出这种情况下的cheeseburger的特有特征量表和非特有特征量表。{表1}idr，g，b0131，150，871136，162，1012122，150，87…n83，93，32{表2}idr，g，b0107，71，541117，79，60257，35，22…m192，159，79表1是表示cheeseburger的特有特征量的表。例如，id＝0的(131，150，87)是表示用作cheeseburger的字符颜色的绿色的一组rgb值。由于拍摄图像中的相同印刷的绿色的rgb值根据照明条件而变化，因此还包括表示绿色的多个其它组的rgb值。表2是表示cheeseburger的非特有特征量的表。例如，id＝0的(107，71，54)是表示cheeseburger和hamberger这两者的包装纸共同的棕色的一组rgb值。此外，可以包括表示作为hamberger的字符颜色且未包括在cheeseburger的包装纸中的红色的rgb值。服务器控制单元501基于对象物的这些特有特征量和非特有特征量来确定获取对象物图像相对于对象物的特征相关量。在本实施例中，将基于对象物的特有特征量和非特有特征量所提取的特有特征部和非特有特征部之间的面积比视为相对于该对象物的特征相关量。首先，计算对象物的特有特征量和非特有特征量的表中的所有rgb值与获取对象物图像中的各个像素的rgb值之间的色差。在包括与某像素处的rgb值的色差最小的rgb值的表是特有特征量表的情况下，该像素被视为特有特征部(特有特征像素)。在该表是非特有特征量表的情况下，该像素被视为非特有特征部(非特有像素)。然后，计算所提取的特有特征部和非特有特征部之间的面积比。为了计算色差的目的，可以使用表示具有均匀性的颜色空间中的颜色距离系统的、godlove色差公式(godlove,i.h.:improvedcolor-differenceformula,withapplicationstotheperceptibilityandacceptabilityoffadings,journaloftheopticalsocietyofamerica,41(11),pp.760-770,(1951))、或者cie2000(luo,m.r.,cui,g.,&rigg,b.,“thedevelopmentofthecie2000colour-differenceformula:ciede2000”,colorresearch&application,volume26,issue5,october2001,pp.340-350,doi:10.1002/col.1049)。例如，可以如下定义以hsv空间中的距离而公知的godlove色差公式δgodlove。{等式1}图10示出使通过根据本实施例的处理所确定的特有特征部和非特有特征部可视化的图。这里，特有特征部(像素)用白色表示，并且非特有特征部(像素)用黑色表示。如该图所示，应当理解，具有与特有特征量表中所包括的rgb值接近的rgb值的部分(即，具有对象物的特征性颜色的字符部分)被提取为特有特征部，并且具有与非特有特征量表中所包括的rgb值接近的rgb值的部分(即，不具有对象物的特征性颜色的背景部分)被提取为非特有特征部。例如，用作特征相关量的、所提取的特有特征部和非特有特征部之间的面积比是图10中的白色部分和黑色部分之间的面积比。代替使用非特有特征量表，在特有特征量表中的rgb值之间的差在阈值内的情况下，该部分可被判断为特有特征部，而在其它情况下，将该部分判断为非特有特征部。然而，如前面所述，即使在拍摄同一种类的对象物的图像的情况下，所拍摄到的图像中的各个像素的rgb值也根据照明条件而变化。因而，在仅基于某部分是否落在特有特征量的预定范围内来判断该部分是否是特有特征部的情况下，错误判断的可能性增加。例如，在进行与在与作为特征性颜色的绿色接近的照明下拍摄到的获取对象物图像有关的判断的情况下，所有的像素都表现出与特有特征量接近的颜色，这导致所有像素都可能被判断为特有特征部的风险。另一方面，如本实施例那样，通过还使用非特有特征量表来进行与某部分是更接近特有特征量还是非特有特征量有关的相对判断，可以更准确地进行判断。例如，如果基于在绿色照明下拍摄到的图像提取出了非特有特征量，则即使利用在绿色照明下拍摄到的获取对象物图像，表示呈绿色的背景颜色的像素也表现出与非特有特征量表中所包括的rgb值接近的颜色，因此这些像素可被判断为非特有特征部。可以通过基于在不同照明下拍摄到的图像创建这样的表来进一步提高精度。也可以通过包括对象物中未包括的颜色作为非特有特征量来进一步提高精度。在s903中，基于所确定的获取对象物图像相对于第k个对象物的特征相关量来判断所拍摄到的图像是否包括第k个对象物。在该特征相关量落在针对对象物预定义的范围内的情况下，获取对象物图像被判断为包括cheeseburger。然后，在所拍摄到的图像被判断为包括第k个对象物的情况下，处理进入欺诈检测(s907)。在所拍摄到的图像被判断为不包括第k个对象物的情况下，使计数器k向上计数(s904)，并且如果未对所有的种类k进行判断(s905)，则处理返回到s902，以针对下一种类再次执行判断处理。在即使在对所有的种类k进行判断之后、所拍摄到的图像也未被判断为包括对象物的情况下，由于没有检测到任何种类的对象物，因此该结果被确定为错误(s906)，并且向便携式终端装置120发送错误消息以报告未检测到对象物(s910)。在所拍摄到的图像被判断为包括第k个对象物的情况下，判断该图像是否是非正当获取对象物图像(s907)。在该欺诈检测中，检测获取对象物图像是否被非正当篡改、以及获取对象物图像是否是以诸如复制其它用户所拍摄到的图像等的非正当方式获取到的。如在a.e.dirik和n.memon,“imagetamperdetectionbasedondemosaicingartifacts”,200916thieeeinternationalconferenceonimageprocessing(icip),cairo,2009,pp.1497-1500、以及minatimishra,flt.lt.dr.m.c.adhikary,“digitalimagetamperdetectiontechniques-acomprehensivestudy”,internationaljournalofcomputerscienceandbusinessinformatics,vol.2,no.1.issn:1694-2108,june2013中所述，用于验证图像是否已被非正当篡改的各种方法是已知的。在本发明中，可以采用用于验证图像是否已被非正当篡改的任何方法。在查看图像被判断为未被非正当篡改的情况下，基于获取对象物图像中所包括的对象物的周边部的图像，来判断该图像是否是以诸如复制其它用户所拍摄到的图像等的非正当方式获取到的。由于路人被包括在图像中或者阴影的位置改变，因而如果拍摄图像的时间变化，则包括对象物的周边部的图像不会变成完全相同的图像。此外，由于产品的周边区域在各个摄像场所之间有所不同，因此周边区域在各个拍摄图像之间有所不同。在本发明中，可以将已被判断为有效获取确认请求的获取确认请求中所包括的获取对象物图像存储并累积在服务器存储单元506中，并且通过将进行判断的获取对象物图像与已确认的获取对象物图像进行比较来判断该获取对象物图像是否是通过复制获取到的图像。如果这些图像之前的相似度高于一定水平，则获取对象物图像被判断为非正当图像。这种基于周边图像的欺诈检测例如可以通过专利文献1(日本专利6181893)中所公开的方法来实现。在本实施例中，由于对象物的图像是在比可以利用摄像单元404拍摄图像的整个区域小的预定区域内拍摄到的，因此还拍摄到对象物的周边区域的图像。因而，可以通过包含专利文献1中所公开的欺诈检测方法来进行欺诈检测。在非正当获取对象图像检测(s907)中图像被判断为不是非正当获取对象图像的情况下，假定确认了用户获取到第k个对象物，执行用于奖励与第k个对象物相对应的特权的处理(s908)，并且将表示奖励了特权的通知发送至便携式终端装置120(s910)。在图像被判断为非正当获取对象物图像的情况下，执行针对非正当获取对象物图像的处理(s909)，并且将表示图像被判断为非正当获取对象图像的通知发送至便携式终端装置120(s910)。在本实施例中，通过使用如下的两个种类的特征量来进行匹配处理：具体地，作为针对转动和移动具有稳健性的特征量的局部特征量被用于在所拍摄到的图像中包括对象物的对象物区域的检测，并且全局颜色特征量被用于对象物识别，以从变化中确定所检测到的对象物区域中所包括的对象物的种类。这使得可以高速且高精度地识别多种对象物。通过将针对变化和噪声具有稳健性但不能提供足够高的识别精度的局部特征量与提供高识别精度但对变化和噪声表现弱的全局颜色特征量结合，可以同时实现识别精度和抗噪性。特别地，例如，在对象物是用包装纸包裹的产品的情况下，由于包括了大量噪音(诸如由于包装纸的折叠引起的变形以及污迹等)，因此不可能仅利用现有的特征量匹配来准确地确定产品种类。然而，通过采用本实施例，即使在包括大量噪声的情况下，也可以以高精度高速地识别对象物的种类。在本实施例中，在s903中基于获取对象物图像相对于第k个对象物的特征相关量而将获取对象物图像判断为包括第k个对象物的情况下，确定拍摄到第k个对象物的图像。可选地，可以计算相对于所有多个种类的对象物的特征相关量，并且确定具有最高相关性的对象物的图像被包括在获取对象物图像中。例如，可以确定针对获取对象物图像所计算出的面积比ck与针对第k个对象物预先存储的预定值ak之间的差最小的对象物被包括在获取对象物图像中。在本实施例中，尽管在s902中采用颜色特征量作为用于获得特征相关量的图像特征量，但可以通过使用形状特征量来确定特征相关量。例如，可以定义n×n个像素的窗口，将该窗口顺次应用于基准图像的各个像素以提取形状图案，并基于该形状图案来定义形状特征量。为了简化说明，将在如下示例的情况下给出说明：将n设置为2以处理黑白图像。如图11所示，定义2×2个像素的窗口1100。由于各像素是白色或黑色，因此该窗口中所包括的像素的图案的数量为24，并且将标识号pid(0～15)指派至各个图案。例如，将pid＝0指派至所有的像素(1101～1104)都为白色的图案，将pid＝1指派至仅右下方的像素(1101)为黑色的情况，并且将pid＝15指派至所有的像素都为黑色的情况。然后，将窗口1100应用于图12a所示的基准图像1200。首先，使窗口1100的左上方的像素1101与基准图像1200的左上方的像素1201对准(图12b)以提取基准图像1200的左上方的2×2个像素的图案，并且将用于所提取的图案的pid的计数器向上计数1。这里，由于基准图像1200的左上方的2×2个像素全部为白色，因此使pid＝0的计数器cpid_0增加1。如图12c和12d所示，使窗口1100以像素为单位偏移以对基准图像的所有像素执行该处理，并且对与各pid相对应的图案的数量单独计数以获得计数器cpid_0～cpid_15。然后，通过使用这些计数器cpid_0～cpid_15作为区间(bin)来获得用作与该种类的对象物有关的图像特征量的形状直方图。通过使用该窗口1100还针对获取对象物图像创建形状直方图。然后，计算获取对象物图像的形状直方图和基准图像的形状直方图之间的差，并且使用该差作为特征相关量(s902)。然后，在用作特征相关量的差值落在预定范围内的情况下，获取对象物图像被判断为包括对象物，并且在该差值落在该范围之外的情况下，获取对象物被判断为不包括对象物(s903)。这里，随着用作特征相关量的差值变低，相关性变高。此外，作为变形例，可以预先识别用户所获取到的对象物的种类。在这种情况下，可以仅基于所识别出的对象物的局部特征量来执行与对象物的图像是否是在预定区域内拍摄到有关的确认处理，可以将识别所指定的种类的对象物的对象物id包括在发送至服务器130的获取确认请求中，并且服务器130可以仅根据基于该对象物id所识别的对象物的图像特征量来判断获取对象物图像是否包括该对象物。因而，可以实现更高速的处理。此外，可以对允许单个用户在预定商店获取一个种类的对象物并进行签到处理的次数设置限制。在这种情况下，在便携式终端装置120发送确认请求时，在拍摄获取对象物图像时位置信息获得单元405所获得的位置信息包括在获取确认请求中，并且在服务器130奖励特权时，基于在该位置附近拍摄到的图像来确认用户是否已针对该种类的对象物进行了签到。在用户已进行了签到的情况下，不奖励特权。在用户未进行签到的情况下，在奖励特权之后，将表示用户已在该位置处进行了签到的信息存储在服务器存储单元506中。在存在具有共同特征的多个种类的对象物的一个类别的情况下，例如，在获取确认处理的开始时(s602)，可以基于诸如颜色等的共同特征量来确定获取对象物图像中所包括的对象物是该类别中的对象物，并且仅对该类别中的对象物执行s701及其之后的处理。这使得可以在存在大量对象物的情况下减少比较所使用的对象物的数量，从而可以提高处理速度。尽管已经在服务器130执行获取确认处理的情况下说明了本实施例(s602)，但便携式终端装置120可以执行获取确认处理。这例如通过以下来实现：除了将对象物的基准图像、还将分别针对要奖励特权的多个种类的对象物的特有特征量和非特有特征量与各个对象物的对象物id相关联地存储在便携式终端装置120的存储单元406中。优选地，这些信息应当定期地从服务器130获得并更新。在s707中取得包括在预定区域内拍摄到的对象物及其周边区域的空间的图像作为获取对象物图像之后，便携式终端装置120不向服务器130发送获取确认请求。代替服务器130，便携式终端装置120基于所取得的获取对象物图像来执行s901～s909的处理作为获取确认处理，从而使得可以确认用户获取到了对象物。在不必须执行通知发送(s910)的情况下，可以在便携式终端装置120的显示单元402上显示诸如表示奖励了特权的消息或者表示确认请求被判断为非正当的消息等的消息，作为与用户是否获得了对象物有关的确认的结果。只要在上述的处理或操作中未出现矛盾，就可以自由地修改该处理或操作。此外，上述的实施例是用于说明本发明的示例，并且本发明不限于这些实施例。本发明可以以未背离本发明的主旨的各种形式实施。此外，在实施例的上下文中所述的优点仅仅是列举从本发明产生的最优选优点，并且本发明的优点不限于在实施例的上下文中所述的这些优点。附图标记说明100获取确认系统110网络120便携式终端装置130服务器201处理装置202显示装置203输入装置204摄像装置205位置信息获得装置206存储装置207通信装置208总线209程序301处理装置302显示装置303输入装置306存储装置307通信装置308总线309程序401控制单元402显示单元403输入单元404摄像单元405位置信息获得单元406存储单元407通信单元501控制单元502显示单元503输入单元506存储单元507通信单元800显示画面801框802对象物803整体图像805周边图像1100窗口1101像素1102像素1103像素1104像素1200基准图像1201像素当前第1页12