POS终端、信息处理设备、白平衡调节方法以及记录介质与流程

本发明涉及用于商品结算的销售点(Point of Sales)(POS)终端设备等等。

背景技术：

PTL 1公开了一种技术，其中，在通过照明设备照亮商品的同时以预定时间间隔通过颜色图像捕捉相机捕捉在用于阻挡外部光线的外壳中的、在带式运送机上承载的商品的图像，并基于被捕捉的图像调节白平衡。调节白平衡指的是颜色校正的功能，使得白色物体看起来是白色，并校正由于不同光源(例如阳光和电灯)所致白色材料中的颜色差异。

[引用列表]

[专利文献]

[PTL 1]日本未审查专利申请No.H08-182002

技术实现要素：

[技术问题]

但是在PTL 1中，实际上只有设置在外壳内部的照明设备照亮对象，仅仅稍微考虑了在外壳的入口处不能避免的外部光线的进入。换言之，PTL 1没有考虑直接由外部光线照亮对象，或者在外部光线变化时调节对象的白平衡。

为了解决以上问题而构思了本发明。本发明的主要目的是提供一种POS终端等等，即使在照亮对象的外部光线变化时也使得对象的白平衡的调节充分准确。

[问题的解决方案]

鉴于上述问题，本发明的第一方案是一种POS终端。该POS终端包括：

图像捕捉装置，用于捕捉包括多个各自不同的基准颜色的对象并生成图像；

比较装置，用于将与每个所述基准颜色相关的图像的一部分与作为所述基准颜色的标准的标准图像相比较；以及

调节装置，用于基于所述比较的结果调节白平衡。

本发明的第二方案是一种信息处理设备。该设备包括：

获取装置，用于获取通过捕捉包括多个各自不同的基准颜色的对象所生成的图像；

比较装置，用于将与每个所述基准颜色相关的图像的一部分与作为所述基准颜色的标准的标准图像相比较；以及

调节装置，用于基于所述比较的结果调节白平衡。

本发明的第三方案是一种信息处理系统。该系统包括：

POS终端，所述POS终端包括图像捕捉装置，所述图像捕捉装置用于捕捉包括多个各自不同的基准颜色的对象并生成图像；以及

信息处理设备，包括：

获取装置，用于获取通过捕捉包括多个各自不同的基准颜色的对象所生成的图像；

比较装置，用于将与每个所述基准颜色相关的图像的一部分与作为所述基准颜色的标准的标准图像相比较；以及

调节装置，用于基于所述比较的结果调节白平衡。

本发明的第四方案是一种白平衡调节方法。该方法包括：

捕捉包括多个各自不同的基准颜色的对象并生成图像；

将与每个所述基准颜色相关的图像的一部分与作为所述基准颜色的标准的标准图像相比较；以及

基于所述比较的结果调节白平衡。

本发明的第五方案是一种用于存储程序的存储介质，所述程序使得计算机执行以下功能：

捕捉包括多个各自不同的基准颜色的对象并生成图像；

将与每个所述基准颜色相关的图像的一部分与作为所述基准颜色的标准的标准图像相比较；以及

基于所述比较的结果调节白平衡。

[本发明的有益效果]

本发明使得能够提供一种POS终端等等，即使在照亮对象的外部光线变化时也使得对象的白平衡的调节充分准确。

附图说明

图1是示出根据本发明第一示例性实施例的POS终端的概观的示例的示意图。

图2是示出根据第一示例性实施例的POS终端的外观的示例的侧视图。

图3是示出根据第一示例性实施例的POS终端的硬件配置的示例的示意图。

图4是示出根据第一示例性实施例的信息处理设备的处理的示例的流程图。

图5是示出根据本发明第二示例性实施例的POS终端的外观的示例的侧视图。

图6是示出根据第二示例性实施例的POS终端的硬件配置的示例的示意图。

图7是示出根据第二示例性实施例的商品的外观的示例的示意图。

图8是示出根据第二示例性实施例的信息处理设备的处理的示例的流程图。

图9是示出根据每个示例性实施例的信息处理设备的硬件配置的示例的示意图。

具体实施方式

(本发明的示例性实施例的概观)

下面描述根据本发明的每个示例性实施例的概观。图1是示出根据本发明每个示例性实施例的POS终端1的概观的示例的示意图。如图1所示，POS终端1包括图像捕捉单元10、比较单元20、以及调节单元30。

图像捕捉单元10捕捉包括多个各自不同的基准颜色的对象并生成图像。比较单元20将通过图像捕捉单元10捕捉的与每个基准颜色相关的图像的一部分与作为基准颜色的标准的图像相比较。调节单元30基于比较单元20的比较结果调节白平衡。

根据本发明每个示例性实施例的POS终端1利用多个各自不同的颜色调节白平衡，并且因此使得能够改善调节白平衡的准确性。

在上文中，描述了POS终端1包括图像捕捉单元10、比较单元20、以及调节单元30的情况。本发明的示例性实施例不只限于这种情况。例如，POS终端1可包括图像捕捉单元10，诸如服务器这样的信息处理设备(未示出)可包括比较单元20和调节单元30，并且可通过有线或无线通信将POS终端1连接到信息处理设备。信息处理设备经由有线通信或无线通信获取通过POS终端1的图像捕捉单元10捕捉并生成的图像，并进行图像的比较和白平衡调节。

(第一示例性实施例)

图2是示出根据第一示例性实施例的POS终端100的外观的侧视图。此外，图3是示出根据第一示例性实施例的POS终端的硬件配置的示意图。POS终端100包括用于店员的显示单元110、信息处理单元120、商品阅读设备140、以及包括多个各自不同的颜色的颜色图案150。在图2中店员位于用于店员的显示单元110的前面。

用于店员的显示单元110是触摸屏、液晶显示器(LCD)等等。用于店员的显示单元110可包括诸如键盘这样的输入设备。用于店员的显示单元110在信息处理单元120的控制下显示店员必需的信息，并接受店员的操作。

信息处理单元120例如是计算机。信息处理单元120包括诸如中央处理器(CPU)这样的控制单元126以及诸如存储器或硬盘这样的存储单元128，控制单元126包括比较单元122和调节单元124。信息处理单元120控制用于店员的显示单元110以及商品阅读设备140的操作。此外，信息处理单元120根据用于店员的显示单元110所接受的操作进行必要处理。此外，信息处理单元120根据商品阅读设备140所读取的图像信息进行必要处理，例如图像处理。下面详细描述信息处理单元120。

商品阅读设备140包括外壳142、透光式商品阅读表面144、以及图像捕捉单元130。商品阅读表面144设置在外壳142的店员侧的表面上，在物品的图像捕捉时物品指向商品阅读表面144。待捕捉的物品主要是商品。图像捕捉单元130安装在外壳142内部，并且图像捕捉单元130设置在商品阅读表面144的相对一侧。当店员将从消费者接收的物品指向商品阅读表面144时，图像捕捉单元130捕捉物品，由此读取图像。因此，POS终端100执行识别物品的处理。应当注意，物品由外部光线而被照亮，例如商店的天花板上设置的电灯，或者从窗户射来的阳光。

图像捕捉单元130读取物品的图像，并基于读取的图像产生区域图像。图像捕捉单元130具有图像可捕捉区域132，图像可捕捉区域132限定在图2所示的两条虚线之间。因为图像可捕捉区域132包括颜色图案150，所以图像捕捉单元130能够捕捉颜色图案150。颜色图案150例如包括红色、绿色和蓝色，作为多个各自不同的基准颜色。下面详细描述图像捕捉单元130。

为了产生区域图像，图像捕捉单元130至少可以采用下述三种方法，也就是第一方法、第二方法和第三方法。

在第一方法中，图像捕捉单元130包括二维图像捕捉部(未示出)、区域传感器(未示出)、以及区域图像生成部(未示出)，二维图像捕捉部用于捕捉作为商品的物品并由此读取二维图像，区域传感器用于测量商品阅读表面144与物品之间的距离。二维图像捕捉部捕捉指向商品阅读表面144的物品，并生成包括物品图像的二维彩色图像或二维黑白图像。

区域传感器例如利用飞行时间(TOF)方法来测量区域传感器与指向商品阅读表面144的物品的位置之间的距离。换言之，区域传感器发出光束例如红外线，并基于发出的光束在商品阅读表面144与物品之间进行往返行进所需的时间来测量距离。区域图像生成部按照相同的方式对于物品表面上的多个位置测量距离，将二维图像逐一重叠在另一个的顶部，并生成区域图像(三维图像)。在第一方法中，图像捕捉单元130能够在从物品到商品阅读表面144的距离落入预定范围(例如15cm到30cm)时捕捉物品的图像。

在第二方法中，图像捕捉单元130包括单个二维图像捕捉部，用于读取二维图像。在第二方法中，通过得到图像捕捉单元130预先捕捉的背景图像与包括物品的图像之间的差异，获取物品的图像。

在第三方法中，图像捕捉单元130包括多个二维图像捕捉部以及区域图像生成部，每个二维图像捕捉部读取二维图像(下面又称为“被捕捉图像”)。区域图像生成部基于多个图像捕捉部之间视场中的差异，生成区域图像(三维图像)。

控制单元126从图像捕捉单元130捕捉的图像中提取颜色图案150上颜色信息的特征值。

比较单元122将图像捕捉单元130捕捉的图像中每个基准颜色的特征值与标准图像的特征值(下面又称为“标准图像特征值”)相比较，标准图像存储在存储单元128中，是基准颜色的标准。标准图像特征值预先存储在存储单元128中。或者，可以从在为了POS终端的图像识别的目的的预定条件下由图像捕捉单元130捕捉和获取的图像中提取用于基准颜色的标准图像特征值。本文中预定条件指的是图像捕捉环境，例如适当的照明。

用于基准颜色的标准图像特征值代表色调、饱和度、亮度等等，例如通过数值。存储单元128为了多个各自不同的参考值存储标准图像特征值。下面对于将色调用作用于基准颜色的标准图像特征值的情况特别进行描述。

基准颜色包括红色(下面示为R)、绿色(下面示为G)、以及蓝色(下面示为B)。本文中用于基准颜色的标准图像特征值是一般情况下称为“像素值”的值。在这种情况下，例如，用于作为在存储单元128中存储的基准颜色的红色的标准图像特征值(像素值)，可以表示为(R1，G1，B1)＝(100，0，0)。同样，用于绿色的标准图像特征值可以表示为(R2，G2，B2)＝(0，100，0)。同样，用于蓝色的标准图像特征值可以表示为(R3，G3，B3)＝(0，0，100)。

下面描述这样的情况示例，其中图像捕捉单元130捕捉颜色图案150的红色、绿色、以及蓝色的图像。在该示例中，假定被捕捉图像的红色部分的特征值为(R4，G4，B4)＝(100，0，0)，绿色部分的特征值为(R5，G5，B5)＝(0，100，0)，蓝色部分的特征值为(R6，G6，B6)＝(0，0，90)。

比较单元122将用于红色的标准图像特征值(R1，G1，B1)与被捕捉图像的红色部分的特征值(R4，G4，B4)相比较。换言之，比较单元122将R1与R4、G1与G4、以及B1与B4相比较。按照相同的方式，比较单元122将(R2，G2，B2)与(R5，G5，B5)相比较，将(R3，G3，B3)与(R6，G6，B6)相比较。

根据本示例中通过比较单元122的比较结果，只有在B3＝100与B6＝90之间存在B6相比于B3(用于蓝色的标准图像特征值)小10的差异，但是在这些值的其余部分之间没有差异。

调节单元124基于通过比较单元122的比较结果调节白平衡。如上所述，对于红色和绿色而言，与存储单元128中存储的用于基准颜色的标准图像特征值(像素值)没有差异，并且因此不进行颜色调节。但是对于蓝色而言，被捕捉图像的特征值(像素值)B6为90，而存储单元128中存储的用于基准颜色的标准图像特征值(像素值)B3为100。因此，因为在这两个值之间存在差异10，所以将蓝色增加10来调节白平衡。

在本示例性实施例中，描述了对于蓝色进行调节的情况。但是，在用于红色或绿色的特征值(像素值)中存在差异的情况下，也可以对于红色或绿色调节白平衡。

比较单元122和调节单元124例如可以在控制单元126的控制下通过执行程序来实施。具体而言，比较单元122和调节单元124可通过执行存储单元128中存储的程序来实施。

图4是示出信息处理设备120的处理的流程图。图像捕捉单元130捕捉包括多个各自不同的基准颜色的对象并生成图像(S100)。在此，图像捕捉单元130捕捉颜色图案150作为包括多个各自不同的基准颜色的对象。然后，控制单元126处理被捕捉图像并对于每个像素提取颜色信息的特征值。

接着，信息处理单元120的比较单元122将通过图像捕捉单元130捕捉的、与每个基准颜色相关的图像的一部分与存储单元128中存储的、作为基准颜色的标准的标准图像相比较(S200)。具体而言，比较单元122将用于红色、绿色、以及蓝色的每个颜色的上述特征值相比较。

接着，如果作为比较结果在被捕捉图像的基准颜色的特征值与存储单元128中存储的基准颜色的标准图像特征值之间存在差异(S300中“是”)，则调节单元124调节白平衡(S400)。具体而言，调节单元124调节白平衡，使得被捕捉图像的基准颜色的特征值变为与存储单元128中存储的基准颜色的标准图像特征值相同。如果没有差异(S300中“否”)，则调节单元124保持白平衡的当前设置(S500)。

本发明第一示例性实施例使得能够提供一种POS终端等等，即使在照亮对象的外部光线变化时也使得对象的白平衡的调节充分准确。原因在于，本发明第一示例性实施例利用多个各自不同的基准颜色调节白平衡。具体而言，原因在于，比较单元122将通过图像捕捉单元130捕捉的、与每个基准颜色相关的图像的一部分与作为基准颜色的标准的图像相比较，并且调节单元124基于比较结果调节白平衡。

在上文中，描述了POS终端100包括图像捕捉单元130、比较单元122、以及调节单元124的情况(参见图3)。本示例性实施例不限于这种情况。例如，在客户端一侧的POS终端100可包括图像捕捉单元130，在服务器一侧的设备(未示出)可包括比较单元122和调节单元124，并且可通过有线或无线通信将POS终端100连接到服务器一侧的设备。服务器一侧的设备经由有线通信或无线通信获取通过POS终端100的图像捕捉单元130捕捉并生成的图像，并进行图像的比较和白平衡调节。

(第二示例性实施例)

下面描述第二示例性实施例。第二示例性实施例与第一示例性实施例的不同在于，使用商品160而不是颜色图案150。应当注意，与第一示例性实施例中的组件实际上相同的组件采用相同的附图标记，并省略其描述。

图5是示出根据本发明第二示例性实施例的POS终端200的外观的侧视图。与第一示例性实施例(参见图2)相比较，POS终端200不包括颜色图案150。图像捕捉单元130捕捉商品160而不是捕捉颜色图案150。

例如，商品160在其包装上包括多个各自不同的基准颜色，并且是这些基准颜色而不是颜色图案150上指示的基准颜色被使用。对于没有包装的商品160而言，可以使用在商品160的外部出现并且是基准颜色的颜色部分。商品160包括作为基准颜色的红色、绿色、以及蓝色的至少两种颜色。下面描述商品160在其包装上包括基准颜色的情况。

图6是示出根据第二示例性实施例的POS终端200的硬件配置的示意图。POS终端200包括用于店员的显示单元110、信息处理单元220、以及图像捕捉单元130。信息处理单元220包括控制单元226和存储单元228。控制单元226包括比较单元222和调节单元124。

除了用于基准颜色的标准图像特征值之外，存储单元228还存储每个商品160的图像的数据库。本文中商品图像的数据表示对于每个商品160，关于作为商品图像的特征的形状和颜色的信息。

控制单元226将通过图像捕捉单元130捕捉的图像的特征与商品图像数据库中商品图像的特征进行核对，从而指定被捕捉图像是哪一个商品160。存储单元228存储指示被指定商品160包装的哪个部分(例如关于商品160外部形状的哪个位置和尺寸)是哪种基准颜色的信息。例如，存储单元228存储这样的信息，如图7所示，该信息指示包裹商品160的包装包括基本上在左半区中心位置的红色圆圈以及基本上在右半区中心位置的蓝色正方形。

图8是示出信息处理单元220的处理的流程图。图像捕捉单元130捕捉包括商品160的对象并生成图像(S110)。在此，图像捕捉单元130捕捉商品160的图像作为包括多个各自不同的基准颜色的对象。

控制单元226处理被捕捉图像并对于每个像素提取颜色信息的特征值。控制单元226利用存储单元228中存储的上述信息并通过将商品160与存储单元228中的商品图像数据库相匹配来指定被捕捉的商品160是哪个商品。然后，控制单元226识别被指定商品的包装的哪个部分是哪种基准颜色。

接着，信息处理单元220的比较单元222将通过图像捕捉单元130捕捉的图像的一部分——该部分是商品160的包装上的基准颜色，与存储单元228中存储的基准颜色的标准图像特征值相比较(S210)。具体而言，在图7所示商品160的包装的情况下，比较单元222对于红色和蓝色进行上述比较处理。

接着，作为比较结果，如果在被捕捉图像的基准颜色部分的特征值与存储单元228中存储的基准颜色的特征值之间存在差异(S300中“是”)，则调节单元124调节白平衡(S400)。如果没有差异(S300中“否”)，则调节单元124保持白平衡的当前设置(S500)。

本发明的第二示例性实施例利用多个各自不同的颜色调节白平衡，并且因此，使得能够提高白平衡调节的准确性。原因在于，比较单元222将通过图像捕捉单元130捕捉的、与每个基准颜色相关的图像的一部分与作为基准颜色的标准的图像相比较，并且调节单元124基于比较结果调节白平衡。换言之，本示例性实施例利用多个各自不同的颜色调节白平衡。这样使得能够提高白平衡调节的准确性。

此外，本示例性实施例利用商品160调节白平衡。换言之，本示例性实施例使得能够消除对颜色图案150的需要，从而使得能够减少组件数量。

在上文中，描述了POS终端200包括图像捕捉单元130、比较单元222、以及调节单元124的情况。本示例性实施例不只限于这种情况。例如，POS终端200可包括图像捕捉单元130，诸如服务器这样的信息处理设备(未示出)可包括比较单元222和调节单元124，并且可通过有线或无线通信将POS终端200连接到信息处理设备。信息处理设备经由有线通信或无线通信获取通过POS终端200的图像捕捉单元130捕捉并生成的图像，并进行图像的白平衡调节。

(第二示例性实施例的修改示例)

下面描述第二示例性实施例的修改示例。第二示例性实施例的修改示例可以使用指示基准颜色的卡片而不是商品160。卡片可以是雇员ID卡等等。调节白平衡的方法与第二示例性实施例中的方法相同，并且因此，省略其描述。

本发明第二示例性实施例的修改示例利用多个各自不同的颜色来调节白平衡，并且因此，使得能够提高白平衡调节的准确性。

此外，本修改示例利用商品160来调节白平衡并消除了POS终端200包括颜色图案150的需要，从而使得能够减少组件数量。

(信息处理设备)

可将根据本发明的POS终端1、100和200的处理应用于要通过计算机执行的程序。此外，可将程序存储在存储介质中或者可经由网络将其提供到外部。

根据上述示例性实施例的信息处理单元120也可以利用信息处理设备(计算机)来实施。在这种情况下，至少可将出自图1、图3和图6所示的每个POS终端1、100和200的单元的图像捕捉单元(130)、比较单元20(122或222)、以及调节单元30(124)视为软件程序的功能(处理)单元(软件模块)。参照图9描述可以实施这些功能(处理)的硬件环境的示例。但是，附图中所示单元的各部分是用于说明性目的的结构，并且可以采用各种结构用于实施。

图9是示出根据本发明示例性实施例，能够实施POS终端1、100、和200以及信息处理单元120的信息处理设备1000的示例性配置的示意图。

图9所示信息处理设备1000是包括经由总线(通信路径)3008相连接的以下组件的通用计算机，它们是：

CPU 3001

只读存储器(ROM)3002

随机访问存储器(RAM)3003

存储设备3004

输入/输出用户接口(下面称为“I/F”)3005

用于与外设通信的I/F 3006；以及

驱动设备3009

输入/输出用户I/F 3005等同于图2和图5所示用于店员的显示单元110。驱动设备3009经由记录介质3010或通信I/F 3006从外部网络3000读取用于执行信息处理设备1000的软件(程序)。

然后，在上述硬件环境中，通过以下程序来实现上述示例性实施例。换言之，由网络3000或驱动设备3009提供能够在图9所示信息处理设备1000上实施在示例性实施例的描述中参照的方框配置图(图1、图3或图6)或流程图(图4和图8)的功能的计算机程序。

随后，通过硬件的CPU 3001读取和解释计算机程序，并通过CPU3001执行。此外，在信息处理设备1000中提供的计算机程序可以存储在可读/可写易失性存储设备(RAM 3003)或者非易失性存储设备(例如存储设备3004)中。

将上述每个示例性实施例作为示例性示例描述了本发明。但是本发明不限于上述示例性实施例。换言之，在本发明的范围内，本领域技术人员能够理解的各种实施方式均可应用于本发明。

本申请基于并主张2014年3月27日提交的日本专利申请No.2014-065933的优先权，通过参考将其全部内容合并于此。

[附图标记列表]

1，100，200 POS终端

10 图像捕捉单元

20 比较单元

30 调节单元

110 用于店员的显示单元

120，220 信息处理单元

122，222 比较单元

124 调节单元

126，226 控制单元

128，228 存储单元

130 图像捕捉单元

140 商品阅读单元

144 商品阅读表面

150 颜色图案

160 商品

1000 信息处理设备

3000 网络

3001 CPU

3003 RAM

3004 存储设备

3005 输入/输出用户I/F

3006 通信I/F

3009 驱动设备

3010 记录介质