专利名称：信息处理装置及信息处理方法
技术领域：
本发明涉及一种信息处理装置及信息处理方法。
背景技术：
目前，有这样一种技术，通过读取附加在商品上的条形码或QR代码(注册商标)等的码信息或从摄像物品的图像数据中抽取所述物品的特征量，与预先准备的核对用数据(特征量)进行比较，并采用识别(检测出)所述物品的类别等的一般物品识别所涉及的技术，进行水果和蔬菜等的商品的识别，从而指定进行销售登记的商品。
不过，在上述的现有技术中，需要具有为了读取码信息而摄像单色图像的图像传感器及为了进行一般物体识别而摄像彩色图像的图像传感器的两个图像传感器，从而期望装置的简单化。发明内容
鉴于上述问题，本发明的目的在于提供一种无需配置摄像单色图像的图像传感器和摄像彩色图像这样两个传感器就能准确地进行商品信息读取以及提高标帜识别率的信息处理装置和信息处理方法。
本发明第一方面涉及的信息处理装置，包括:一个摄像部；采集部，采集摄像部摄像的彩色图像；图像变换部，将所述采集到的彩色图像向单色图像进行变换；第一读取部，根据所述变换成的单色图像，指定由所述摄像部摄像的图像所包含的物品；第二读取部，根据所述采集到的彩色图像，指定由所述摄像部摄像的图像所包含的物品；以及输出部，输出表示由所述第一读取部或所述第二读取部指定的物品的信息。
本发明第二方面所涉及的基于信息处理装置的信息处理方法，该信息处理装置包括一个摄像部，该信息处理方法包括以下步骤:采集步骤，采集摄像部摄像的彩色图像；图像变换步骤，将所述采集到的彩色图像向单色图像进行变换；第一读取步骤，根据所述变换成的单色图像，指定由所述摄像部摄像的图像所包含的物品；第二读取步骤，根据所述采集到的彩色图像，指定由所述摄像部摄像的图像所包含的物品；以及输出步骤，输出表示由所述第一读取步骤或所述第二读取步骤指定的物品的信息。
图1是表示实施例所涉及的结账系统(店铺系统)的一例立体图。
图2是商品读取装置的概略的纵剖侧视图。
图3是表示POS终端及商品读取装置的硬件构成的框图。
图4是例示PLU文件的数据构成的概念图。
图5是表示POS终端及商品读取装置的功能构成的框图。
图6是表示商品读取装置的动作的一例流程图。
图7是表示POS终端的动作的一例流程图。
具体实施方式
下面，参照附图，对信息处理装置及程序的实施例进行详细地说明。另外，以下说明的实施例是信息处理装置及信息处理方法的一实施例，并不对其构成、方法等进行限定。本实施例是向引进到超市等店铺中的具有进行一交易所涉及的商品的登记、对账的POS终端的结账系统(店铺系统)的应用例。
图1是表不结账系统I的一例立体图。如图1所不，结账系统I具有读取有关商品的信息的商品读取装置101、以及进行一交易所涉及的商品的登记、对账的POS终端11。以下，对将商品读取装置101作为本实施例所涉及的信息处理装置进行应用的例子进行说明。此外，在以下中，有对多个附图示出的同样构成附加相同符号来表示，并省略其重复的说明的情况。
POS终端11被载置在结账台41上的拉出装置21上面。POS终端11控制拉出装置21的开放动作。在POS终端11的上表面上配置有由操作员(店员)进行按下操作的键盘22。从操作键盘22的操作员角度看，在键盘22的里侧设置有朝向操作员显示信息的显示器23。显示器23在其显示面23a上显示信息。显示面23a层压有触摸面板26。在位于显示器23的更里侧可旋转地立着设置有顾客用显示器24。顾客用显示器24在其显示面24a上显示信息。另外，虽然图1所示的顾客用显示器24将显示面24a朝向图1中的跟前侧，但是通过以显示面24a朝向图1中的里侧的方式使顾客用显示器24旋转，顾客用显示器24向顾客显示信息。
长条桌子状的柜台151以与载置有POS终端11的结账台41形成为L字的方式来配置。在柜台151的上表面上形成有负荷接受面152。负荷接受面152载置有收纳商品G的购物筐153。购物筐153可以考虑划分为通过顾客带来的第一购物筐153a和被载置在与第一购物筐153a隔着商品读取装置101的位置的第二购物筐153b。另外，购物筐153 (第一购物筐153a)并不限定于所谓的筐形状，也可以是托盘等。此外，购物筐153 (第二购物筐153b)并不限定于所谓的筐形状，也可以是箱状或袋状等。
柜台151的负荷接受面152上设置有可与POS终端11数据发送接收地连接的商品读取装置101。商品读取装置101具有薄的长方形形状的外壳102。在外壳102的正面配置有读取窗103。在外壳102的上部安装有显示/操作部104。显示/操作部104设置有在表面层压有触摸面板105的显示器106。在显示器106的右边设置有键盘107。在键盘107的右边设置有未图示的读卡器的卡读取槽108。从操作员的角度看，在显示/操作部104的背面靠左侧设置有用于向顾客提供信息的顾客用显示器109。
这样的商品读取装置101具有商品读取部110 (参照图2)。商品读取部110在读取窗103的里侧配置有摄像部164 (参照图2)。
顾客带来的第一购物筐153a收纳有一交易所涉及的商品G。第一购物筐153a内的商品G通过操作商品读取装置101的操作员被移动到第二购物筐153b。在该移动过程中，商品G被朝向商品读取装置101的读取窗103。这时，配置在读取窗103内的摄像部164(参照图2)摄像商品G。
在商品读取装置101中，参照PLU文件Fl(参照图3)，通过读取附加在商品G上的条形码或QR代码(注册商标)等的码信息或一般物体识别指定通过摄像部164摄像的图像所包含的商品Ga羊细情况后述)。接着，在商品读取装置101中，将接受指定出的商品G的确认、个数等的输入的画面显示在显示/操作部104上，将接受了确认输入的商品G的商品ID、已输入的个数等信息通知给POS终端11。在POS终端11中，基于由商品读取装置101通知的商品ID、个数等信息，将与商品ID对应的商品的商品分类、商品名称、单价等的销售登记所涉及的信息登记到销售主文件(未图示)等中，从而进行销售登记。
图2是商品读取装置101的概略的纵剖侧视图。商品读取装置101在外壳102中内置有商品读取部110。商品读取部110具有摄像部164，所述摄像部164取得用于从附加在商品G上的码符号读取商品ID的图像，该商品G位于摄像区域B3。
摄像部164具有箱形的机箱112，该机箱112包括在配直有商品G的摄像区域B3侧配置的前盖部件117、以及配置在前盖部件117的相反一侧并与该前盖部件117组合配置的后盖部件118。
在机箱112内设置有具备摄像彩色图像的CCD摄像元件的摄像板113、作为向摄像区域B3照射照明光的照明装置的照明板116、以及对COKCharged Coupled Device:电荷率禹合器件)摄像兀件(或CMOS (Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)摄像元件)所取得的摄像图像(彩色图像)进行图像处理的图像处理板115。
前盖部件117除配置有表面板117a外，还在表面板117a的中央部分朝向内部形成有凹设部117b。凹设部117b具备其横截面面积越往里去越减少的四角锥形状的壁面而形成，并在凹设部117b的最里部开设有开口部117c。
摄像板113具有摄像基板114、以及在CXD摄像元件上成像摄像区域B3的摄像图像的成像透镜119，所述摄像基板114具有作为彩色图像传感器的CCD摄像元件(或CMOS摄像元件)及CCD摄像元件的驱动电路。图像处理板115是图像处理装置，其输出从摄像板113输出的视频数据(帧数据)。
照明板116配置在开口部117c的里侧。照明板116的基板116a开设有摄像板113的摄像用开口部116c。在位于凹设部117b的最里部的开口部117c内的照明板116的基板116a上配置有多个LED发光元件116b，以使包围开口部116c。通过这样，多个LED发光元件116b向比摄像区域B3宽广的照明区域照射光。
这样构成的摄像部164因将开口部117c的位置与形成在商品读取装置101的外壳102上的读取窗103的位置相对应并内置在外壳102中。通过这样，摄像板113朝向位于读取窗103的外部的摄像区域B3。而且，成像透镜119具有象将来自摄像区域B3的反射光在CXD摄像元件上聚焦那样的焦距。通过这样，摄像板113所设置的摄像基板114和成像透镜119取得位于摄像区域B3的商品G的彩色图像。
图3是表示POS终端11及商品读取装置101的硬件构成的框图。POS终端11具有作为执行信息处理的信息处理部的微机60。微机60由在执行各种运算处理并控制各部的CPU (Central Processing Unit:中央处理器)61 上总线连接有 ROM (Read Only Memory:只读存储器)62和RAM (Random Access Memory:随机存取存储器)63而构成。
上述的拉出装置21、键盘22、显示器23、触摸面板26、以及顾客用显示器24均通过各种输入输出电路(均未图示)与POS终端11的CPU61连接，并接受CPU61的控制。
键盘22包括在上面显示有“1”、“2”、“3”……等的数字、“ X ”的乘法的算符的数字键22d、临时合计键22e及合计键22f。
POS 终端 11 的 CPU61 连接有 HDD64 (Hard Disk Drive:硬盘驱动器)。HDD64 存储有程序、各种文件。HDD64所存储的程序、各种文件在POS终端11起动时，其全部或一部分被复制到RAM63并通过CPU61执行。HDD64所存储的程序的一例是商品销售数据处理用的程序PR。HDD64所存储的文件的一例是从存储计算机SC分配存储的PLU文件Fl。
PLU文件Fl是对陈列在店铺中并进行销售的商品G的各个商品，设定有商品G的销售登记所涉及的信息和该商品G的图像的关联的商品文件。
图4是例示出PLU文件Fl的数据构成的概念图。如图4所示，PLU文件Fl是将对应每个商品G单独地分配的商品ID、商品G所属的商品分类、商品名称、单价等的与商品有关的信息、摄像其商品的商品图像(基准图像)，作为该商品G的商品信息进行存储的文件。此外，商品图像是用于相似度的判定的商品的摄像图像(照片)。另外，PLU文件Fl具有商品读取装置101通过后述的连接接口 65读出的构成。
另外，PLU文件Fl的数据构成并不限定于图4的例子，诸如也可以是对各商品存储从商品图像中读取的色彩和表面的凹凸状况等的商品特征量的形式。此外，存储有商品信息的PLU文件Fl也可以存储在除POS终端11以外的服务器装置等的外部装置中。
返回到图3，POS终端11的CPU61通过输入输出电路(未图示)连接有用于与存储计算机SC执行数据通信的通信接口 25。存储计算机SC设置在店铺的后院等。存储计算机SC的HDD (未图示)存储有向POS终端11发送的PLU文件F1。
而且，POS终端11的CPU61连接有在与商品读取装置101之间可数据发送接收的连接接口 65。连接接口 65连接有商品读取装置101。此外，POS终端11的CPU61连接有在票据等上进行打字的打印机66。POS终端11在CPU61的控制下，将一交易的交易内容打印在票据上。
商品读取装置101也具有微机160。微机160由CPU161总线连接有R0M162和RAM163而构成。R0M162存储有通过CPU161来执行的程序。CPU161通过各种输入输出电路(均未图示)连接有摄像部164、以及声音输出部165。摄像部164、声音输出部165由CPU161控制动作。显示/操作部104通过连接接口 176与商品读取部110及POS终端11连接。显示/操作部104由商品读取部110的CPU161、P0S终端11的CPU61控制动作。
如上所述，摄像部164是CXD摄像元件或CMOS摄像元件等的彩色图像传感器，并是在CPU161的控制下用彩色从读取窗103进行摄像的摄像部。例如，在摄像部164中进行30fps的视频的摄像。摄像部164以规定的帧频率依次摄像的帧图像(摄像图像)被保存到RAM163 中。
声音输出部165是用于产生预先设定的警报音等的声音电路和扬声器等。声音输出部165在CPU161的控制下进行警报音或语音的告知。
而且，CPU161连接有与POS终端11的连接接口 65连接、并与POS终端11之间可数据接收发送的连接接口 175。此外，CPU161通过连接接口 175，与显示/操作部104之间进行数据发送接收。
接着，参照图5， 对CPU161、CPU61通过依次执行程序实现的CPU161、CPU61的功能构成进行说明。
图5是表示POS终端11及商品读取装置101的功能构成的框图。如图5所示，商品读取装置101的CPU161通过执行R0M162所存储的程序，具有作为图像采集部51、单色图像生成部52、码读取部53、对象识别部54、服务信息读取部55、输入接受部56、以及信息输出部57的功能。此外，同样，POS终端11的CPU61通过执行程序PR，具有作为销售登记部611的功能。
图像采集部51向摄像部164输出摄像导通信号从而使摄像部164开始摄像动作。图像米集部51在摄像动作开始后，依次米集摄像部164摄像、并保存在RAM163中的彩色的帧图像。图像采集部51的帧图像的采集按照RAM163所保存的顺序来进行。
单色图像生成部52从由图像采集部51采集到的彩色的帧图像生成单色的帧图像(单色图像)。具体地说，根据采集到的彩色的帧图像，诸如将24bit的全色图像灰度变换成256级灰度的单色图像从而进行单色图像的生成。另外，单色图像生成部52也可以从灰度变换成256级灰度的单色图像以规定的阈值生成二值化了的单色图像。由单色图像生成部52生成的单色图像被依次保存到RAM163中。
码读取部53根据变换摄像摄像区域B3的彩色的帧图像而生成的单色图像，读取在摄像区域B3中已摄像的商品G所附加的条形码或二维代码(例如，QR代码(登记商标))等的码信息。根据该读取的码信息，通过参照PLU文件Fl指定已摄像的商品G。具体地说，码读取部53读出RAM163所保存的单色图像，进行由模式匹配技术的条形码的检测或根据规定的搜索模式的二维代码的检测。接着，码读取部53从检测出的条形码或二维代码中，读取商品代码(商品ID)等的商品G的商品信息。接着，码读取部53参照PLU文件Fl指定与已读取的商品信息(例如，商品代码)符合的商品G。
对象识别部54根据摄像摄像区域B3的彩色的帧图像，读取在摄像区域B3中已摄像的商品G的色彩和表面的凹凸状况等的表面状态作为特征量。根据该读取的特征量，通过参照PLU文件Fl指定已摄像的商品G。具体地说，对象识别部54读出RAM163所保存的彩色的帧图像，采用模式匹配技术等检测出商品G的全部或一部分。例如，从将采集到的帧图像进行二值化的图像中抽取轮廓线等。接着，对从上次的帧图像抽取的轮廓线和从此次的帧图像抽取的轮廓线进行比较，检测出为了销售登记而朝向读取窗103的商品G。
另外，作为检测出商品的其他方法，从采集到的帧图像中检测出有无皮肤区域。接着，当检测出皮肤区域时，也就是说，当检测出店员的手时，通过在该皮肤区域的附近进行上述的轮廓线的检测，对假想店员的手正把持的商品的轮廓抽取进行尝试。这时，当检测出表示手的形状的轮廓和在手的轮廓的附近除此之外的物体的轮廓时，从该物体的轮廓检测出商品。
接着，本实施例的对象识别部54从通过摄像部164摄像的商品G的全部或一部分的图像中读取商品G的色彩和表面的凹凸状况等的表面状态作为特征量。另外，对象识别部54由于谋求处理时间的缩短，所以不考虑商品G的轮廓、大小。但是，当不考虑处理时间的缩短时，也可以考虑商品G的轮廓、大小。
此外，对象识别部54通过从PLU文件Fl所登记的各商品(以下，称为登记商品)的图像，读取该登记商品的色彩和表面的凹凸状况等的表面状态作为特征量，并分别与商品G的特征量进行比较，从而计算出商品G和PLU文件Fl所登记的商品的相似度。在这里，相似度是当将存储在PLU文件Fl中的各商品的图像设为100% = “相似度:1.0”时，表示商品G的全部或一部分的图像相似到哪种程度的数据。另外，例如，在色彩和表面的凹凸状况中，也可以改变加权来计算出相似度。接着，对象识别部54在PLU文件Fl的商品中，指定计算出的相似度最高的商品，作为已摄像的商品G。
这样，识别图像中所包含的物体的对象识别被称为一般物体识别(gener i cobject recognition:一般物体识别)。关于这样的一般物体识别在下述的文献中各种识别技术被说明。
柳井啓司，“一般物体認識A現状i今後”，情報処理学会論文誌，Vol.48，N0.SIG16 [平成 22 年 8 月 10 日検索],4 > 夕一才、'义卜〈URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yana1.pdf> (柳井启司，“一般物体识别的现状与未来”，信息处理学会论文志，Vol.48, N0.SIG16 “2010 年 8 月 10 日检索”，互联网 < URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yana1.pdf >)
此外，通过对应每个目的物对图像进行区域分割，进行一般物体识别的技术在下述的文献中被说明。
Jamie Shotton h ,“Semantic Texton Forests for Image Categorization andSegmentation”，[平成 22 年 8 月 10 日検索]，^、y 夕一 ^ 'y 卜〈URL:http://citeseerx.1st.psu.edu/viewdoc/download doi=10.1.1.145.3036 & rep=repl & type=pdf> (JamieShotton h (杰米肖顿等人),“Semantic Texton Forests for Image Categorization andSegmentation: ”，“2010 年 8 月 10 日检索”，互联网 < URL:http://citeseerx.1st.psu.edu/viewdoc/download doi = 10.1.1.145.3036&rep = repl&type = pdf >)
另外，所摄像的商品G的图像和PLU文件Fl所登记的登记商品的图像的相似度的计算方法尤其不限定。例如，既可以将所摄像的商品G的图像和PLU文件Fl所登记的各登记商品的相似度作为绝对评价进行计算出，又可以将其作为相对评价进行计算出。
当将相似度作为绝对评价进行计算出时，只要将所摄像的商品G的图像和PLU文件Fl所登记的各登记商品一对一进行比较，并直接采用该比较的结果导出的相似度就可以。此外，当将相似度作为相对评价进行计算出时，如果在PLU文件Fl中登记有5个登记商品(商品GA、GB、GC、⑶、GE)，则只要以所摄像的商品G诸如相对于商品GA相似度为0.6、相对于商品GB相似度为0.1、相对于商品GC相似度为0.1、相对于商品GD相似度为0.1、相对于商品GE相似度为0.1等，与各登记商品的相似度的总和为1.0 (100%)的方式计算出就可以。
服务信息读取部55根据由摄像摄像区域B3的彩色的帧图像变换的单色图像或摄像摄像区域B3的彩色的帧图像，读取打印在附加在商品G上的减价标签等的标帜上的规定形状的标记图像(例如，表不减价标签的规定形状的图案)，指定附加在商品G上的减价标签等的标帜。通过这样，服务信息读取部55读取与指定的减价标签对应的减价金额或减价率等的服务信息。包含该减价标签等的每个标帜的形状、标帜的图像及特征量、和与其减价标签对应的减价金额或减价率等的服务信息的信息被预先存储到R0M162中。服务信息读取部55通过读出R0M162所存储的标帜所涉及的信息，根据模式匹配技术， 参照根据摄像摄像区域B3的彩色的帧图像变换的单色图像或摄像摄像区域B3的彩色的帧图像，指定添加在商品G上的标巾只。
输入接受部56通过触摸面板105或键盘107接受与显示器106的显示对应的各种输入操作。例如，输入接受部56使通过码读取部53或对象识别部54指定的商品G的确认画面显示在显示器106上，基于对其确认画面的选择操作，通过键盘107接受进行指定的商品G的销售登记的输入操作(确认操作)。输入接受部56所接受的确认操作通过信息输出部57被通知给POS终端11。此外，输入接受部56在进行商品G的销售登记的确认操作后，使接受进行销售登记的商品G的个数输入的操作画面显示在显示器106上，通过键盘107接受个数的输入操作。该输入接受部56所接受的个数通过信息输出部57被通知给POS终端11。POS终端11接收确认操作、个数的通知，从而进行在销售登记部611中的销售登记。
信息输出部57对如上所述那样进行了确认操作的商品G，将表示其商品的信息(例如，商品ID、商品名等)、个数通过连接接口 175输出给POS终端11。作为信息输出部57输出给POS终端11的信息，根据通过码读取部53或对象识别部54指定的商品G，信息输出部57既可以将从PLU文件Fl读出的商品ID直接通知给POS终端11，又可以将可指定商品ID的商品名或商品图像的文件名通知给POS终端11，还可以将其商品ID的存储位置(PLU文件Fl中的存储地址)通知给POS终端11。此外，信息输出部57将通过服务信息读取部55读取的减价金额、减价率等的服务信息输出给POS终端11。
POS终端11的销售登记部611基于从信息输出部57输出的商品ID、进行销售登记的个数、减价金额或减价率等的服务信息，进行对应的商品的销售登记。具体地说，销售登记部611参照PLU文件F1，将通知的商品ID及与所述商品ID对应的商品分类、商品名、单价等与个数、减价金额或减价率同时记录在销售主文件等上从而进行销售登记。
接着，对结账系统I的动作进行详细地说明。首先，对商品读取装置101的动作进行说明。图6是表示商品读取装置101的动作的一例流程图。
如图6所示，当根据POS终端11的商品登记的开始等而开始处理时，则图像采集部51向摄像部164输出摄像导通信号从而开始由摄像部164的摄像(步骤S11)。接着，图像采集部51采集摄像部164摄像、并保存在RAM163中的彩色的帧图像(彩色图像数据)(步骤S12)。接着，单色图像生成部52从彩色的帧图像生成单色图像(步骤S13)。
接着，码读取部53根据在步骤S13中生成的单色图像，读取在摄像区域B3中摄像的商品G所附加的条形码等的码信息。在这里，码读取部53判定由在步骤S13中生成的单色图像是否能读取条形码等的码信息、即判定通过码信息的读取是否能指定商品G (步骤S14)。
当由单色图像能读取条形码时(步骤S14的是)，服务信息读取部55根据在步骤S13中生成的单色图像，进行减价标签等的标帜的读取。在这里，服务信息读取部55判定由在步骤S13中生成的单色图像是否能读取减价标签等的标帜、即判定是否能读取与标帜对应的减价率或减价金额等的服务信息(步骤S15)。
当由单色图像能读取减价标签时(步骤S15的是)，信息输出部57将与减价标签对应的减价金额或减价率等的服务信息输出给POS终端11 (S20)。
当由单色图像不能读取条形码时(步骤S14的否)，对象识别部54取得RAM163等的存储器所保存的彩色的帧图像(S16)，根据已取得的彩色的帧图像，进行由上述的对象识别的商品G的指定。在这里，对象识别部54判定由彩色的帧图像是否能对象识别、即判定是否能由对象识别的商品G的指定(步骤S17)。关于该判定，当参照上述的PLU文件Fl计算出的每个商品的相似度未超出规定的阈值时，视为不能由对象识别指定商品G就行。
当由彩色的帧图像不能对象识别时(步骤S17的否)，由于从在步骤S12中采集到的帧图像，在单色图像及彩色图像的任一个图像中也未达到指定商品G，所以返回到步骤S12的处理进行对接着的帧图像的处理。
当由彩色的帧图像能对象识别时(步骤S17的是)，服务信息读取部55根据在步骤S16中已取得的彩色的帧图像，进行减价标签等的标帜的读取。另外，服务信息读取部55当由单色图像能读取减价标签时(步骤S15的否)，也取得RAM163等的存储器所保存的彩色的帧图像(步骤S18)，根据其取得的彩色的帧图像，进行减价标签等的标帜的读取，在这里，月艮务信息读取部55判定由彩色的帧图像是否能读取减价标签等的标帜、即判定是否能读取与标帜对应的减价率或减价金额等的服务信息(S19)。
当由彩色的帧图像能读取减价标签时(步骤S19的是)，信息输出部57将与减价标签对应的减价金额、减价率等的服务信息输出给POS终端(步骤S20)。此外，当由彩色的帧图像不能读取减价标签时(步骤S19的否)，虽然从在步骤S12中采集到的帧图像能指定商品G，但是由于不能读取减价标签，所以不进行步骤S20的处理而前进到步骤S21的处理。
接着步骤S20，输入接受部56接受进行销售登记的商品G的个数的输入(步骤S21)。接着，信息输出部57将关于商品G的商品ID和在步骤S21中接受到的个数输出给POS终端11 (步骤S22)。
接着，CPU161判定从POS终端11有无商品登记的结束通知等的工作结束(步骤S23)。当继续工作时(步骤S23的否)，CPU161返回到步骤S12的处理继续处理。当结束工作时(步骤S23的是)，图像采集部51向摄像部164输出摄像截止信号结束摄像部164的摄像(步骤S24)，并结束处理。
接着，对POS终端11的动作进行说明。图7是表示POS终端11执行的销售登记处理的顺序的流程图。
首先，当按照由键盘22的操作指示的商品登记的开始等而开始处理时，则CPU61接收商品读取装置101在图6的步骤S20中输出的涉及减价的服务信息、在步骤S22中输出的商品G的商品ID及其个数(步骤S31)。接着，销售登记部611基于在步骤S31中接收到的商品ID、个数、服务信息，从PLU文件Fl读出商品种类、单价等，将在商品读取装置101中读取的商品G的销售登记在销售主文件中(步骤S32)。接着，CPU61判定有无由键盘22的操作指示的销售登记的结束等的工作结束(步骤S33)。当继续工作时(步骤S33的否)，CPU61再返回到步骤S31继续处理。当结束工作时(步骤S33的是)，CPU61结束处理。
如上所述，在商品读取装置101中，通过图像采集部51采集摄像部164摄像的彩色的帧图像，通过单色图像生成部52将采集到的彩色的帧图像向单色图像进行变换，从而从摄像部164摄像的图像生成单色图像。而且，在码读取部53中，根据通过单色图像生成部52变换的单色图像，读取通过摄像部164摄像的图像所包含的商品G所附加的码信息，从而指定商品G。此外，在对象识别部54中，当通过码读取部53不能指定商品G时，根据通过摄像部164采集到的彩色的帧图像，进行对象识别从而指定其帧图像所包含的商品G。因此，在商品读取装置101中，无需具有为了读取码信息而摄像单色图像的图像传感器及为了进行对象识别(一般物体识别)而摄像彩色图像的图像传感器这样两个图像传感器，从而能够谋求装置的简便化。
此外，商品读取装置101对与商品G的减价率、减价金额等的服务信息对应的标帜，也根据通过单色图像生成部52变换的单色图像，在码读取部53中读取通过摄像部164摄像的图像所包含的标记图像(标帜的图案等)，进行标帜的指定。而且，当通过码读取部53不能指定商品G时，根据通过摄像部164采集到的彩色的帧图像，在对象识别部54中读取通过摄像部164摄像的图像所包含的标记图像(标巾只的颜色、图案等),进行标巾只的指定。因此，在商品读取装置101中，无需具有为了读取标帜的形状而摄像单色图像的图像传感器及为了读取标帜的颜色而摄像彩色图像的彩色传感器这样两个图像传感器，从而能够谋求装置的简便化。此外，当由单色图像不能指定标帜时，能够再次执行由彩色图像指定标帜的处理，所以能够谋求提高标帜的识别率。此外，在实施例中，虽然例示出了商品读取装置101和POS终端11是分体的构成，但是商品读取装置101和POS终端11也可以是一体的构成。此外，在实施例中，虽然例示出了店员进行商品G的销售登记的结账系统，但是当然也可以是具有秤装置的自助结账系统，并是顾客进行商品G的销售登记的构成。
另外，在本实施例的商品读取装置101中所执行的程序被预先安装在ROM等中而提供。在本实施例的商品读取装置101中所执行的程序也可以以可安装的形式或可执行的形式的文件，记录在CD-ROM、软磁盘(FD)、CD-R、DVD (Digital Versatile Disk:数字多功能磁盘)等的计算机可读存储介质中而提供。
而且，也可以将在本实施例的商品读取装置101中所执行的程序存储在与互联网等的网络连接的计算机上，并通过经由网络下载而提供。此外，也可以将在本实施例的商品读取装置101中所执行的程序经由互联网等的网络提供或配置。
在本实施例的商品读取装置101中所执行的程序为包括上述的各部(图像采集部51、单色图像生成部52、码读取部53、对象识别部54、服务信息读取部55、输入接受部56、信息输出部57)的模块构成，作为实际的硬件，通过CPU (处理器)从上述ROM读出并执行程序，从而上述各部被装载到主存 储装置上，并生成在主存储装置上。
此外，在上述实施例的处理顺序中，先进行了单色图像读取，不过也可以先进行彩色图像读取。也就是说，以彩色图像读取条形码、或者以彩色图像读取降价标签。当不能进行正常读取时，可以再以单色图像进行读取。也就是本申请不对单色图像和彩色图像的处理顺序进行限定。
最好优选先处理单色图像，先进行单色图像的读取的话，处理效率高。这是因为粘贴有降价标签的商品多为彩色的，所以以单色图像读取条形码的时候大多能够正确读取。如果以彩色图像读取条形码，往往会妨碍商品颜色的读取。因此，优选先以单色图像读取。而且，当考虑到商品的读取效率的时候，也可以设置多个摄像头。
附图标记说明
I 结账系统11 POS终端
21 拉出装置22 键盘
22d 数字键22e 临时合计键
22f 合计键23 显示器
23a 显示面24 顾客用显示器
24a 显示面25 通信接口
26 触摸面板41 结账台
51图像采集部52单色图像生成部
53码读取部54对象识别部
55服务信息读取部56输入接受部
57信息输出部60微机
61CPU62ROM
63RAM64HDD
65连接接口66打印机
101商品读取装置102外壳
103读取窗104显示/操作部
105触摸面板106显不器
107键盘108卡读取槽
109顾客用显示器110商品读取部
112机箱113摄像板
114摄像基板115图像处理板
116照明板116a基板
116bLED发光元件116c开口部
117前盖部件117a表面板
117b凹设部117c开口部
118后盖部件119成像透镜
151柜台152负荷接受面
153购物筐153a第 一购物筐
153b第二购物筐160微机
161CPU162ROM
163RAM164摄像部
165声音输出部175连接接口
176连接接口611销售登记部
B3摄像区域G商品
FlPLU 文件PR程序
SC存储计算机
权利要求
1.一种信息处理装置，包括: 一个摄像部； 采集部，采集所述摄像部摄像的彩色图像； 图像变换部，将所述采集到的彩色图像向单色图像进行变换； 第一读取部，根据所述变换成的单色图像，指定由所述摄像部摄像的图像所包含的物品; 第二读取部，根据所述采集到的彩色图像，指定由所述摄像部摄像的图像所包含的物品；以及 输出部，输出表示由所述第一读取部或所述第二读取部指定的物品的信息。
2.根据权利要求1所述的信息处理装置，其中， 所述第一读取部读取所述变换成的单色图像所包含的码信息，指定与所述码信息对应的物品， 所述第二读取部通过读取所述采集到的彩色图像所包含的物品的特征量，与预先存储的每个物品的特征量进行比较，指定由所述摄像部摄像的图像所包含的物品。
3.根据权利要求1或2所述的信息处理装置，其中， 所述第一读取部从所述变换成的单色图像所包含的表示服务信息的标记图像中，指定与所述标记图像对应的服务信息， 所述第二读取部从所述采集到的彩色图像中指定与所述标记图像对应的服务信息。
4.根据权利要求1至3中任一项所述的信息处理装置，还包括: 输入接受部，接受通过所述第一读取部或所述第二读取部被指定的物品的输入。
5.根据权利要求2所述的信息处理装置，其中， 所述第二读取部对读取的所述物品的特征量与预先存储的每个物品的特征量进行相似度计算。
6.一种基于信息处理装置的信息处理方法，所述信息处理装置包括一个摄像部，所述信息处理方法包括: 采集步骤，采集所述摄像部摄像的彩色图像； 图像变换步骤，将所 述采集到的彩色图像向单色图像进行变换； 第一读取步骤，根据所述变换成的单色图像，指定由所述摄像部摄像的图像所包含的物品； 第二读取步骤，根据所述采集到的彩色图像，指定由所述摄像部摄像的图像所包含的物品；以及 输出步骤，输出表示由所述第一读取步骤或所述第二读取步骤指定的物品的信息。
7.根据权利要求6所述的信息处理方法，其中， 所述第一读取步骤读取所述变换成的单色图像所包含的码信息，指定与所述码信息对应的物品， 在所述第二读取步骤中，通过读取所述采集到的彩色图像所包含的物品的特征量，与预先存储的每个物品的特征量进行比较，指定由所述摄像部摄像的图像所包含的物品。
8.根据权利要求6或7所述的信息处理方法，其中， 在所述第一读取步骤中，从所述变换成的单色图像所包含的表示服务信息的标记图像，指定与所述标记图像对应的服务信息， 在所述第二读取步骤中，从所述采集到的彩色图像中指定与所述标记图像对应的服务信息。
9.根据权利要求6至8中任一项所述的信息处理方法，还包括: 输入接受步骤，接受通过所述第一读取步骤或所述第二读取步骤所指定的物品的输入。
10.根据权利要求7所述的信息处理方法，其中， 在所述第二读 取步骤中，对读取的所述物品的特征量与预先存储的每个物品的特征量进行相似度计算。
全文摘要
本发明提供一种能够实现装置的简单化的信息处理装置及信息处理方法，该信息处理装置包括一个摄像部；采集部，采集摄像部摄像的彩色图像；图像变换部，将采集到的彩色图像向单色图像进行变换；第一读取部，根据变换成的单色图像，指定由摄像部摄像的图像所包含的物品；第二读取部，根据采集到的彩色图像，指定由摄像部摄像的图像所包含的物品；以及输出部，输出表示由第一读取部或第二读取部指定的物品的信息。
文档编号G06K7/10GK103218720SQ201210512929
公开日2013年7月24日 申请日期2012年12月4日 优先权日2012年1月13日
发明者内藤英浩, 飯坂仁志, 見原日出海 申请人:东芝泰格有限公司