专利名称：零售环境中检测欺诈性事件的基于图像的方法和装置的制作方法
技术领域：
本发明涉及计算机可视技术，更具体地说，涉及用于在零售环境检测欺诈性事件的方法和装置。
由于劳动力成本的日益增加，以及合格雇员候选人的数量不足，许多零售商店和其它机构必须经常在雇员数量不够的情况下运营。因此，在没有足够的雇员执行每个期望的任务时，管理人员必须排定各项职责的优先级，以确保满足最重要的任务，或者找到执行该任务的替代方法。例如，许多零售机构利用自动化盗窃检测系统来代替或辅助安全人员。
此外，许多商店没有足够的雇员来充分地监视整个商店或其它场所，以达到例如安全目的。因此，许多公司和其它机构将摄像机设置在各个位置以监视顾客和雇员的活动。虽然摄像机产生的图像通常允许由位于中心位置的一个人来监视各个区域，但这种系统需要人员来进行监视以检测感兴趣事件。
零售商店每年因诸如商品失窃或欺诈性退货之类的欺诈性为而损失相当一部分收入。例如，以下现象并非不常见个别人进店，拿起商品，假装他们以前就已经购买了该商品并试图在没有收据的情况下退货。要零售人员监视进入指定商店的每个客户的行为，即便可能，也是不切实际的。
此外，由于零售环境的竞争性质，多数零售者被迫坚持相对宽松的退货政策，允许在一定条件下在没有收据的情况下退货。因此，零售者无法有效地防止或阻止这类欺诈性退货。因此，需要这样一种监控系统，它采用基于图像的的技术自动识别零售环境中的欺诈性事件。还需要一种事件监控系统，它采用规则数据库来定义各欺诈性事件。
概而言之，公开了一种用于在零售环境中采用基于图像的技术监视场所以识别预定义欺诈性事件的方法和装置。此公开的事件监控系统包括一个或多个对准给定零售场所的图像捕获装置。所捕获的图像由事件监控系统进行处理，以识别一个或多个欺诈性事件并发起适当的响应，例如向雇员发送通知。
根据本发明的一个方面，利用若干规则来定义各种欺诈性事件。例如，可以根据本发明来设计各种规则，以检测何时顾客穿着窃取的衣物出更衣室，或者何时顾客在没有收据的条件下试图以欺诈方式退货。每条规则包含一个或多个该规则被触发时必须予以满足的条件，以及可选的在符合该规则时应该执行的相应操作项，如向雇员发送通知。每条规则的所述条件中的至少一个条件识别某种特征，这种特征必须是利用可视技术在图像中检测到的特征。在检测到预定义事件时，由事件监控系统执行相应的操作(如果有的话)。
参照如下详细说明和附图，可以更全面地理解本发明及其其它特征和优点。
图1说明根据本发明的事件监控系统；图2说明图1所示事件数据库中的样表；图3是体现本发明原理的示范性事件监测过程的流程图；图4是包含本发明特征的示范性欺诈性退货检测过程的流程图；图1说明根据本发明的事件监控系统100。通常，本发明所检测的事件是零售环境中的欺诈性事件，如偷窃商品或试图在没有购买的情况下退货，这些事件随后统称为“欺诈性事件”。如图1所示，事件监控系统100包括对准一个或多个监视区域160的一个或多个图像捕获装置150-1至150-N(随后将其统称为图像捕获装置150)。监视区域160可以是任何可能发生欺诈性事件的场所，如商店的一个或多个入口、出口、过道、退货柜台、更衣室的接触区或陈列区。
本发明认识到欺诈性事件经常在事后涉及违法审判。因此，根据本发明的另一个方面，可以为取证目的将图像捕获装置150捕获的图像记录并保存在例如图像档案数据库175中。如以下进一步的讨论所述，与各检测到的欺诈性事件相关的图像可以可选地记录在图像档案数据库175中以作证据之用。在一个实施例中，预定义数量的在各个检测到的欺诈性事件之前或之后的图像帧可以连同事件发生的时间戳一起记录在图像档案数据库175中，例如用作证据。
各图像捕获装置150可以具体化为例如用于捕获图像或视频信息的固定的或全向倾斜变焦(PTZ)摄像机。图像捕获装置150所生成的图像由事件监控系统100以如下参照图3所讨论的方式进行处理，以识别一个或多个预定义欺诈性事件。在一种实现方式中，本发明采用如以下进一步参照图2所讨论的事件数据库200，事件数据库200记录定义各种欺诈性事件的若干规则。
各规则所定义的欺诈性事件可通过本发明的事件监控系统100来检测。如以下进一步的讨论所述，各规则包含该规则触发所必须予以满足的一个或多个判据以及可选的在启用规则的预定义判据得到满足时应该执行的相应操作项。各规则的上述条件其中至少之一是利用本发明的基于图像的技术在图像中检测到的条件。在检测到所述的预定义欺诈性事件时，由事件监控系统100执行相应的操作(如果有的话)，例如向雇员发送通知或记录该事件以作证据之用(或两者均执行)。
如图1所示以及以下参照图3和图4所作的进一步讨论，事件监控系统100还包括事件检测过程和欺诈性退货检测过程400。通常，事件检测过程300对图像捕获装置150所捕获的图像进行分析并检测一定数量的特定但典型的已在事件数据库200中作了定义的欺诈性事件。欺诈性退货检测过程400对图像捕获装置150所捕获的图像进行分析并检测何时有人试图进行欺诈性退货。
事件监控系统100可以实现为任何计算机装置，如包含处理器120(如中央处理单元(CPU))、存储器110(如RAM和/或ROM)的个人计算机或工作站。在备选的实现方式中，图像处理系统100可以采用专用集成电路(ASIC)来实现。
图2说明记录定义各种欺诈性事件的各规则的事件数据库200的典型表格。事件数据库200中的每条规则包括规定启用该规则的条件的预定义判据和可选的在该规则的有关判据得到满足时应该触发的相应操作项。通常，操作项定义规则被触发时应该执行的一个或多个适当步骤，如向适当的雇员发送通知或为取证目的记录事件(或两者均执行)。
如图2所示，示范性事件数据库200维护多个记录，如记录205-210，各记录分别与不同的规则相关联。对每条规则，事件数据库200在字段250中标识规则判据而在字段260中标识相应的操作项(如果有的话)。
例如，记录在记录205中的规则是对应于某个顾客试图穿着未经购买的衣物出更衣室的商品偷窃事件。如字段250所示，当该顾客穿着不同于他进入更衣室时所穿的衣物离开更衣室时，记录205中的规则就被触发。如字段260所示，相应的操作包括向雇员发送通知或为取证目的监视更衣室并记录事件。
记录205中定义的欺诈性事件可以这样进行检测，例如通过捕获进店或进入更衣室的每个顾客的图像并提取标识进店的顾客所穿衣物的描述符。随后，在顾客进店或更衣室时提取的描述符可与顾客离开更衣室时提取的描述符作比较。如果描述符差异相当大，则向雇员发送告警以作进一步的调查。对合适的特征提取技术的详细讨论可参见例如题为“图像处理系统中利用基于外观和几何特征的统计模型为个人打标记”、2000年11月11日提交的、序号为09/703423的美国专利申请，该专利申请转让给本发明的受让人，通过引用将其结合到本文中。
同样，记录在记录206、207和210中的规则定义对应于有顾客试图在没有收据的情况下退货的事件。正如字段250中所示，记录206、207和210中的规则在顾客试图在没有收据的情况下退货且一个或多个(在各规则中规定的)条件得到满足时被触发。如字段260所示，相应的操作为向雇员发送通知或为取证目的监视并记录事件。
记录206中定义的欺诈性事件可以这样来检测，例如通过捕获进店的每个顾客的图像并利用上述特征提取技术确定该顾客进入该商店时是否携带要退货的商品。记录207中定义的欺诈性事件可以这样来检测，例如通过捕获进店的每个顾客的图像并利用面部识别技术来确定图像是否对应于以前进入过该商店的某个顾客。此规则假设如果某人以前未来过此商店，则商品不可能是以前在此购买的。记录210中定义的欺诈性事件可以这样来检测，例如通过监视商店的关键区域并利用面部识别技术确定顾客最近是否曾经在商店中存放退货商品的区域中出现过。
对合适的面部识别技术的详细讨论可参见例如A.Colmenarez和T.S.Huang的题为“最大似然面部检测”(Int′l Conf′on Automatic Faceand Gesture Recognition(IEEE，1996))和S.Gutta等人的题为“采用混合分类器的面部和手势识别”(Int′l Conf′on Automatic Face andGesture Recognition(IEEE，1996))，这两个文献均通过引用结合到本文中。
图3是说明示范性事件检测过程300的流程图。事件检测过程300对图像捕获装置150所捕获的图像进行分析并检测一定数量的特定但典型的已在事件数据库200中作了定义的欺诈性事件。如图3所示，事件检测过程300首先在步骤310从图像捕获装置150获取监视区域160的一个或多个图像。
随后，在步骤320利用视频内容分析(VCA)技术对图像进行分析。对合适的VCA技术的详细讨论可参见例如Nathanael Rota和Monique Thonnat所著的“用于可视监控的视频序列判读”(Proc.Of the3d IEEE Int′l Workshop on Visual Surveillance，59-67，Dublin，Ireland(July 1，2000))和Jonathan Owens和Andrew Hunter所著的“将自组织地图应用于轨迹分类”(Proc.Of the 3d IEEE Int′l Workshop onVisual Surveillance，77-83，Dublin，Ireland(July 1，2000))，通过引用将这些文献结合到本文中。通常，VCA技术用于识别图像捕获装置150所获取的图像中的各种特征。
在步骤330期间执行测试，以确定视频内容分析是否检测到已在事件数据库200中作了定义的预定义事件。如果在步骤330期间确定视频内容分析没有检测到预定义事件，则程序控制返回到步骤310，以上述方式继续监视区域160。
但是，如果在步骤330期间确定视频内容分析检测到预定义事件，则在步骤340期间按事件数据库200的字段260所指示的那样对该事件进行处理。如前所述，根据本发明的一个方面，在步骤350可选地把与检测到的欺诈性事件相关的图像连同时间戳一起记录在图像档案数据库175中，以作证据之用。然后程序控制结束(或返回到步骤310并以上述方式继续监视区域160)。
如前所述，欺诈性退货检测过程400对图像捕获装置150所获取的图像进行分析并检测何时有人试图进行欺诈性退货。图4所示的示范性实施例对事件数据库200的记录206和207中定义的欺诈性事件进行监测。如图4所示，欺诈性退货检测过程400首先在步骤410获取每个进入指定商店的顾客的一个或多个图像。
在步骤420期间执行测试以确定是否有人试图在没有收据的情况下退货。一旦在步骤420期间确定有人试图在没有收据的情况下退货，则程序控制执行步骤430。
在步骤430期间对照以前进入过商店的那些顾客的历史图像数据库来执行面部识别分析。在步骤435期间执行测试以确定试图退货的顾客是否曾经进入过商店。通常，如果未检测到顾客以前曾进入过商店，则很有可能该顾客以前并未光顾并合法地购买了该退货商品。如果在步骤435确定试图退货的顾客曾经进入过商店，则不会触发记录207所定义的欺诈性事件，程序控制于是进行到步骤440。
但是，如果在步骤435确定试图退货的顾客以前从未进入过商店，则有可能该顾客从未购买过该商品，于是在步骤450向雇员发送通知以进行进一步的调查。此外，如前所述，根据本发明的一个方面，在步骤460可选地将与检测到的欺诈性事件相关的图像连同时间戳一起记录在图像档案数据库175，以作证据之用。程序控制然后结束(或返回到步骤420，以上述方式继续检测潜在的欺诈性事件。
在步骤440执行特征提取分析以标识顾客进店时携带的物品。在步骤445执行测试以确定顾客进店时是否可能携带退货商品。如果在步骤445确定顾客进店时未携带该退货商品，则程序控制继续到步骤450以作进一步的调查，并以上述方式继续。
但是，如果在步骤445确定顾客在进店时可能携带了退货商品，则不触发记录206所定义的欺诈性事件，程序控制返回到步骤420，以继续监测其它欺诈性事件。
应理解，本说明书中所示及所述的各个实施例和变化只用于说明本发明的原理，本专业的技术人员可以在不背离本发明的精神和范围的前提下作出各种修改。
权利要求
1.一种用于在零售场所(160)检测欺诈性事件的方法，所述方法包括建立定义所述欺诈性事件的规则(205-210)，所述规则(205-210)包括至少一个条件(250)；处理所述零售场所(160)的至少一个图像以标识所述条件(250)；以及如果符合所述规则(205-210)，则执行所定义的操作(260)。
2.如权利要求1所述的方法，其特征在于还包括在符合所述规则(205-210)时记录所述至少一个图像的步骤。
3.如权利要求1所述的方法，其特征在于，所述欺诈性事件是指某人窃取商品。
4.如权利要求1所述的方法，其特征在于，所述欺诈性事件是指某人试图在没有收据的情况下退货。
5.如权利要求4所述的方法，其特征在于，以前没有在所述零售场所(160)检测到所述试图在没有收据的情况下退货的人。
6.如权利要求4所述的方法，其特征在于，已在存放所述商品的所述零售场所(160)的某个区域中检测所述试图在没有收据的情况下退货的人。
7.如权利要求4所述的方法，其特征在于，所述试图在没有收据的情况下退货的人在所述人进入所述零售场所(160)时未携带所述商品。
8.如权利要求1所述的方法，其特征在于，所述处理步骤还包括对所述图像执行面部识别分析的步骤。
9.如权利要求1所述的方法，其特征在于，所述处理步骤还包括对所述图像执行特征提取(260)分析的步骤。
10.一种用于在零售场(160)所检测欺诈性事件的方法，所述方法包括获取所述零售场所(160)的至少一个图像；利用视频内容分析技术对所述图像进行分析，以标识与所述欺诈性事件相关的所述图像中的至少一个预定义特征；以及如果符合所述规则(205-210)，则执行定义的操作(260)。
11.一种用于在零售场所(160)检测欺诈性事件的系统(100)，所述系统包括存储计算机可读代码的存储器(110)；以及工作时连接到所述存储器(110)的处理器(120)，所述处理器(120)配置为执行所述计算机可读代码，所述计算机可读代码配置为建立定义所述欺诈性事件的规则(205-210)，所述规则(205-210)包括至少一个条件(250)；处理所述零售场所(160)的至少一个图像以标识所述条件(250)；以及如果符合所述规则(205-210)，则执行所定义的操作(260)。
12.一种用于在零售场所(160)检测欺诈性事件的系统(100)，所述系统包括存储计算机可读代码的存储器(110)；以及工作时连接到所述存储器(110)的处理器(120)，所述处理器(120)配置为执行所述计算机可读代码，所述计算机可读代码配置为获取所述零售场所(160)的至少一个图像；利用视频内容分析技术对所述图像进行分析，以标识与所述欺诈性事件相关的所述图像中的至少一个预定义特征；以及如果符合所述规则(205-210)，则执行定义的操作(260)。
13.一种用于在零售场所(160)检测欺诈性事件的产品，所述产品包括含有计算机可读代码段的计算机可读媒体，所述计算机可读程序代码段包括建立定义所述欺诈性事件的规则(205-210)的步骤，所述规则(205-210)包括至少一个条件(250)；处理所述零售场所(160)的至少一个图像以标识所述条件(250)的步骤；以及在符合所述规则(205-210)时执行所定义的操作(260)的步骤。
14.一种用于在零售场所(160)检测欺诈性事件的产品，所述产品包括含有计算机可读代码段的计算机可读媒体，所述计算机可读程序代码段包括获取所述零售场所(160)的至少一个图像的步骤；利用视频内容分析技术对所述图像进行分析，以标识与所述欺诈性事件相关的所述图像中的至少一个预定义特征的步骤；以及在符合所述规则(205-210)时执行所定义的操作(260)的步骤。
全文摘要
公开了一种利用基于图像的技术监控零售场所以识别预定义欺诈性事件的方法和装置。对捕获的图像进行处理以标识一个或多个预定义欺诈性事件并发起适当的响应，如向雇员发送通知以作进一步调查或为取证目的记录该事件。若干规则用于定义各种欺诈性事件。例如，可以制订规则来检测何时顾客穿着窃取的衣物出更衣室，或者何时顾客在没有收据的条件下试图以欺诈方式退货。每条规则包含一个或多个必须予以满足的条件和当符合该规则时应该执行的相应操作项。每条规则的所述条件中的至少一个条件识别某种特征，这种特征必须是利用可视技术在图像中检测到的特征。还公开了事件检测过程，事件监测过程对捕获到的图像进行分析，以检测由事件规则所定义的一个或多个欺诈性事件。
文档编号G08B31/00GK1543631SQ02816182
公开日2004年11月3日 申请日期2002年8月2日 优先权日2001年8月22日
发明者S·V·R·古特塔, A·科梅纳雷滋, M·特拉科维, S V R 古特塔, 纺衫鬃, 莆 申请人:皇家飞利浦电子股份有限公司