售货装置的制作方法

本公开涉及计算机领域，特别涉及一种售货装置。

背景技术：

随着计算机技术的发展，自动售货得以实现。人们可以从售货设备取走物品，基于物品重力或物品图像能够识别被取走的物品，并进行结算。

技术实现要素：

本公开的一些实施例提出一种售货装置，包括：

处理器，

以及

购物区域入侵检测传感器和分界区域穿过检测传感器中的至少一个，所述分界区域是待售物品摆放区域与其他区域的分界区域，

其中，所述处理器与所述购物区域入侵检测传感器电连接，所述处理器与所述分界区域穿过检测传感器电连接，

所述处理器，被配置为基于至少一个传感器的检测信息确定预定事件的发生，并触发与所述预定事件相关联的操作。

在一些实施例中，所述购物区域入侵检测传感器，被配置为检测购物区域是否被入侵的信息。

在一些实施例中，所述分界区域穿过检测传感器，被配置为检测待售物品摆放区域与其他区域的分界区域是否被穿过的信息。

在一些实施例中，所述处理器，被配置为基于所述购物区域入侵检测传感器的检测信息确定用户进入或离开购物区域的事件的发生。

在一些实施例中，所述处理器，被配置为基于所述分界区域穿过检测传感器的检测信息确定分界区域被穿过的事件或者分界区域被穿过方向的事件的发生。

在一些实施例中，所述预定事件与所述操作的关联关系被配置为以下至少一个关系：

用户进入购物区域的事件关联物品识别的操作或者关联缓存用来进行物品识别的感应信息的操作；

用户离开购物区域的事件关联物品结算的操作；

分界区域被穿过的事件关联物品识别的操作或者关联购买物品的添加或删除操作；

分界区域被穿过方向的事件关联物品识别的操作或者关联购买物品的添加或删除操作。

在一些实施例中，还包括：购物信息检测传感器，被配置为检测用户从摆放待售物品的售货设备中购买的物品信息。

在一些实施例中，所述分界区域根据与摆放待售物品的售货设备的正面的夹角小于预设角度的平面进行设置，所述分界区域与售货设备的正面的距离小于预设距离。

在一些实施例中，所述购物区域根据售货设备所在地面的预设范围区域进行设置。

在一些实施例中，所述购物区域入侵检测传感器为第一图像传感器、反射工作方式的光电传感器、超声波测距传感器、或者人体感应开关，其中，所述第一图像传感器的检测区域对准购物区域。

在一些实施例中，所述分界区域穿过检测传感器为第二图像传感器、对射工作方式的光电传感器，其中，所述第二图像传感器的检测区域对准分界区域。

在一些实施例中，所述第一图像传感器的检测区域对准所述购物区域。

在一些实施例中，所述第二图像传感器的检测区域对准所述分界区域。

基于购物区域入侵检测传感器或分界区域穿过检测传感器的检测信息，处理器触发相应的购物相关操作，以便实现自动售货。从而，改善自动售货业务中存在的结算异常、物品识别计算量大等的至少一个问题。

附图说明

下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。根据下面参照附图的详细描述，可以更加清楚地理解本公开。

显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出本公开售货装置10一些实施例的示意图。

图2示出本公开的购物区域21和分界区域22相对于售货设备23一些示例的示意图。

图3示出反射工作方式的光电传感器30的检测原理示意图。

图4示出超声波测距传感器40的检测原理示意图。

图5示出人体感应开关50的检测原理示意图。

图6示出对射工作方式的光电传感器60的检测原理示意图。

图7示出本公开的售货方法一些实施例的流程示意图。

图8示出本公开的售货方法一些实施例的流程示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。

图1示出本公开售货装置10一些实施例的示意图。

如图1所示，该实施例的售货装置10包括：处理器11，以及与处理器11电连接的各种传感器，例如，购物区域入侵检测传感器12，分界区域穿过检测传感器13，购物信息检测传感器14等，但不限于所举示例。

待售物品可以摆放在售货设备上。售货设备例如可以是开放式的货架或封闭式的货柜。在售货设备上可以安装上述这些传感器。传感器根据功能的不同可以安装在售货设备适当的位置。处理器11可以集成在售货设备中。

购物区域是指售货设备附近有的较大概率发生购物行为的区域，可以预先设置。例如，购物区域根据售货设备所在地面的预设范围区域进行设置。

待售物品摆放区域与其他区域的分界区域容易理解。以分界区域为界，分界区域的一侧摆放有待售物品，而另一侧没有摆放待售物品。分界区域可以根据与售货设备的正面的夹角小于预设角度的平面进行设置，且分界区域与售货设备的正面的距离小于预设距离。假如售货设备的外部轮廓是或近似是一个长方体，该售货设备的面向用户一侧(即，可供用户拿走待售货物一侧)的外表面视为售货设备的正面。例如，分界区域可以设置为垂直于地面且与售货设备的正面平行的平面，或者，分界区域可以设置为售货设备的正面。

图2示出本公开的购物区域21和分界区域22相对于售货设备23一些示例的示意图。在一些实施例中，分界区域例如可以设置为比购物区域的外沿更接近售货设备的区域。

购物区域入侵检测传感器12，被配置为检测购物区域是否被入侵的信息。购物区域入侵检测传感器12例如可以为图像传感器(设为第一图像传感器)、反射工作方式的光电传感器、超声波测距传感器、或者人体感应开关等，相应的检测信息可以是图像信息，测距信息，光谱变化信息等。下面分别描述这些传感器。

第一图像传感器例如可以是摄像头等摄像装置。调整第一图像传感器安装的位置和角度等，使第一图像传感器的检测区域(即拍摄区域)对准购物区域，以拍摄购物区域的图像。基于第一图像传感器拍摄的购物区域的实时图像，可以确定购物区域是否被入侵。例如，将第一图像传感器拍摄的购物区域的实时图像与购物区域未被入侵的参考图像进行比较，如果有新的对象(如人)出现在购物区域的图像中，则认为购物区域被该对象入侵。此外，还可以采取其他的区域入侵检测技术实现购物区域的入侵检测。

反射工作方式的光电传感器30的检测原理如图3所示。反射工作方式的光电传感器30包括发光器31和受光器32。发光器31发射光信号，照射到人的光信号会被反射并被受光器32接收。根据受光器32接收到反射的光信号与发光器31发射的光信号之间的时间间隔确定人与售货设备的距离，根据该距离可以确定购物区域是否被入侵。

超声波测距传感器40的检测原理如图4所示。超声波测距传感器40包括发射器41和接收器42。发射器41发射超声波，碰到人的超声波会被反射并被接收器42接收。根据接收器42接收到超声波与发射器41发射超声波之间的时间间隔确定人与售货设备的距离，根据该距离可以确定购物区域是否被入侵。

人体感应开关50的检测原理如图5所示。人体感应类开关50例如可以基于红外线技术实现。当人进入感应范围时，人体感应类开关50可以探测到红外光谱的变化。因此，人体感应类开关50探测到红外光谱变化时，认为该购物区域被入侵。

分界区域穿过检测传感器13，被配置为检测待售物品摆放区域与其他区域的分界区域是否被穿过的信息。分界区域穿过检测传感器13例如可以为图像传感器(设为第二图像传感器)、对射工作方式的光电传感器，相应的检测信息可以是图像信息、信号接收信息等。下面分别描述这些传感器。

第二图像传感器例如可以是摄像头等摄像装置。调整第二图像传感器安装的位置和角度等，使第二图像传感器的检测区域(即拍摄区域)对准分界区域，以便拍摄分界区域的图像。基于第二图像传感器拍摄的分界区域的图像，可以确定分界区域是否被穿过。例如，连续获取至少两帧分界区域的图像，如果对象(如人或手)在一些帧中出现在分界区域的一侧，在另一些帧中出现在分界区域的另一侧，则认为该分界区域被该对象穿过。同时，分界区域被穿过方向也可以确定。例如，在时间段T1中对象出现在分界区域的一侧a，在接下来的更晚一些的时间段T2中对象出现在分界区域的另一侧b，则分界区域被穿过方向为a到b的方向。

对射工作方式的光电传感器60的检测原理如图6所示。对射工作方式的光电传感器60包括成对设置的若干组发光器61和受光器62。这些成对设置的发光器61和受光器62形成覆盖分界区域的光幕。在光幕未被遮挡的情况下，发光器61发射的光信号能够被相应的受光器62接收。在光幕被遮挡的情况下，发光器61发射的光信号不能被相应的受光器62接收。因此，根据受光器62对光信号的接收情况，可以确定该分界区域是否被穿过。

购物信息检测传感器14，被配置为检测用户从摆放待售物品的售货设备中购买的物品信息。购物信息检测传感器14例如可以是重力传感器，图像传感器(设为第三图像传感器)，或者它们的组合。

重力传感器例如可以设置在售货设备的每层托盘的下方，从而检测托盘中的物品的重力信息。根据物品重力的变化情况可以识别物品。例如，如果某重力传感器检测到的待售物品重力减少，且该重力减少量与其所在托盘的各物品(或者，与该售货设备的各物品)中的某个物品a的重力符合，则认为物品a被拿走，用户想要购买物品a，可以将物品a添加到用户的虚拟购物车，以便进行结算。如果某重力传感器检测到的待售物品重力增加，且该重力增加量与该售货设备的各物品中的某个物品b的重力符合，则认为物品b被放回，用户不想购买物品b，可以将物品b从用户的虚拟购物车中删除。

第三图像传感器例如可以设置在售货设备中能够拍摄到物品取放情况的位置。对第三图像传感器拍摄的图像进行识别，以确定图像中的物品。例如，获取各个待售物品的图像特征，将待识别图像中的物品的图像特征与待售物品的图像特征进行相似性比较，相似度越高，则待识别图像中的物品是相应待售物品的可能性越大。例如，将待识别图像中的物品确定为相似度最高的待售物品。在一些实施例中，例如可以采用双卷积神经网络进行物品识别。待检测的图像输入第一双卷积神经网络，以检测图像中是否有物品，如果检测到物品，将物品区域裁剪下来，输入第二卷积神经网络，以检测具体是何种物品。此外，通过物品的多帧图像可以进一步跟踪该物品的轨迹，根据该轨迹可以确定该物品是用户想要购买的被拿走的物品，还是用户不想购买的被放回的物品。

此外，上述的物品重力识别和物品图像识别还可以结合起来。例如，比较重力识别的物品与图像识别的物品是否一致，如果一致，则物品识别结果的置信度比较高。如果图像识别结果中包括置信度差距较小的多个物品，但这些物品的重力可能不相同，此时可以结合重力的变化量，将图像识别结果中与重力变化量匹配的物品作为最终的识别结果。如果某重力变化量对应多个物品，但这些物品的图像可能不相同，此时可以结合图像识别结果，将重力识别结果中与图像识别结果匹配的物品作为最终的识别结果。

基于至少一个上述传感器12,13,14的检测信息，处理器11可以确定预定事件的发生，并可以进一步触发与该预定事件相关联的操作。

在一些实施例中，处理器11，被配置为基于购物区域入侵检测传感器12的检测信息确定用户进入或离开购物区域的事件的发生。

例如，基于各种购物区域入侵检测传感器12的检测信息可以确定购物区域是否被入侵，如果在某一时刻t1购物区域被某用户入侵，则认为在时刻t1发生用户进入购物区域的事件，如果在接下来的某一时刻t2购物区域被该用户入侵的行为消失，则认为在时刻t2发生用户离开购物区域的事件。

在一些实施例中，处理器11，被配置为基于分界区域穿过检测传感器13的检测信息确定分界区域被穿过的事件或者分界区域被穿过方向的事件的发生。

如前所述，基于第二图像传感器类型的传感器13的检测信息，可以确定分界区域被穿过的事件以及分界区域被穿过方向的事件的发生。基于对射工作方式的光电传感器60类型的传感器13的检测信息，可以确定分界区域被穿过的事件的发生。

在一些实施例中，根据业务要求，预定事件与操作的关联关系例如可以设置为：

1)用户进入购物区域的事件关联物品识别的操作，即用户进入购物区域的事件发生后，再进行物品识别的操作。从而，减小物品识别的计算量，提高物品识别速度。

如前所述，物品识别例如基于物品重力和物品图像中的至少一项实现，即基于物品重力实现的物品识别，基于物品图像实现的物品识别，基于物品重力和物品图像的结合实现的物品识别。这里及后续不再赘述具体的物品识别方法。

2)用户进入购物区域的事件关联缓存用来进行物品识别的感应信息的操作，即用户进入购物区域的事件发生后，再缓存用来进行物品识别的例如物品图像信息或物品重力信息等感应信息。从而，既能满足物品识别的需要，又能减小缓存的信息量。

3)用户离开购物区域的事件关联物品结算的操作，即用户离开购物区域的事件发生后，再执行物品结算的操作。

从而，使得售货业务场景下的结算操作顺利进行。一些相关技术，利用售货设备的门的关闭信号触发结算操作，会出现无法结算的异常情况。例如，用户购买商品后未关闭售货设备的门，或者，门锁由于一些机械或电气故障等原因不能正常关闭。

4)分界区域被穿过的事件关联物品识别的操作或者关联购买物品的添加或删除操作，即，分界区域被穿过的事件发生后，再执行物品识别的操作或者购买物品的添加或删除操作。

如前所述，分界区域是非常临近待售物品的区域，物品被拿走或被放回的图像密集地出现在分界区域被穿过的事件附近。因此，减小物品识别的计算量，提高物品识别速度。

5)分界区域被穿过方向的事件关联物品识别的操作或者关联购买物品的添加或删除操作。即，分界区域被穿过方向的事件发生后，再执行物品识别的操作或者购买物品的添加或删除操作。从而，减小物品识别的计算量，提高物品识别速度。

此外，以分界区域被穿过的事件的发生时刻为基础或以分界区域被穿过方向的事件的发生时刻为基础，调取预设范围内的物品图像，用于物品识别或者购买物品的添加或删除。例如，调取相关事件发生时刻前后预设时间范围内的物品图像，或者调取相关事件发生时刻前后预设帧数范围内的物品图像。从而，进一步减小物品识别的计算量。

此外，处理器11，被配置为基于购物区域入侵检测传感器12和分界区域穿过检测传感器13和购物信息检测传感器14中的至少一个的检测信息确定异常事件的发生，并触发该异常事件相关联的操作。

异常事件及其相关联的操作可以根据业务需要进行设置。异常事件及其相关联的操作有很多情况。这里列举一些示例。基于购物信息检测传感器14进行购买物品识别时，如果基于物品重力的物品识别结果与基于物品图像的物品识别结果不一致，说明发生物品识别异常事件，可以报警，请工作人员处理，或者，请购买用户手动选择购买的物品。或者，基于分界区域穿过检测传感器13的检测信息确定分界区域未被穿过，可以不进行物品识别，例如，不进行基于物品图像的物品识别，从而有效屏蔽由于图像误检或图像抖动等异常事件引起的误识别。基于购物区域入侵检测传感器12的检测信息识别有危险物品进入购物区域，可以报警。基于分界区域穿过检测传感器13的检测信息识别有危险物品放回售货设备时，可以报警。

图7示出本公开的应用于售货设备的售货方法一些实施例的流程示意图。

如图7所示，该实施例的方法70包括：步骤71～72。该方法例如可以由处理器11执行。

步骤71，获取购物区域是否被入侵的检测信息。

例如，处理器11接收并分析购物区域入侵检测传感器12传送的购物区域是否被入侵的检测信息，据此可以知道购物区域是否被入侵。

步骤72，获取待售物品摆放区域与其他区域的分界区域是否被穿过的检测信息。

例如，处理器11接收并分析分界区域穿过检测传感器13传送的分界区域是否被穿过的检测信息，据此可以知道分界区域是否被穿过以及穿过方向等信息。

步骤73，基于至少一个检测信息确定预定事件的发生。

如前所述，处理器11基于购物区域是否被入侵的检测信息，确定用户进入或离开购物区域的事件的发生，基于待售物品摆放区域与其他区域的分界区域是否被穿过的检测信息，确定分界区域被穿过的事件或者分界区域被穿过方向的事件的发生。

步骤74，触发与该预定事件相关联的操作，以便实现自动售货。

如前所述，处理器11例如可以根据预置的预定事件与操作的关联关系，执行事件相关联的操作。这些操作例如是物品识别，购买物品的添加或删除，结算等与售货相关的操作。

例如，在用户进入购物区域的事件发生的情况下，触发缓存用来进行物品识别的图像或重力等感应信息的操作。在用户离开购物区域的事件发生的情况下，触发物品结算的操作。在分界区域被穿过的事件发生的情况下，触发物品识别的操作。在分界区域被穿过方向的事件发生的情况下，触发物品识别的操作，以及购买物品的添加或删除的操作。如果分界区域被穿过方向是远离售货设备的方向，说明用户可能是从售货设备中拿走物品，可以执行购买物品的添加操作，如果分界区域被穿过方向是朝向售货设备的方向，说明用户可能是放回物品到售货设备中，可以执行购买物品的删除操作。

此外，在传感器的类型仅能确定分界区域被穿过，但无法确定分界区域被穿过方向的情况下，可以结合物品重力和物品图像中的至少一项确定拿走物品或放回物品的操作，基于确定的拿走物品或放回物品的操作，触发购买物品的添加或删除操作。

例如，分界区域被穿过，重力传感器检测到的待售物品重力减少，说明用户可能从售货设备中拿走物品，触发购买物品的添加操作，将被拿走的物品添加到用户的虚拟购物车中。分界区域被穿过，重力传感器检测到的待售物品重力增加，说明用户可能将物品放回售货设备，触发购买物品的删除操作，将被放回的物品从用户的虚拟购物车中删除。

例如，分界区域被穿过，且基于图像识别的物品轨迹的方向是远离售货设备的方向，说明用户可能是从售货设备中拿走物品，可以执行购买物品的添加操作，如果基于图像识别的物品轨迹的方向是朝向售货设备的方向，说明用户可能是放回物品到售货设备中，可以执行购买物品的删除操作。

此外，可以以分界区域被穿过的事件的发生时刻或分界区域被穿过方向的事件的发生时刻为基础，调取预设范围内的物品图像，基于调取的物品图像进行物品识别，或者，基于调取的物品图像结合物品重力进行物品识别。从而，进一步减小物品识别的计算量。

图8示出本公开的应用于售货设备的售货方法一些实施例的流程示意图。

如图8所示，该实施例的方法80包括：

步骤81，利用购物区域入侵检测传感器12的检测信息判断用户是否进入预设的购物区域，如果没有用户进入预设的购物区域，则继续执行本判断步骤，如果用户进入预设的购物区域，则可以执行步骤82。

步骤82，开始缓存购物信息检测传感器14的检测信息。

在购物信息检测传感器14是重力传感器的情况下，开始缓存物品重力检测信息，在购物信息检测传感器14是第三图像传感器的情况下，开始缓存物品图像检测信息等。

由于基于物品重力的物品识别所耗费的计算资源比较少，基于物品图像的物品识别所耗费的计算资源比较多，因此，步骤82之后可以直接执行步骤84a，当然也可以在步骤82之后继续执行步骤83，在分界区域被人手穿过的情况下，再执行步骤84a。后者相对前者能节省更多的计算资源。

步骤83，利用分界区域穿过检测传感器13的检测信息判断分界区域是否被人手穿过以及穿过方向等信息，如果分界区域被人手穿过，执行步骤84b，如果分界区域未被人手穿过，执行步骤85。

步骤84a，根据缓存的物品重力检测信息进行物品识别。基于物品重力的物品识别方法参考前述，这里不再赘述。

步骤84b，分界区域被人手穿过，说明用户即将对待售物品进行操作，例如，拿走待售物品，放回待售物品等，此时可以调取缓存的预设时间范围内的物品图像，基于调取的物品图像进行物品识别。

例如，如果人手穿过方向是接近售货设备的方向，说明可能放入物品，调取人手穿过分界区域的前B1秒和穿过分界区域的后A1秒的图像(B1>A1)，进行物品识别。如果人手穿过方向是远离售货设备的方向，说明可能拿走物品，调取人手穿过分界区域的前B2秒和穿过分界区域的后A2秒的图像(B2<A2)，进行物品识别。

由于只需要处理一定时间内的物品，可以提高物品识别速度，节省计算资源。

步骤85，对步骤83，84a和84b的各种识别结果进行融合。

一种示例性的融合方式为，如果分界区域未被穿过，不进行物品识别，例如，不进行基于物品图像的物品识别，从而有效屏蔽由于图像误检或图像抖动等异常事件引起的误识别。

再一种示例性的融合方式为，结合基于物品重力的物品识别结果和基于物品图像的物品识别结果综合确定物品识别结果。综合确定方法参考前述，这里不再赘述。

如果各种识别结果一致，例如，分界区域被穿过且重力识别方式和图像识别方式的物品识别结果一致，则将拿走的物品添加到虚拟购物车，或者，将放回的物品从虚拟购物车删除。

如果各种识别结果不一致，例如，重力识别方式和图像识别方式的物品识别结果不一致，标记为异常事件，并保存相关的图像或重力等检测信息以及识别信息等作为风险数据，以便后续进行风险控制。

基于多种传感器融合的物品识别方法，具有更强的鲁棒性，和准确性。

步骤86，利用购物区域入侵检测传感器12的检测信息判断用户是否离开预设的购物区域。如果没有离开预设的购物区域，继续进行上述的物品识别相关的步骤。如果离开预设的购物区域，执行步骤87。

步骤87，判断是否有异常事件，例如各种识别结果不一致的识别异常事件，或者，还可以是其他异常事件。

步骤88，如果有异常事件，可以按照异常事件对应的操作执行相应的处理。示例性的异常事件处理方式参考前述，这里不再赘述。

步骤89，如果没有异常事件，可以对虚拟购物车中的物品进行结算，完成本次售货过程。

基于购物区域是否被入侵的检测信息、待售物品摆放区域与其他区域的分界区域是否被穿过的检测信息，确定用户进入或离开购物区域、分界区域被穿过等购物相关事件的发生，结合检测的购物信息，触发相应的购物相关操作，以便实现自动售货。从而，改善自动售货业务中存在的结算异常、物品识别计算量大等的至少一个问题。

本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。