本发明实施例涉及电子设备技术领域，特别涉及一种自动售货装置及方法。
背景技术：
随着科技的发展，供人们选择的购物方式越来越多，其中，不受时间、地点限制的自动售货装置提供的自助购物的方式极大地的便利了人们的生活。
现有的自动售货装置，柜体上连接于柜门的一侧内壁上，设置有非广角镜头的摄像头，以拍摄用户从货架将货品取出到柜体外的取货图像，从而根据该取货图像实现货品的识别，以完成支付交易。然而，发明人发现现有技术中至少存在如下问题：当用户取出的货品体积较小时，手掌遮盖了货品表面的大部分面积，现有的自动售货装置拍摄的取货图像中，大多数没有露出货品本身的标志，只能看到用户的手，从而对体积较小的货品较难识别，导致识别率较低。
技术实现要素：
本发明实施方式的目的在于提供一种自动售货装置，大大提高了较小体积的被取货品的识别率，提高了被取货品的识别准确度。
为解决上述技术问题，本发明的实施方式提供了一种自动售货装置，包括：控制器、柜体、至少一柜门以及至少一摄像头模组；所述柜体包括至少一货架且用于放置货品，所述柜门与所述摄像头模组是数量相等且一一对应；所述柜门连接于所述柜体，当所述柜门被锁定时，禁止用户从所述货架上取货，当所述柜门被解锁时，供用户从所述货架上取货；所述摄像头模组包括至少一个第一摄像头与至少两个第二摄像头；所述第一摄像头安装在所述柜体内且所述第一摄像头的拍摄区域至少覆盖位于所述货架上的货品；所述第二摄像头安装在所述柜体的内壁，所述控制器用于在检测到用户的访问命令时，解锁所述柜门并启动所述摄像头模组；所述控制器还用于通过所述第一摄像头捕捉所述用户在所述货架上选取所述货品的选货图像，所述控制器还用于通过所述第二摄像头捕捉所述用户从所述货架将所述货品取出到所述柜体外的取货图像，并至少根据所述选货图像与所述取货图像、所述用户绑定的支付账户完成支付交易。
本发明的实施方式还提供了一种自动售货方法，应用于自动售货装置，所述自动售货装置包括：控制器、柜体、至少一柜门以及至少一摄像头模组，所述柜体包括至少一货架且用于放置货品，所述柜门与所述摄像头模组是数量相等且一一对应，所述摄像头模组包括至少一个第一摄像头与至少两个第二摄像头；所述自动售货方法包括：接收到用户对所述柜门的访问命令时，解锁所述柜门且启动所述摄像头模组；通过所述第一摄像头捕捉所述货架上的多帧选货图像，且通过所述第二摄像头捕捉所述柜门处的多帧取货图像；从多帧所述选货图像与多帧所述取货图像中识别是否存在被取货品的货品图像；若识别出存在所述货品图像，根据所述货品图像获取所述被取货品的货品信息；检测所述柜门是否被锁定；若所述柜门被锁定，至少根据所述货品信息与所述用户绑定的支付账户完成支付交易。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的自动售货方法。
本发明实施方式相对于现有技术而言，自动售货装置包括至少一摄像头模组，且该摄像头模组中包括至少一第一摄像头与至少两个第二摄像头，第一摄像头安装在柜体内且第一摄像头的拍摄区域至少覆盖位于货架上的货品，第二摄像头安装在柜体的内壁，替代了现有技术中仅通过一侧内壁上的摄像头获取取货图像的方案，通过第一摄像头捕捉用户在货架上选取货品的选货图像，从而通过第一摄像头拍摄的选货图像和第二摄像头拍摄的取货图像实现对被取货品的识别，大大提高了较小体积的被取货品的识别率，提高了被取货品的识别准确度。
另外，所述货架包括多个子货架；多个所述子货架依次层叠设置；所述第一摄像头的数量与所述子货架的数量相等；其中一个所述第一摄像头设置在所述柜体的顶壁，且其中一个所述第一摄像头的拍摄区域至少覆盖位于顶层的所述子货架上的货品。其他每一个所述第一摄像头设置在所述子货架的底部，且其他每一个所述第一摄像头的拍摄区域至少覆盖位于下一层所述子货架上的货品。本实施例中，每层子货架上的货品都能够被对应的第一摄像头拍摄到，从而使得用户在任意一层子货架上选货时，都能够被对应的第一摄像头拍摄到选货图像，提高了选货图像的完整性。
另外，柜门的数量为两扇；两扇所述柜门分别位于所述柜体的立柱的两侧；第一扇所述柜门的一个侧边可旋转地连接于所述柜体的一个内壁，第二扇所述柜门的一个侧边可旋转地连接于所述柜体的另一个内壁；当所述柜门被锁定时，第一扇所述柜门的另一个侧边和第二扇所述柜门的另一个侧边均锁定在所述立柱上以禁止用户从所述货架上取货，当其中一扇所述柜门被解锁时，被解锁的所述柜门能够被打开以供用户从所述货架上取货。本实施例中，当柜门的数量为两扇时，提供了柜体的一种类型。
另外，还包括自动闭门器；所述自动闭门器设置在所述柜体上且固定连接于每扇所述柜门；所述控制器用于检测到所述用户的手离开所述柜门时，通过所述自动闭门器关闭所述柜门。本实施例中，使得柜门离开用户的拉拽后，能够自动关闭，避免出现柜门因用户不进行关门操作而无法锁定的情况。
另外，多帧所述第一图像与所述第二图像均按照捕获时间依次排列；所述从多帧所述选货图像与所述取货图像中识别是否存在被取货品的货品图像，具体包括：将多帧所述选货图像中的第一帧所述选货图像与最后一帧所述选货图像进行对比，生成第一识别结果；从多帧所述取货图像中获取所述用户的手从所述柜体伸出的后N帧所述取货图像；N为大于零的自然数；将后N帧所述取货图像与预设图像进行对比，生成第二识别结果；从所述第一识别结果与所述第二识别结果中判断是否存在所述被取货品的货品图像。本实施例中，
另外，所述自动售货装置还包括多个重力传感器；多个所述重力传感器设置在所述货架的底部；所述根据所述货品图像获取所述被取货品的货品信息之前，还包括：通过多个所述重力传感器检测所述货架的重量变化信息；所述至少根据所述货品信息与所述用户绑定的支付账户完成支付交易，具体为：至少根据所述重量变化信息、所述货品信息及所述用户绑定的支付账户完成支付交易。本实施例中，
另外，若检测到所述未被锁定，当预设时长到达时，进入所述至少根据所述货品信息与所述用户绑定的支付账户完成支付交易。本实施例中，
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据第一实施方式的自动售货装置的方框示意图；
图2是根据第一实施方式的自动售货装置的正面结构示意图；
图3是根据第一实施方式的自动售货装置的侧面结构示意图；
图4是根据第一实施方式的自动售货装置中其中一个第二摄像头的示意图；
图5是根据第二实施方式的自动售货方法的具体流程图；
图6是根据第三实施方式的自动售货方法的具体流程图；
图7是根据第四实施方式的自动售货方法的具体流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种自动售货装置，如图1至3所示，包括：控制器1、柜体2、至少一柜门3以及至少一摄像头模组。
本实施方式中，柜体2包括至少一货架21且用于放置货品22，柜门3与摄像头模组是数量相等且一一对应；柜门3连接于柜体2，当柜门3被锁定时，禁止用户从货架21上取货，当柜门3被解锁时，供用户从货架21上取货。
本实施方式中，摄像头模组包括至少一个第一摄像头41(图中以一个为例)与至少两个第二摄像头42；第一摄像头41安装在柜体2内且第一摄像头41的拍摄区域至少覆盖位于货架21上的货品；第二摄像头42安装在柜体2的内壁。
本实施方式中，控制器用于在检测到用户的访问命令时，解锁柜门3并启动摄像头模组；控制器1还用于通过第一摄像头41捕捉用户在货架21上选取货品22的选货图像，控制器1还用于通过第二摄像头42捕捉用户从货架21将货品22取出到柜体2外的取货图像，并至少根据选货图像与取货图像、用户绑定的支付账户完成支付交易。
本实施方式相对于现有技术而言，自动售货装置包括至少一摄像头模组，且该摄像头模组中包括至少一第一摄像头与至少两个第二摄像头，第一摄像头安装在柜体内且第一摄像头的拍摄区域至少覆盖位于货架上的货品，第二摄像头安装在柜体的内壁，替代了现有技术中仅通过一侧内壁上的摄像头获取取货图像的方案，通过第一摄像头捕捉用户在货架上选取货品的选货图像，从而通过第一摄像头拍摄的选货图像和第二摄像头拍摄的取货图像实现对被取货品的识别，大大提高了较小体积的被取货品的识别率。
下面对本实施方式的自动售货装置的结构细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
在一个例子中，柜门3的数量为一扇，第一摄像头41的数量为一个，第二摄像头42的数量为两个。第一摄像头41安装在柜体2的顶壁内且拍摄区域覆盖货架21上的货品；一个第二摄像头42安装在柜体一侧内壁的顶端，(如图4所示)另一个第二摄像头42安装在柜体的一侧内壁的中部且镜头朝向柜体底端，第二摄像头42的主光轴与立柱23之间的夹角A大于或等于45度且小于或等于55度。本实施例中，当第一摄像头41的数量为一个且第二摄像头42的数量为两个时，提供了第一摄像头41与第二摄像头42的安装位置。第二摄像头42的安装角度设计；然这里只是示例性说明，本实施例对第一摄像头41的数量与第二摄像头42的数量不作任何限制。
在一个例子中，第二摄像头42的拍摄角度大于或等于16度且小于或等于49度；例如第二摄像头42的拍摄角度为32度，然实际中不限于此，本实施例对第二摄像头42的拍摄角度不作任何限制。
在一个例子中，货架21中包括一层子货架，第一摄像头41安装在柜体2内，且第一摄像头41在子货架上的投影位于子货架的中心，以便于覆盖位于子货架上的货品22；然这里只是示例性说明，实际中不限于此。
在另一个例子中，如图2所示，货架21包括多个子货架211；多个子货架211依次层叠设置；第一摄像头41的数量与子货架211的数量相等；其中一个第一摄像头41设置在柜体2的顶壁，且其中一个第一摄像头41的拍摄区域至少覆盖位于顶层的子货架211上的货品22。其他每一个第一摄像头41设置在子货架211的底部，且其他每一个第一摄像头41的拍摄区域至少覆盖位于下一层子货架211上的货品22；本实施例中，每层子货架211上的货品22都能够被对应的第一摄像头41拍摄到，从而使得用户在任意一层子货架211上选货时，都能够被对应的第一摄像头拍摄到选货图像，提高了选货图像的完整性，然这里只是示例性说明，实际中不限于此。
在一个例子中，柜门3的数量为两扇；两扇柜门3分别位于柜体2的立柱23的两侧；第一扇柜门3的一个侧边可旋转地连接于柜体2的一个内壁，第二扇柜门3的一个侧边可旋转地连接于柜体3的另一个内壁；当柜门3被锁定时，第一扇柜门3的另一个侧边和第二扇柜门3的另一个侧边均锁定在立柱23上以禁止用户从货架21上取货，当其中一扇柜门3被解锁时，被解锁的柜门3能够被打开以供用户从货架21上取货；然这里只是例行说明，本实施例对柜门3的数量不作任何限制，例如柜门3的数量可以为两扇。
在一个例子中，控制器1至少包括中央处理器与图形处理器，中央处理器用于处理数据，图形处理器用于处理取货图像；然实际中不限于此。
本实施方式中，自动售货装置还包括固定在柜体2上的监控摄像头5，监控摄像头5连接于控制器1，监控摄像头5用于记录自动售货装置附近的图像，以提供有效参考数据。
实际上，本实施方式中，柜体2上设有能够锁定柜门3的门锁6，当柜门3被锁定时，禁止用户打开柜门3从货架21上取货；当柜门3被解锁时，用户可以打开柜门3从货架21上取货。
实际上，本实施方式中，自动售货装置还包括照明装置7，例如LED灯带，照明装置7固定在柜体2的一个侧内壁上，以根据外界环境亮度为第一摄像头41与第二摄像头42提供合适的亮度拍摄环境。
在一个例子中，自动售货装置包括四个重力传感器8，四个重力传感器8分别设置在货架21的底部的四个角上，且用于检测货架21的重量变化信息。其中，在柜门3从解锁到被锁定期间，当若干个重力传感器8检测到货架21的重量减小时，则表示用户从货架21上取出了货品22；当若干个重力传感器8检测到货架21的重量不存在变化时，则表示用户未从货架21上取出货品22。控制器1具体用于根据重量变化信息与取货图像、用户绑定的支付账户完成支付交易。本实施例中，在货架21的底部设置了重力传感器8来检测货架21的重量变化信息，使得自动售货装置能够结合重量变化信息与取货图像共同判断被取出的货品22，从而提高了判断用户是否取出货品22的准确度。
在一个例子中，货品22可以为瓶装饮料、罐装饮料；然实际中不限于此，本实施例对货品22的具体类型不作任何限制，例如货品22为零食(例如酸奶、方便面)、生活用品(例如洗衣液)。
较佳的，本实施方式中，自动售货装置还包括自动闭门器；所述自动闭门器设置在所述柜体2上且固定连接于每扇柜门；控制器用于检测到用户的手离开柜门时，通过自动闭门器关闭柜门。本实施例中，使得柜门离开用户的拉拽后，能够自动关闭，避免出现柜门因用户不进行关门操作而无法锁定的情况。
本发明的第二实施方式涉及一种自动售货方法，应用于自动售货装置，自动售货装置包括：控制器、柜体、至少一柜门以及至少一摄像头模组，柜体包括至少一货架且用于放置货品，柜门与摄像头模组是数量相等且一一对应，摄像头模组包括至少一个第一摄像头与至少两个第二摄像头。如图5所示，自动售货方法包括：
步骤101，接收到用户对柜门的访问命令时，解锁柜门且启动摄像头模组。
在一个例子中，用户可以通过柜体上的信息输入设备访问柜门，控制器通过信息输入设备接收到该访问命令时，解锁该柜门且启动摄像头模组中的第一摄像头与第二摄像头；然本实施例对用户访问柜门的访问方式不作任何限制。
在另一个例子中，用户通过移动终端(例如手机)、柜体上的识别码(例如二维码)、连接于控制器的云服务器访问柜门；具体而言，用户通过移动终端扫描识别码，并发送访问信息至云服务器，云服务器对该访问信息验证通过后发送访问命令至控制器，从而控制器根据该访问命令执行相应操作；然这里只是示例性说明，本实施例对用户访问柜门的访问方式不作任何限制。
步骤102，通过第一摄像头捕捉货架上的多帧选货图像，且通过第二摄像头捕捉柜门处的多帧取货图像。
本实施方式中，控制器与第一摄像头、第二摄像头通信连接，从而分别获取多帧选货图像与多帧取货图像。
步骤103，从多帧选货图像与多帧取货图像中识别是否存在被取货品的货品图像；若是，进入步骤104，否则后进入步骤105。
本实施方式中，提前储存训练的选货图像模型与取货图像模型，例如采用深度学习法进行训练(然不限于此)，然后将多帧选货图像与选货模型进行对比，从而识别出是否存在被取货品的货品图像；将多帧取货图像与取货图像模型进行对比，从而识别出是否存在被取货品的货品图像；然这里只是示例性说明，本实施例对货品图像的识别方式不作任何限制。
步骤104，根据货品图像获取被取货品的货品信息。
本实施方式中，提前预存了每种货品的货品信息，货品信息至少包括货品的售价。
在一个例子中，根据货品图像获取该货品的标识，从而根据该标识、标识与货品信息的预设对应关系，来获取该货品的货品信息；然这里只是示例性说明，本实施例对货品信息的获取方式不作任何限制。
步骤105，检测柜门是否被锁定；若是，进入步骤106，否则进入步骤102。
本实施方式中，当用户关闭柜门时，门锁自动锁定柜门，当控制器1检测到柜门被锁定时，则说明用户取货完毕，进入步骤106；否则，则说明用户尚未取货完毕，回到步骤102，继续通过摄像模组捕捉用户的选货图像与取货图像。
步骤106，至少根据货品信息与用户绑定的支付账户完成支付交易。
本实施方式中，当用户访问柜门时候，控制器根据该访问命令获取用户绑定的支付账户、根据货品信息，实现支付交易。
本发明的实施例相对于现有技术而言，接收到用户的访问命令时，通过启动与该柜门对应的第一摄像头与第二摄像头，分别获取用户在货架上的选货图像与用户将货品从货架上取出至柜体外的取货图像，且从选货图像与取货图像中识别被取货品，替代了现有技术中仅通过取货图像识别被取货品的方案，大大提高了被取货品的识别率，尤其对于体积较小的被取货品而言，提高了体积较小的被取货品的识别概率。
下面对本实施方式的自动售货装置的结构细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
较佳的，本实施方式中，当检测到柜门未被锁定时，检测预设时长是否达到，当检测到预设时长到达时，进入至少根据货品信息与用户绑定的支付账户完成支付交易的步骤；本实施例中，考虑到有些用户可能取到自己想要购买的货品后，不一定会主动关门(或门没有关好)，此时门没有锁定，因此若在预设时长内检测到门未被锁定，就执行扣款操作，避免发生因柜门没有锁定而无法扣款的情况。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明的第三实施方式涉及一种自动售货方法。第三实施方式在第二实施方式的基础上进行改进，主要改进之处在于，在本发明第三实施方式中，提供了货品图像的一种识别方式。
本实施方式的自动售货方法如图6所示，本实施方式的步骤201至206与第一实施方式中的步骤101至106对应相同，在此不再赘述，本实施方式的步骤203包括以下子步骤：
子步骤2031，将多帧选货图像中的第一帧选货图像与最后一帧选货图像进行对比，生成第一识别结果。
本实施方式中，多帧第一图像与第二图像均按照捕获时间依次排列。第一帧选货图像，通常是该货架上较为初始的图像(即货品还未被取出的图像)，最后一帧选货图像通常为该货架上被取货品被取出后的图像，因此，将这两帧图像进行对比，从而能够对比出被取的货品以生成第一识别结果。
子步骤2032，从多帧取货图像中获取用户的手从柜体伸出的后N帧取货图像。
本实施方式中，取货图像至少包括用户将货品从货架取出且手从柜体伸出时刻的图像(即包括前N帧图像与后N帧图像，N为大于零的自然数)，还可能包括用户拿到货品后在手中观看的时长中拍摄到的无被取货品的图像；因此，为了确保取货图像中存在被取货品的图像，从多帧取货图像中获取用户的手从柜体伸出的后N帧图像，由于后N帧图像中存在的被取货品最大概率是用户要购买的货品，因此，从后N帧取货图像中识别被取货品，大大减小了数据处理的负担，且提高了识别速度。
子步骤2033，将后N帧取货图像与预设图像进行对比，生成第二识别结果；
本实施方式中，预设图像为提前储存训练的取货图像模型，将后N帧取货图像与预设图像进行对比，生成第二识别结果。
子步骤2034，从第一识别结果与第二识别结果中判断是否存在被取货品的货品图像；若是，进入步骤204，否则进入步骤205。
本实施方式中，根据第一识别结果与第二识别结果判断是否存在被取货品的取货图像。
本实施方式相对于第二实施方式而言，根据多帧选货图像中的第一帧选货图像与最后一帧选货图像生成第一识别结果，根据用户的手从柜体伸出后的后N帧取货图像与预设图像生成第二识别结果，从而根据第一识别结果与第二识别结果判断是否存在被取货品的货品图像；即提供了识别被取货品的货品图像的一种具体实现方式。
本发明的第四实施方式涉及一种自动售货方法。第四实施方式在第三实施方式的基础上进行改进，主要改进之处在于，在本发明第四实施方式中，还通过重力传感器检测货架的重量变化信息。
本实施方式的自动售货方法如图7所示，本实施方式的步骤301、302、304至307与第一实施方式中的步骤101、102、103至106对应相同，在此不再赘述，本实施方式新增了以下步骤：
步骤303，通过多个重力传感器检测货架的重量变化值。
本实施方式中，自动售货装置还包括多个重力传感器，多个重力传感器设置在货架的底部。
在一个例子中，在柜门从解锁到被锁定期间，当多个重力传感器检测到货架的重量变化值减小时，则表示用户从货架上取出了货品；当多个重力传感器检测到货架的重量变化值为零时，则表示用户未从货架上取出货品；然这里只是示例性
较佳的，本实施方式中，控制器中提前预存了货品的最低预设阈值，然后将检测到货架的重量变化值与最低预设阈值进行比较生成比较结果；若比较结果为重量变化值大于或等于最低阈值，则得出认为存在该货品被取出的比较结果；若比较结果为变化值小于最低阈值，则得出认为为误判的比较结果。并且步骤至少根据取货图像与用户绑定的支付账户完成支付交易，具体为：至少根据比较结果、取货图像与用户绑定的支付账户完成支付交易。
较佳的，本实施方式中，当从选货图像与取货图像中被取货品的识别率较低(例如低于一个预设识别率)，则可通过重量变化值来辅助识别被取货品；即控制器中提前预存了每种货品的重量值，将重量传感器检测到的重量变化值与可能被取货品的重量值进行比较，从而判断出被取货品。
其中，至少根据货品信息与用户绑定的支付账户完成支付交易，具体为：
步骤307，至少根据重量变化值、货品信息及用户绑定的支付账户完成支付交易。
实际上，本实施方式也可以为在第二实施方式的基础上的改进方案。
本发明的实施例相对于第三实施方式而言，在货架的底部设置了重力传感器来检测货架的重量变化值，使得自动售货装置能够结合重量变化值与取货图像共同判断被取出的货品，从而提高了判断用户是否取出货品的准确度。
本发明第五实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述第二实施方式至第四实施方式中任一自动售货方法。
本发明的实施方式相对于现有技术而言，本发明的实施例相对于现有技术而言，接收到用户的访问命令时，通过启动与该柜门对应的第一摄像头与第二摄像头，分别获取用户在货架上的选货图像与用户将货品从货架上取出至柜体外的取货图像，且从选货图像与取货图像中识别被取货品，替代了现有技术中仅通过取货图像识别被取货品的方案，大大提高了被取货品的识别率，尤其对于体积较小的被取货品而言，提高了体积较小的被取货品的识别概率。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。