自动售货柜的制作方法

本实用新型涉及图像处理领域，尤其涉及一种具有商品识别功能的自动售货柜。

背景技术：

自动售货机(Vending Machine，VEM)是一种能根据投入的钱币自动付货的机器。图1示出了现有的自动售货机的例子。如图1所示，在售货机的显示屏幕上进行操作，输入商品号码和购买数量，并投入钱币后，售货机内的机械装置选取相应的商品并送入取货口，随后顾客就能够从取货口中取出相应的商品。

现有的自动售货机虽然售货相对方便，但至少具有如下问题。

首先，由于涉及复杂的机械结构和货币识别系统，并且作为多个功能集成的整体售卖，使得自动售货机造价高昂，不适于广泛地布置推广。其次，定制性高，售贩商品类型不够灵活。对于已出厂的自动售货机，如图 1所示，其上逐一容纳商品的货物格的大小和形状是固定的，因此其摆放货物的数量和类型都被严格限制，缺乏足够的灵活性。再次，用户缺乏足够的选择权。用户只能隔着货舱门观察商品，并且商品一旦被送入取货口则无法退换。

因此，需要一种成本更低，使用更为灵活的自动贩售装置。

技术实现要素：

有鉴于此，本发明提出了一种全新的自动售货柜，其通过向普通的分层货柜添加图像识别装置实现。具体地，通过深度相机确定货物所属的层，并基于常规相机拍摄的图像(优选为子图)确定顾客拿放的具体商品。由此，能够实现成本低廉、商品取放相对自由且识别准确的自动售货柜。

具体地，一种自动售货柜，包括：分层的货柜，所述货柜的不同层摆放不同的商品；深度相机，与所述货柜的分层隔板方向垂直或近似垂直布置，用于拍摄顾客拿取或放回商品的深度图像，以通过深度图像中的深度信息确定拿取或放回的商品所在的层；至少两个从不同角度拍摄的常规相机，用于拍摄顾客拿取或放回商品的常规图像，以通过常规图像中的所述拿取或放回的商品的像素和所在的层确定商品的类别；与所述深度相机和所述常规相机相连的结算装置，用于基于顾客拿取或放回的商品进行结算。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了现有的自动售货机的例子。

图2示出了根据本实用新型一个实施例的自动售货柜的组成图。

图3示出了深度相机布置的一个例子。

图4示出了图2所示立柜的侧视图

图5示出了根据本实用新型另一个实施例的自动售货柜的示意图。

图6A-6D示出了相机3_1和3_3的拍摄角度设置过程。

图7A-7D示出了相机3_2和3_4的拍摄角度设置过程。

图8A-8D示出了相机3_5的拍摄角度设置过程。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

由上可知，现有的如图1所示的自动售货机具有造价高昂、销售和购买商品不够灵活等问题。为此，本实用新型提出了一种全新的自动售货柜，该售货柜可由普通的货柜结合围绕货柜布置的图像识别系统构成，通过对用户自行从货柜中拿取商品或将商品放回行为的判断以及手持商品的识别，确认用户最终购买的商品并自动进行结算，由此方便售货方的商品放置，以及用户的自由购买。

图2示出了根据本实用新型一个实施例的自动售货柜的组成图。如图 1所示，本实用新型的自动售货柜100可以包括货柜1、深度相机2、至少两个常规相机3以及结算装置4。

可用于实现本实用新型的自动售货柜的货柜可以是具有分层的货柜。货柜具有分层，从而方便货物的摆放。与现有的自动售货机不同的是，本实用新型的货柜的各个层中无需包括用于逐个摆放每个商品的货物格，商品可以相对自由的摆放在货柜的各个层中，优选地，在售货商摆放商品时，可以相对固定地在不同的层内摆放不同的商品，由此方便如下结合深度信息对用户存取的商品的正确识别。

货柜可以是各种类型的货柜。例如，货柜可以是如图1所示的立柜，即，至少包括在垂直方向上的分层的柜子。立柜可以是如图1所示带门的冷柜，也可以是其他类型的货柜，例如超市中常见的上下分层的货柜，甚至可以是装订在墙上的分层搁架。货柜也可以是卧柜，例如常见的贩售冷饮的冰柜。卧柜至少包括水平方向上分层。在一个实施例中，用作本实用新型自动售货柜的货柜也可以是立柜和卧柜的结合，例如，大型超市中常见于乳制品货架的上部上下分层，下部突出并左右分隔的组合柜。

深度相机2与所述货柜的分层隔板方向垂直或近似垂直布置，用于拍摄顾客拿取或放回商品的深度图像，以通过深度图像中的深度信息确定拿取或放回的商品所在的层。在图2的例子中，相对于水平方向布置的分层隔板，深度相机垂直或近似垂直布置，即，深度相机的镜头方向与水平方向相对垂直的朝向下。优选地，所述深度相机的镜头朝向斜下方布置，并且与垂直轴的夹角小于30°。图3示出了深度相机布置的一个例子。如图 3所示，深度相机2可被布置在位于货柜1顶部的显示器7的外壳内(显示装置随后将结合图5详述)，镜头朝向斜下方布置，与垂直轴的夹角为 20°，并且显示器外壳的底部区域具有用于所述深度相机向下进行拍摄的开口，如图所示的45mm宽的开口。

深度相机2的镜头朝向与所述货柜的分层方向垂直或近似垂直的方向向外布置，以使其成像范围覆盖所述货柜外部拿取或放回商品时的顾客手的活动范围。图4示出了图2所示立柜的侧视图，图中灰色部分显示正对货架前部的区域，也就是顾客自行拿取或放回商品时，用户的手所必然经过的区域。深度相机2的镜头朝向与成像范围相配合，以确保能够对上述拍摄区域进行深度测量。在一个实施例中，深度相机2优选为深度摄像机或是能够快速拍摄多幅深度图像的相机，由此，能够从接连拍摄的图像确认手部的运动轨迹判断顾客是从货柜拿取还是将商品放回货柜。

至少两个从不同角度拍摄的常规相机3可用于拍摄顾客拿取或放回商品的常规图像，以通过常规图像中的拿取或放回的商品的像素和所在的层确定商品的类别。常规相机的图像拍摄可以与深度相机的图像拍摄结合使用。例如，深度相机和常规相机可以同时拍摄用户用手取出商品的深度图像和常规图像，其中，通过深度图像提取深度信息以确定用户拿取商品所在的货架层，并且可以通过深度信息快速定位手的位置。随后，常规图像中针对手持商品的小图可被相应提取以进行图像识别，从而有助于以更小的计算量和更快的反馈速度确定顾客拿取或放回商品的类别。优选地，在货柜的每一层都存放有不同类型的商品，由此，进行图像识别的范围将限定在一个更小的范围内，从而能够更为准确快速的进行商品类型的识别。

优选地，上述常规相机是彩色相机，其拍摄的常规图像是彩色图像，由此能够通过包含彩色信息而进一步方便对商品的正确识别。

结算装置4与深度相机2和常规相机3相连的，用于基于顾客拿取或放回的商品进行结算。如图2所示，结算装置4可以包括用于动态显示顾客购买商品信息的显示器。进一步地，结算装置4还可以包括允许顾客进行付款或是身份识别的装置。在一个实施例中，结算装置4可以包括用于拍摄顾客人脸以进行身份识别和/或账户绑定的相机。在另一个实施例中，结算装置4可以包括用于扫描顾客提供的识别码以进行网络支付和/或身份识别的扫描装置。货柜1可以相应地包括带锁的柜门，并且所述柜门在所述身份识别之后自动解锁。例如，顾客可以首先进行人脸识别拍摄，自动售货柜在识别出人脸以进行身份识别之后，可以将柜门解锁。于是顾客可以从货柜中取出心仪的商品。自动售货机识别上述商品。随后，例如可以以自动售货机检测到柜门关闭(例如，持续三秒)作为顾客拿取商品行为的结束。此时，可将柜门再次上锁。由于用户身份已被识别，因此可以直接从与该身份相关联的账户中进行扣款，从而完成交易。另举一例，在从货柜中取出商品之前或之后(取决于不同的信任政策，例如同样可以与柜门解锁相关联)，顾客可以使用手机出示支付宝或微信付款码(条形码或者二维码)，并将其对准结算装置的红外扫描窗，由此完成身份验证和 /或网络支付。另外，可以理解的是，虽然图2示出了结算装置4与货柜1 相连的连线，但实际上该结算装置4例如可以与引线到冷柜后部的各相机相连。

在一个实施例中，本实用新型的自动售货机还可以包括与深度相机2 有线或无线相连的深度信息求取装置，用于从所述深度相机获取的深度图像中求取拿取或放回商品和/或顾客的手的深度信息。在另一个实施例中，本实用新型的自动售货机还可以包括与深度信息求取装置和常规相机3有线或无线相连的图像识别装置，用于从拿取或放回的商品的像素中识别所述商品的类别。优选地，深度相机2和常规相机3与深度信息求取装置有线连接，图像识别装置是与所述深度信息求取装置无线连接的云端图像识别服务器，例如，接收上传的包含商品的小图并进行在线识别，并实时地将识别结果返回给结算装置4。

在一个实施例中，深度信息求取装置可以是主板，并且结算装置4与其有线或无线连接。具体地，主板可以与深度相机2、常规相机3和结算装置4有线连接，用于针对深度图像进行所需对象的深度信息求取，并将从常规图像中提取的小图发送给云端识别服务器。进一步地，该主板还可用于柜门门锁的开关。结算装置4可以自行带有嵌入式处理器，以完成例如身份识别、结算和支付所需的计算。

当相机被安装在带有门的封闭式货柜中，例如，冷柜和冰柜中时，当柜门打开外部热空气进入时，空间中的水汽会由于接触冰冷的镜头而结雾。雾气会妨碍相机的正常成像。因此，在一个实施例中，深度相机和常规相机可以各自包括防雾装置，例如，可以是热阻丝；或是LED照明装置，即，LED在起到照明作用的同时，还可以通过其自发热的性质用来防雾。

在一个实施例中，至少两个所述常规相机包括朝向相对方向布置且位于不同层的多个常规相机，所述多个常规相机的镜头相对于所述货柜略朝外布置，以使其成像范围的总和覆盖所述货柜外部拿取或放回商品时的顾客手的活动范围。如图2所示，两个常规相机分别布置在冰柜的上部和下部，并且一个朝向右下方，一个朝向左上方布置，以使两者的成像范围的总和能够覆盖货柜外部拿取或放回商品时的顾客手的活动范围，例如图4 所示的灰色区域。

在一个实施例中，至少两个所述常规相机包括至少三个不完全布置在同一层的相机。至少两个常规相机包括分别布置在上部层和下部层的两对常规相机，每对常规相机在同一层相对布置并且镜头相对朝向斜下方布置。由此进一步确保对商品的准确拍摄。进一步地，至少两个常规相机还包括：布置在所述立柜下部的一个常规相机，所述常规相机的镜头朝向斜上方布置。在顾客手型较大遮住商品的一个方向上，从上向下拍摄的相机能够确保对足够商品信息的获取。图5示出了根据本实用新型另一个实施例的自动售货柜的示意图。如图5所示，冷柜识别系统可以包括布置在冷柜顶部的一个深度相机以及布置在冷柜侧部的五个常规相机，例如，常规彩色相机3_1～3_5。

如图5所示，本实用新型的自动售货柜还可以包括显示装置5。该显示装置5例如可以与主板相连，用于动态显示所述货柜内的商品内容或投放的商业推荐内容；或者，该显示装置5可以独立显示(例如，通过插入的USB设备)货柜内的商品或是投放的商业推荐内容，例如广告。此时，深度相机2可以如图3所示布置在位于货柜1顶部的显示器7的外壳内，镜头朝向斜下方布置，与垂直轴的夹角为20°，并且通过显示器外壳的底部区域的开口进行拍摄。

常规彩色相机3_1～3_5可以基于货柜的尺寸，具有优选的布置角度。如下将结合图6-8描述对常规彩色相机3_1～3_5镜头拍摄角度的具体设置例子。

图6A-6D示出了相机3_1和3_3的拍摄角度设置过程。图中的XYZ 坐标系为摄像头的右手坐标系。假设摄像头初始位置如图6A所示为XY 平面与冷柜前面平行，Z垂直指向冷柜外方向；随后在图6B，绕Z轴旋逆时针转90°，由此使得视野的宽边纵向监测，使垂直方向监测区域更大；在图6C，绕X轴逆时针旋转56°；随后在图6D，绕Y轴顺时针旋转45°，摄像头视野朝向斜右下方。

图7A-7D示出了相机3_2和3_4的拍摄角度设置过程。针对相机3_2 和3_4的拍摄角度设置可以看作是如上针对相机3_1和3_3的拍摄角度设置的镜像操作。假设摄像头初始位置如图7A所示为XY平面与冷柜前面平行，Z垂直指向冷柜外方向；随后在图7B，绕Z轴旋顺时针转90°，由此使得视野的宽边纵向监测，使垂直方向监测区域更大；在图7C，绕X轴逆时针旋转56°；随后在图7D，绕Y轴逆时针旋转45°，摄像头视野朝向斜左下方。

图8A-8D示出了相机3_5的拍摄角度设置过程。假设摄像头初始位置如图8A所示为XY平面与冷柜前面平行，Z垂直指向冷柜外方向；随后在图8B，绕Z轴旋顺时针转90°，由此使得视野的宽边纵向监测，使垂直方向监测区域更大；在图8C，绕X轴逆时针旋转56°；随后在图8D，绕 Y轴顺时针旋转45°，摄像头视野朝向斜左上方。

由此，常规相机3_1～3_5通过拍摄角度的合理设置，能够充分覆盖图 4所示的拍摄区域，从而实现对手持商品的准确拍摄。应该理解的是，在图5的示例中，深度相机2和5个常规相机可以同时进行拍摄，并且根据获取的深度信息确定将针对哪个常规相机拍摄的商品子图进行图像识别处理。

上文中已经参考附图详细描述了根据本实用新型的自动售货机及其优选实施例。

以上已经描述了本实用新型的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。