本发明涉及一种基于视觉识别和重量感应技术的智能商品结算系统及结算方法，主要用于无人或少人值守的购物系统中商品的结算。
背景技术：
目前在线下商品流通领域，传统的结算方式是通过人工扫面商品条形码进行商品的汇总结算，这种传统的结算方式在人流量大的诸如商超、便利店等地，由于是通过人机共同完成商品的汇总结算因此在结算效率上比较低下，往往消费用户需要排比较长时间的队，占用了大量的用户时间，为用户带来了一定的不便，同时增加收银台数量也间接的增加了零售商的人工、设备等固定经营成本，降低了企业效益。同时随着移动支付技术的不断发展，虽然在收银环节大大减少了用户现金支付的找零付款支付时间成本，但是未从根本上解决当前零售商超在收银支付环节的便利性问题。
技术实现要素：
为了解决现有技术存在的上述问题，本发明的目的就是提供一种基于机器视觉识别技术和重力感应的智能商品结算系统及商品识别结算交易方法。
本发明的技术方案是：一种基于视觉识别和重量感应技术的智能商品结算台，其特征在于，包括本地数据处理单元、摄像头、重量感应组件、生物信息采集模块、触摸显示屏、远程服务器和语音模块，摄像头、重量感应组件、生物信息采集模块、触摸显示屏和语音模块均与本地数据处理单元连接，本地数据处理单元还通过有线或无线网络与远程服务器建立通信连接。
所述的本地数据处理单元包括微型电脑、工作站或者嵌入式控制主板；所述摄像头用于采集重量感应台上商品的图像数据；所述重量感应组件用来获取台面上商品的重量数据；所述生物采集模块用于获取用户生物特征信息；所述的触摸显示屏用于账单的操作和显示；所述的远程服务器用于远程数据处理，所述数据包含各品类商品对应的重量数据列表、手脉特征数据库，同时作为包括商品销售数据、库存、会员数据的管理；所述本地数据处理单元用于该结算台个分系统的控制，进一步的亦可用于图像识别和本地数据管理；所述远程服务器用于远程数据管理或图像识别；所述语音模块用于在用户账单结算环节过程中对用户操作提示。
该触摸显示屏用于购物账单的操作，内容包括：结算、返回、重试、撤销和继续结算的功能按钮；所述的账单包括：商品类别、数量、单价和总价。
该结算台包括主台体，在该主台体的上面的台面上设有重量感应组件，在该台面的两侧分别设有置物台和置物台，在置物台的上方设有购物袋支架，该置物台用于放置用户预结算商品，该置物台用于放置已结算商品；在台面的后部上面的箱体上正面设有生物信息采集模块和触摸显示屏，在触摸显示屏的顶部设有摄像头和照明灯；所述的本地数据处理单元、语音模块均安装在该箱体或主台体的内部。
所述生物采集模块包括手脉信息采集模块、人脸信息采集模块或/和指纹信息采集模块。
在所述的主台体的台面内的重量感应组件设有充消磁器装置；并在商品表面贴有防盗磁贴，当用户将商品放置于重量感应组件后，该充消磁组件对商品防盗磁贴消磁。
一种利用所述的基于视觉识别及重量感应技术的智能商品结算系统所进行的结算方法，其特征在于，该商品结算方法包含以下步骤：
s1、用户注册：通过授权的生物采集终端，采集用户生物特征信息，同时绑定用户支付账户，完成用户个人生物电子支付账户的注册；
s2、用户购物选购完成后将商品整齐码放于所述重量感应台，结算台自动启动重量感应台和摄像头，获取商品图像数据和重量数据，并生成账单；
s3、用户结算：所述用户够买的所有商品都被识别且账单无误后，用户通过点击屏幕结算按钮进行结算；结算方式包含用户通过显示屏结算按钮选择两种不同支付方式：一是扫描显示屏收款二维码；二是通过手脉采集支付模块进行支付或刷脸支付；
s4、结算完成且重力感应面板清空后，系统自动对重量感应器重量误差清零。
所述的s1步骤的具体流程是：商家与支付平台机构签订代扣授权协议，由支付平台机构生成二维码，并反馈至远程服务器，由远程服务器下发至所述的本地数据处理单元，并由所述触摸显示屏上显示；用户通过移动终端扫描触摸显示屏上显示的二维码，并进行解码，并将解码后的二维码信息上传至支付平台机构服务器验证，并在验证通过后，向用户移动终端和远程服务器发送签约代扣完成信息；远程服务器收到该信息后向该本地数据处理单元发送采集手脉指令，并通过触摸显示屏显示或语音模块的语音指导，用户通过生物信息采集模块完成手脉、指纹或脸谱信息的采集，并经过加密后发送至远程服务器，将用户手脉信息与个人支付账户关联绑定生成生物电子账户id；用户购物完成后，触发所设定的结算条件，由本地数据处理单元向远程服务器发送账单、该用户感兴趣数字、用户手脉信息和终端设备编号，由远程服务器对账单、用户手脉信息和终端设备编号的信息进行验证，验证完成后，远程服务器向支付平台发送结算指令，该结算指令包括账单和该用户手脉信息所对应的第三方支付账户的id，然后自动完成扣款，并向后台服务器反馈结算完成信息，并反馈至本地数据处理单元，通过触摸显示屏或语音模块向用户反馈。
所述的s3步骤中，对于同一用户多批次结算，每完成一批商品识别时设备会通过语音提示用户是否结算或者继续结算，当用户需要多批次才能结算完时，只对所述账单进行累计，不需用户每次对商品识别后进行结算操作，方便了购物数量多的用户的结账操作；同时通过语音模块对商品结算过程中的每一个环节对用户进行操作提醒；所述结算可通过扫描二维码或者刷手或刷脸完成账单结算。
所述的s2步骤中，由所述的摄像头采集的重力感应面板识别区的商品图像数据通过所述本地数据处理单元或远程服务器处理完成识别，所述识别过程是通过深度学习神经网络算法引擎实现图像识别，并对图像中包含的商品进行分类、计数统计，同时将所述识别的商品数量、品类数据在数据库中进行遍历查询，检索出所对应商品的重量，并对识别的各类商品的重量数据进行汇总后与重量感应传感器所获取的重量数据进行对比验证，若验证误差处于设定的阈值内，则图像识别系统对商品类别和数量的识别正确，若错误则重新识别，或通过语音提示用户重新摆放商品，或分批结算。
在所述的s2步骤中，若摄像头识别到有包括水果、蔬菜、糖果、干果的散装商品，与预包装商品处于同一结算台，则通过语音模块提示用户分别结算，即预包装商品先结算，不同散装商品分别依次结算。
所述散装商品的结算方法为，在数据库中设置有对应散装商品的单位重量的价格，摄像头在检测到所述散装商品时只对商品分类，不计算数量，同时检索所识别商品在数据库中对应的单位重量价格并与重量感应器获取的重量数据相乘，则可获得对应散装商品的单价、重量、总价。
本发明的优点是：
1、本发明通过机器视觉识别技术代替传统收银员的眼睛及条形码扫描枪实现商品的识别。
2、本发明通过融合机器视觉识别技术和重力感应技术来实现散装需称重商品（如：蔬菜、水果、糖果等）的自动称重和识别。
3、本发明提供多种自主支付方式：a、用户可通过生物采集终端完成手脉、人脸、指纹、虹膜等生物信息的采集并绑定个人诸如支付宝、财付通、银行卡等账户信息，生成基于个人生物特征信息的支付账户，将支付从输入账号、密码的支付方式变更为用户个人生物信息为支付手段的唯一方式；b、同时为了方便未注册用户的顺利结算，在结算台显示交互界面亦有当前账单的结算收款二维码，用户可通过手机等移动终端扫描二维码完成支付。
具有节省结算时间和人工成本，降低了设备和经营成本的优点，解决当前零售商超在收银支付环节的便利性差的问题，并提高商品交易流通效率。
附图说明
图1是本发明智能商品结算台的构成框图；
图2是发明外形结构的一个实施例的示意图。
图3是本发明智能商品结算方法的流程图。
具体实施方式
参见图1-图3，本发明的具体实施例包括：
本发明智能商品结算系统（参见图1）包含本地数据处理单元1、摄像头2、重量感应组件3、生物信息采集模块4（包含但不限于手脉、人脸、指纹等）、触摸显示屏5、远程服务器6、语音模块7。
所述数据处理单元1可以是微型电脑、工作站或者嵌入式主板等；所述摄像头2用于采集重量感应台上商品的图像数据；所述重量感应组件3用来获取台面上商品的重量数据；所述生物采集模块4用于获取用户生物特征信息；触摸显示屏5用于显示商品的账单（商品类别、数量、单价、总价），并可实现结算、返回、重试、撤销、继续结算等功能按钮的操作，以及菜单的操作；远程服务器6用于远程数据处理，所述数据包含各品类商品对应的重量数据列表，同时作为商品销售数据、库存数据、注册会员数据、手脉特征信息数据等数据管理。
作为优选在网络带宽速度满足图像传输的要求时可实现将前端的图像处理识别任务后置于后端的远程服务器6，借用其强大的图像处理和数据处理性能实现商品的高速图像识别和重量验证匹配，这样可以降低数据处理单元1的配置，进而降低系统的成本。
所述语音模块7用于在用户账单结算环节过程中对用户操作提示。
本发明的基于视觉识别和重量感应技术的智能商品结算台的外形结构的一种实施例参见图2，该结算台包括主台体8，在该主台体8的上面的台面上设有重量感应组件3，在该台面的两侧分别设有置物台9和置物台10，在置物台10的上方设有购物袋支架11，该置物台9用于放置用户预结算商品，该置物台10用于放置已结算商品；在台面的后部上面的箱体上正面设有生物信息采集模块（包括手脉信息采集模块4和人脸信息采集模块13）触摸显示屏5，在触摸显示屏5的顶部设有摄像头2和照明灯12；所述的本地数据处理单元1、语音模块7均安装在该箱体或主台体8的内部。
所述生物采集模块至少包括脉信息采集模块4、人脸信息采集模块13和指纹信息采集模块的一种。
还可在所述的主台体8的台面上设有充消磁器装置（与重量感应组件3集成在一起）。并在商品表面贴有防盗磁贴，当用户将商品放置于重量感应组件3后，该充消磁组件对商品防盗磁贴消磁。
本发明的商品结算方法包含以下步骤（参见图3）：
s1、用户注册：通过授权的生物采集终端，采集用户生物特征信息，同时绑定用户支付账户，完成用户个人生物电子支付账户的注册；所述注册过程如下：
商家与支付平台机构签订代扣授权协议，由支付平台机构生成二维码，并反馈至远程服务器6，由远程服务器6下发至所述的本地数据处理单元1，并由所述触摸显示屏5上显示；用户通过移动终端扫描触摸显示屏5上显示的二维码，并进行解码，并将解码后的二维码信息上传至支付平台机构服务器验证，并在验证通过后，向用户移动终端和远程服务器6发送签约代扣完成信息；远程服务器6收到该信息后向该本地数据处理单元1发送采集手脉指令，并通过触摸显示屏5显示或语音模块7的语音指导，用户通过生物信息采集模块4完成手脉、指纹或脸谱信息的采集，并经过加密后发送至远程服务器6，将用户手脉信息与个人支付账户关联绑定生成生物电子账户id；用户购物完成后，触发所设定的结算条件，由本地数据处理单元1向远程服务器6发送账单、该用户感兴趣数字、用户手脉信息和终端设备编号，由远程服务器6对账单、用户手脉信息和终端设备编号的信息进行验证，验证完成后，远程服务器6向支付平台发送结算指令，该结算指令包括账单和该用户手脉信息所对应的第三方支付账户的id，然后自动完成扣款，并向后台服务器反馈结算完成信息，并反馈至本地数据处理单元1，通过触摸显示屏5或语音模块7向用户反馈。
s2、用户购物完成后将商品整齐码放于所述重量感应台，结算台自动启动重量感应台和摄像头视觉系统，获取商品图像数据和重量数据；所述商品图像数据通过所述数据处理单元完成识别，所述识别过程是通过深度学习卷积神经网络算法引擎实现图像识别，并对图像中包含的商品进行分类、计数，将所述商品数量品类等数据据在数据库中进行遍历查询，检索出所对应商品的重量，并对识别的各类商品的重量数据进行汇总后与重量感应传感器所获取的重量数据进行对比验证，若验证误差处于设定的阈值内，则图像识别系统对商品类别和数量的识别正确，若错误则重新识别，或通过语音提示用户重新摆放商品，或分批结算。
具体的说，所述数据库中存有对应商品的标准重量，如a、b、c商品分别重10g、20g、30g，通过机器视觉识别识别到重量感应台上有5*a、2*b、3c个商品，通过检索数据库查询到对应的商品重量总重分别为50g、40g、90g，总重为y=180g，同时与重量传感器所获取的重量数据x进行对比，若y-x的差值在阈值误差范围内，则表明商品实际账单正确，若超过阈值则重新识别结算；
具体的还包含，若机器视觉识别系统识别到散装商品，如水果、蔬菜、糖果等与预包装商品处于同一结算台，则设备通过语音单元提示用户分别结算，具体的说预包装商品先结算，不同散装商品后依次结算；所述散装商品的结算方法为，在数据库中设置有对应散装商品的单位重量的价格，视觉识别系统在检测到所述散装商品时只对商品分类，不计算数量，同时检索所识别商品在数据库中对应的单价并与重量感应器获取的重量数据进行相乘，则可获得对应散装商品的单价、重量、总价。
s3、用户结算。所述用户够买的所有商品都被识别且账单无误后，用户通过点击屏幕结算按钮进行结算；所述结算方式包含但不限于基于生物识别的支付方式及扫面二维码（支付宝、微信等）等支付方式。
作为方案的优化，对于同一用户多批次结算，每完成一批商品识别时设备会通过语音提示用户是否结算或者继续结算，当用户需要多批次才能结算完时，只对所述账单进行累计，不需用户每次对商品识别后进行结算操作，方便了购物数量多的用户的结账操作。
同时可通过语音系统对商品结算过程中的每一个环节对用户进行操作提醒。
优化方案只是对本技术的一种补充，本发明技术主要的发明技术特征是通过机器视觉和重量感应共同完成对商品的准确识别，在本发明中重量感应起到对视觉系统所识别商品的准确性的校准。
所述的深度学习神经网络算法引擎是一种基于以卷积神经网络（cnn）为核心搭建的图像特征提取检测分类算法结构，首先通过基础卷积神经网络初步提取图像特征，然后在后续网络通过小卷积核增加不同尺度的特征映射层，同时进行softmax分类和位置回归，从而检测不同尺度下的物体：在低层的特征映射层,感受野比较小，高层的感受野比较大，在不同的特征映射层进行卷积，可以达到多尺度物体检测的目的。
所述的图像特征提取检测分类步骤包括：
步骤一：采集所述商品图像数据，并对图像进行标注，建立训练图像数据集；
步骤二：建立特征提取基础网络,所述基础网络为vgg神经网络模型，并用其提取目标图像的全局特征；
所述特征提取基础网络由五级卷积层级联组成（conv1，conv2，conv3，conv4，conv5），其中conv1，conv2，conv3，conv4，conv5代表每一级的卷积层输出，用来初步提取图像初步特征，并在conv5层后利用利用两层卷积得到fc7层；上述卷积输出层都是通过一系列小的卷积核卷积生成，从而增加整个基础网络的非线性表达及鲁棒性；
然后针对fc7层继续使用小的卷积核两次卷积操作生成不少于4个级联卷积特征映射输出层（conv6_2、conv7_2、conv8_2、conv9_2……convn_2），同时对conv4层进行l2范数归一化操作生成conv4_morn层，使该层特征数据与上述各特征映射层的数据尺度处于统一大小范围范围内。
fc7→conv6_1→conv6_2→conv7_1→conv7_2→conv8_1→conv8_2conv9_→1conv9_2→……convn_1→convn_2；
步骤三：对其中的conv4_morn、conv6_2、conv7_2、conv8_2、conv9_2……convn_2等不同尺度的特征映射卷积层的输出分别用两个并列的3*3的卷积核进行卷积，并通过算法将上述不同尺度的特征层分成固定大小数据区域，同时以每个数据区域小格的中心为坐标中心，并按设定比例（1,2,3,1/2,1/3）生成多个大小不同的固定预测候选区域框，用来检测特征映射层中的感兴趣区域特征信息；
两个并列小卷积核输出：
一个输出分类用做置信得分，且每个生成x+1个置信得分（x表示分类个数，1表示背景个数）；
一个输出回归用的预测坐标，每个预测候选区域框生成4个坐标值（x，y，w，h），分别表示中心坐标点和该候选框的宽和高；
另外这几个特征映射层还经过最大匹配策略生成最大期望预测候选区域框（生成的是坐标，且表示最可能对检测类别目标的区域框选），所述具体过程是将每个经框选标注的训练图像输入网络的实际目标区域位置信息与述生成的预测候选区域位置信息进行匹配，这样保证每个实际目标坐标区域都有对应的预测候选区域；并且，将每个预测候选区域与任意训练输入网络的实际目标区域信息配对，只要两者的iou(交并比)大于某一阈值，匹配成功则这个预测候选区域就是正样本，如果匹配不上，就是负样本，同时选取正、负样本的比例在1：3左右共同作为后续训练数据（负样本数据根据分类置信度大小由高到底选取合适比例的数据作为负样本），用于目标区域坐标回归和分类；
步骤四：最后将前面三个数据输出结果经分别排序、展开、合并然后传递给loss（损失函数）层。置信度是采用softmaxloss算法、位置回归则是采用smoothl1loss算法计算网络损失函数，并反向更新参数权重，直到网络训练完成；
置信度softmaxloss算法：（下面公式中各字母代表的参数均为公知）
位置回归smoothl1loss
步骤五：识别：将训练好的神经网络算法模型加载与结算台终端主机，摄像头自动捕获结算台商品图像，并提取图像特征向量输出最后识别的商品分类数据和数量数据，并将该数据在所述数据空中检索出对应的商品重量，然后求和。最后与结算台重量传感器数据进行对比，若在误差内则说明识别正确，反之重新识别或提醒用户重新码放商品。
本发明商品结算方法具体的实现过程举例说明如下：
用户通过授权终端设备采集手脉或者人脸等个人生物特征信息完成生物信息采集，并通过交互界面指引绑定个人电子支付账户或银行金融账户完成个人生物账户注册。
用户可将需结算的商品放置于置物台9按批次依次识别。
识别过程为重力感应台感应到放置的商品后采集所放置的商品重量，同时摄像头采集重力感应面板上的商品图像数据，并将上述数据发送至本地处理中心或者远程服务器，完成商品的分类、计数工作。并通过图像识别的结果检索所述商品对应的重量，并进行汇总后与重量感应所得到的重量数据进行比较验证，若处于误差范围内，则该批次商品识别准确。若超过误差范围则语音提示用户重新摆放商品，如是否有商品叠放、超出识别区于等。
若用户需多批次结算则只需点击界面“继续结算”按钮即可按上述步骤继续进行操作。
对于含有散装商品，机器识别出后通过语音提醒用户按预包装和散装的方式分批结算。
当用户每完成一个批次的上品识别后，所述重力感应面板中的充消磁组件对商品防盗磁条进行消磁操作，用户可将识别完成的商品放置于置物台10，并装袋。
完成所有批次的商品识别并生成账单后，且用户确认账单无误后，点击界面结算支付按钮并选择通过收款码或生物支付方式进行账单结算。
所述后台服务器系统获取用户支付指令后信息并通过验证后，发送账单和用户支付账户信息至支付结算中心（支付宝、微信、银行）完成自动扣款。
用户完成支付后，结算台向门禁或者闸机系统发送放行或开门指令，用户离开；
所述门禁或闸机设有磁感应防盗报警门组件，若发现未结算商品则提醒用户继续结算，否则门禁设备不予放行。