一种超市商场自动识别称重结算方法及系统与流程

本发明涉及自动结算系统技术领域，具体涉及一种超市商场自动识别称重结算方法及系统。

背景技术

现有技术中，超市或者商场中大部分包装好的商品都会有条码或者标识符，在结账时直接人工扫描即可，但是也有很多蔬菜、水果、散装食品或者散装用品等需要人工识别、排队称重，这种通过人工记录的方式，不但工作效率低，而且易出现差错。随着图像识别技术的发展，也有将图像识别技术应用在物品称重上，但是应用在散装物品上的较少，一方面散装物品种类较多、形状不定，难以有效判断，特别是散装物品如何保证一致性无法解决，另一方面如何避免实际操作中的误差，以及对可疑结果的校正也是要重视的问题。

同时现有的结账方式通常为收银员逐一扫描商品自带标签或者称量好的内部标签，再一句商品的信息获知商品的价格，再将所购商品的消费额累计，消费者最后根据累计的总额进行支付，这种支付较为麻烦，也耽误时间。

此外现有技术中商场和超市管理人员对物品卖出多少，营业额多少、利润多少、存货多少大都需要人工清点计算，管理效率过低，急需改进。

技术实现要素：

针对现有技术的不足，本发明提供一种超市商场自动识别称重结算方法，该超市商场自动识别称重结算方法可以有效对超市商场中的各类物品进行自动识别、称重，系统智能化程度较好，识别率较高，适应新较强，能够快速处理现实操作中的各种意外情况，减少了散装物品等待称量和结算的时间，提高了结算效率和数据的准确性，降低了顾客和卖家的时间成本，具有较高的实用价值和广泛的应用前景。

本发明解决技术问题采用如下技术方案：

本发明提供了一种超市商场自动识别称重结算方法，包括以下步骤：

s1、将超市商场物品按照是否需要称重计算价格分类为散装物品和成套装物品，将成套装物品上固定设置的可识别价格标识符；

s2、预存储各散装物品三维图像数据以及与之对应的单价数据p，并对散装物品三维图像数据利用图像识别算法提取包括颜色特征、纹理特征、形状特征在内的图像特征数据，形成散装物品数据库；

s3、采集待称重散装物品三维图像数据，对采集的图像数据进行包括缩放、增强对比度、降低噪声在内的图像预处理；

s4、在采集待称重散装物品三维图像数据的同时称量其重量，得到散装物品重量数据g待用；

s5、用相同的图像识别算法对s2中预处理后的图像数据进行图像特征数据提取，并将提取图像特征数据与s1中预存储的各散装物品所提取的对应图像特征数据进行数据匹配比较，再将匹配后的数据d进行冒泡算法排序，得到最大的匹配数据d作为数据匹配度m；

其中数据d的计算公式为：d＝x1s+x2b+x3e，其中，s代表颜色特征得分，b纹理特征得分，e代表形状特征得分，x1、x2和x3分别代表颜色特征、纹理特征和形状特征的权重；并通过遗传算法计算出x1、x2和x3的最佳取值以及绝对参考阈值y和可参考阈值t的最优值；

s6、若数据匹配度m大于等于预设的绝对参考阈值y，则将该匹配度关联的预存储散装物品对应的单价数据p与重量数据g相乘得到散装物品结算数据r1；

若数据匹配度m小于绝对参考阈值y且大于等于可参考阈值t，则触发人工鉴定服务，同时将s4中匹配数据值排名前三的预存储装物品三维视图以及待称重散装物品三维图像数据传送至人工鉴定终端等待确定，当预定时间内接收到反馈回的人工鉴定的结果，则将结果关联的预存储散装物品对应的单价数据p与重量数据g相乘得到结算数据r，当预定时间内没有接收到反馈结果，则触发人工现场鉴定服务，发送位置代码至人工现场服务终端，等待现场确定待称重散装物品单价数据p，再将单价数据p与重量数据g相乘得到散装物品结算数据r1；

若数据匹配度m小于可参考阈值t，则触发人工现场鉴定服务，发送位置代码至人工现场服务终端，等待现场确定待称重散装物品单价数据p，再将单价数据p与重量数据g相乘得到散装物品结算数据r1；

s7、扫描成套装物品上固定设置对应的可识别价格标识符，累加得到成套装物品结算数据r2；

s8、将散装物品结算数据r1与成套装物品结算数据r2求和得到结算数据r并传输到顾客支付系统，根据授权类别等待顾客选择支付方式或者直接扣款，同时将付款信息和物品信息实时向顾客展示。

优选地，所述图像识别算法为fastica算法、基于opencv函数库的算法和svm算法中的一种。

优选地，在步骤s5中还包括：当同一批次待称重散装物品中有某个或多个物品提取的图像特征数据与该批次待称重散装物品提取的图像特征数据偏离值超过预定阈值时，判定为异常情况，并触发人工现场鉴定服务，等待人工现场鉴定。

本发明还提供一种超市商场自动识别称重结算系统，包括：

存储模块，用于预存储成套装物品上固定设置的可识别价格标识符所关联的包括价格类别在内的成套装物品信息、各散装物品三维图像数据以及与之对应的单价数据p，同时存储利用图像识别算法对散装物品三维图像数据提取的包括颜色特征、纹理特征、形状特征在内的图像特征数据从而形成散装物品数据库；

图像数据采集模块，用于预先采集各散装物品三维图像数据以及实时采集待称重散装物品三维图像数据并送入图像数据处理模块等待数据处理，还用于扫描成套装物品上固定设置的可识别价格标识符，调取存储成套装物品数据信息，得到成套装物品结算数据r2，并将数据r2送入判断结算数据生成模块等待处理；

称重模块，用于实时称量散装物品的重量数据g并送入存储模块存储等待数据处理；

图像数据处理模块，用于调取存储模块中的三维图像数据，再对图像数据进行包括缩放、增强对比度、降低噪声在内的图像预处理，以及对预处理后的图像数据进行图像特征数据提取，并将提取后的图像特征数据送入存储模块存储或者送入图像数据匹配模块等待处理；

图像数据匹配模块，用于将数据处理模块处理得到的待称重散装物品图像特征数据与预先采集各散装物品的对应图像特征数据进行数据匹配比较，再将匹配后的数据d进行冒泡算法排序，得到最大的匹配数据d作为数据匹配度m；

图像数据匹配模块，还包括数据计算单元，所述数据计算单元用于计算匹配数据d，所述匹配数据d的计算公式为：d＝x1s+x2b+x3e，其中，s代表颜色特征得分，b纹理特征得分，e代表形状特征得分，x1、x2和x3分别代表颜色特征、纹理特征和形状特征的权重；通过遗传算法计算出x1、x2和x3的最佳取值；

人工干预模块，包括人工鉴定终端和人工现场服务终端，用于当判断结算数据生成模块中数据匹配度m低于绝对参考阈值y和可参考阈值t或者出现其他异常情况时，人工介入处理，使得判断结算数据生成模块能够准确得到结算数据r；

判断结算数据生成模块，用于将图像数据匹配模块处理得到的数据匹配度m与预设的通过遗传算法计算得出的绝对参考阈值y和可参考阈值t进行比较：若数据匹配度m大于等于预设的绝对参考阈值y，则将该匹配度关联的预存储散装物品对应的单价数据p与重量数据g相乘得到散装物品结算数据r1；若数据匹配度m小于绝对参考阈值y且大于等于可参考阈值t，则将s4中匹配数据值排名前三的预存储装物品三维视图以及待称重散装物品三维图像数据传送至人工鉴定终端等待确定，当预定时间内接收到反馈回的人工鉴定的结果，则将结果关联的预存储散装物品对应的单价数据p与重量数据g相乘得到散装物品结算数据r1，当预定时间内没有接收到反馈结果，则触发人工现场鉴定服务，发送位置代码至人工现场服务终端，等待现场确定待称重散装物品单价数据p，再将单价数据p与重量数据g相乘得到结算数据r；若数据匹配度m小于可参考阈值t，则触发人工现场鉴定服务，发送位置代码至人工现场服务终端，等待现场确定待称重散装物品单价数据p，再将单价数据p与重量数据g相乘得到散装物品结算数据r1；同时将接收的成套装送入物品结算数据r2与散装物品结算数据r1处理得到结算数据r送入费用结算模块等待处理；

费用结算模块，用于根据判断结算数据生成模块得到的结算数据r即时连接到顾客支付系统，根据授权类别等待顾客选择支付方式或者直接扣款，同时将付款信息和物品信息实时向顾客展示。

优选地，所述图像数据采集模块还设有led智能补光模块。

优选地，所述人工鉴定终端为包括显示模块和实时可交互模块，所述显示模块用于接收显示排名前三的预存储装物品三维视图以及待称重散装物品三维图像数据，所述实时可交互模块用于人工判断待称重散装物品匹配的预存储装物品数据，并将结果反馈至判断结算数据生成模块。

优选地，所述人工现场服务终端包括语音交互模块、智能移动控制终端模块，所述语音交互模块用于实时的进行语音交流以及获取现场服务位置代码，所述智能移动控制终端模块用于现场查询确定待称重散装物品单价数据p以及其他包括散称物品不一致的异常情况。

优选地，所述顾客支付系统中的授权类别包括身份验证模块、会员卡识别装置、指纹识别装置、语音识别装置、脸部识别装置中的一种或几种。

优选地，还包括物品信息汇总反馈模块，所述物品信息汇总反馈模块预存储包括成套装物品和各散装物品的数量、重量、进价、营业收入在内的信息库，其按照设定的频率接收费用结算模块中处理得到的包含准确的重量数据g和结算数据r，并实时更新信息库中的成套装物品和各散装物品的数量、重量、进价、营业收入相关信息。

优选地，所述费用结算模块通过网络通信设备与顾客支付系统即时连接，所述网络通信设备为采用nfc、蓝牙、wifi、uwb数据传输技术设备中的一种或几种。

与现有技术相比，本发明具有如下的有益效果：

(1)本发明的一种超市商场自动识别称重结算方法通过采集散装物品的图像数据并与预先存储的散装物品三维图像进行对比，通过提取的颜色特征、纹理特征、形状特征在内的图像特征数据通过特定的计算公式的到匹配数据，再经过算法排序得到较为准确的数据匹配度，同时利用遗传算法得到用于对比的参考阈值，十分准确的确定了散装物品的种类，进而得到其关联的单价数据，再配合自动称量的结果得到其结算数据，自动映射到支付系统，从而实现了快速准确的识别以及自动智能化的结算；此外特别引入了人工补充、校正的步骤，通过设置的触发条件，保证了在自动识别度不高、结果存疑的时候，及时的采取人工后台干预以及人工现场干预，保证了散装物品的最准称量结算准确度，通过这种双保险处理和连贯及无缝结合的识别方式，使得在自动结算过程中自然流畅，顾客不会感受到太大的差异，形成良好的服务体验，极大提高了工作效率节约了宝贵的时间。

(2)本发明的一种超市商场自动识别称重结算方法还设置了散装物品不一致的情况干预措施，通过将散装物品中每一个图像特征数据与该批次待称重散装物品提取的图像特征数据进行比较，设定偏离值阈值，从而及时发现异常情况，再采取人工干预的方法，杜绝了散装物品混装引起的误差和纠纷，有效提高了称重结算方法的实际应用能力。

(3)本发明的一种超市商场自动识别称重结算系统，通过设置的存储模块、图像数据采集模块、图像数据处理模块、图像数据匹配模块、称重模块、人工干预模块、判断结算数据生成模块和费用结算模块，实现了对于散装物品进行有效识别、智能化数据处理、人工智能双结合互补的判定法则以及自动化多样化的结算支付方式，大大的提高了商场超市中散装物品的称重、结算的效率，简化了支付方法，提高了工作效率。

(4)本发明的一种超市商场自动识别称重结算系统中还设置的物品信息汇总反馈模块，能够全面有效的将售卖的成套装物品和散装物品信息进行归纳总结，实时更新数据库，准确的反应成套装物品和散装物品的数量、重量、进价、营业收入等相关信息，完整的展现了商场超市库存，避免了人工的清点，节约了成本提高了效率。

(5)本发明的一种超市商场自动识别称重结算系统中的图像数据采集模块还设有led智能补光模块，能够在光照不足时自动补光，有效的提高了采集的图像的准确和清晰程度。

(6)本发明的一种超市商场自动识别称重结算系统中的设置的人工鉴定终端和人工现场服务终端能够根据需要实时有效的解决任何可疑或者突发的状况，大大提高了系统的适应性和实际应用的能力。

(7)本发明的一种超市商场自动识别称重结算系统中的费用结算模块，采用结算数据即时连接到顾客支付系统，同时采用包括身份验证模块、会员卡识别装置、指纹识别装置、语音识别装置、脸部识别装置中任意一种进行授权支付，有效的提高了支付的便捷程度，降低了人工成本。

(8)本发明的一种超市商场自动识别称重结算系统将成套物品和散装物品采用不同的称重结算办法，解决了超市商场中所有货物的结算问题，同时区分了不同的需求，简化了系统的复杂程度，充分利用了现有的标识符，达到了全面覆盖，既能减小系统建设过程中的技术风险，也方便地同其它系统进行连接和数据交换。

(9)本发明的一种超市商场自动识别称重结算方法及系统可以有效对超市商场中的各类物品进行自动识别、称重，系统智能化程度较好，识别率较高，适应新较强，能够快速处理现实操作中的各种意外情况，减少了散装物品等待称量和结算的时间，提高了结算效率和数据的准确性，降低了顾客和卖家的时间成本，具有较高的实用价值和广泛的应用前景。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的一种超市商场自动识别称重结算方法流程图；

图2为本发明的一种超市商场自动识别称重结算方法中步骤s6的具体方法流程图；

图3为本发明的一种超市商场自动识别称重结算系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1-3所示，本实施例的一种超市商场自动识别称重结算方法，包括以下步骤：

s1、将超市商场物品按照是否需要称重计算价格分类为散装物品和成套装物品，将成套装物品上固定设置的可识别价格标识符；

s2、预存储各散装物品三维图像数据以及与之对应的单价数据p，并对散装物品三维图像数据利用图像识别算法提取包括颜色特征、纹理特征、形状特征在内的图像特征数据，形成散装物品数据库；

s3、采集待称重散装物品三维图像数据，对采集的图像数据进行包括缩放、增强对比度、降低噪声在内的图像预处理；

s4、在采集待称重散装物品三维图像数据的同时称量其重量，得到散装物品重量数据g待用；

s5、用相同的图像识别算法对s2中预处理后的图像数据进行图像特征数据提取，并将提取图像特征数据与s1中预存储的各散装物品所提取的对应图像特征数据进行数据匹配比较，再将匹配后的数据d进行冒泡算法排序，得到最大的匹配数据d作为数据匹配度m；

其中数据d的计算公式为：d＝x1s+x2b+x3e，其中，s代表颜色特征得分，b纹理特征得分，e代表形状特征得分，x1、x2和x3分别代表颜色特征、纹理特征和形状特征的权重；并通过遗传算法计算出x1、x2和x3的最佳取值以及绝对参考阈值y和可参考阈值t的最优值；

s6、若数据匹配度m大于等于预设的绝对参考阈值y，则将该匹配度关联的预存储散装物品对应的单价数据p与重量数据g相乘得到散装物品结算数据r1；

若数据匹配度m小于绝对参考阈值y且大于等于可参考阈值t，则触发人工鉴定服务，同时将s4中匹配数据值排名前三的预存储装物品三维视图以及待称重散装物品三维图像数据传送至人工鉴定终端等待确定，当预定时间内接收到反馈回的人工鉴定的结果，则将结果关联的预存储散装物品对应的单价数据p与重量数据g相乘得到结算数据r，当预定时间内没有接收到反馈结果，则触发人工现场鉴定服务，发送位置代码至人工现场服务终端，等待现场确定待称重散装物品单价数据p，再将单价数据p与重量数据g相乘得到散装物品结算数据r1；

若数据匹配度m小于可参考阈值t，则触发人工现场鉴定服务，发送位置代码至人工现场服务终端，等待现场确定待称重散装物品单价数据p，再将单价数据p与重量数据g相乘得到散装物品结算数据r1；

s7、扫描成套装物品上固定设置对应的可识别价格标识符，累加得到成套装物品结算数据r2；

s8、将散装物品结算数据r1与成套装物品结算数据r2求和得到结算数据r并传输到顾客支付系统，根据授权类别等待顾客选择支付方式或者直接扣款，同时将付款信息和物品信息实时向顾客展示。

本实施例中的图像识别算法为fastica算法、基于opencv函数库的算法和svm算法中的一种。

本实施例在步骤s5中还包括：当同一批次待称重散装物品中有某个或多个物品提取的图像特征数据与该批次待称重散装物品提取的图像特征数据偏离值超过预定阈值时，判定为异常情况，并触发人工现场鉴定服务，等待人工现场鉴定。

本实施例的一种超市商场自动识别称重结算系统，包括存储模块、图像数据采集模块、图像数据处理模块、图像数据匹配模块、称重模块、人工干预模块、判断结算数据生成模块和费用结算模块；

所述存储模块用于预存储成套装物品上固定设置的可识别价格标识符所关联的包括价格类别在内的成套装物品信息、各散装物品三维图像数据以及与之对应的单价数据p，同时存储利用图像识别算法对散装物品三维图像数据提取的包括颜色特征、纹理特征、形状特征在内的图像特征数据从而形成散装物品数据库；

所述图像数据采集模块用于预先采集各散装物品三维图像数据以及实时采集待称重散装物品三维图像数据并送入图像数据处理模块等待数据处理，还用于扫描成套装物品上固定设置的可识别价格标识符，调取存储成套装物品数据信息，得到成套装物品结算数据r2，并将数据r2送入判断结算数据生成模块等待处理；

所述称重模块用于实时称量散装物品的重量数据g并送入存储模块存储等待数据处理；

所述图像数据处理模块用于调取存储模块中的三维图像数据，再对图像数据进行包括缩放、增强对比度、降低噪声在内的图像预处理，以及对预处理后的图像数据进行图像特征数据提取，并将提取后的图像特征数据送入存储模块存储或者送入图像数据匹配模块等待处理；

所述图像数据匹配模块用于将数据处理模块处理得到的待称重散装物品图像特征数据与预先采集各散装物品的对应图像特征数据进行数据匹配比较，再将匹配后的数据d进行冒泡算法排序，得到最大的匹配数据d作为数据匹配度m；

所述图像数据匹配模块还包括数据计算单元，所述数据计算单元用于计算匹配数据d，所述匹配数据d的计算公式为：d＝x1s+x2b+x3e，其中，s代表颜色特征得分，b纹理特征得分，e代表形状特征得分，x1、x2和x3分别代表颜色特征、纹理特征和形状特征的权重；并通过遗传算法计算出x1、x2和x3的最佳取值以及绝对参考阈值y和可参考阈值t的最优值；

所述人工干预模块包括人工鉴定终端和人工现场服务终端，用于当判断结算数据生成模块中数据匹配度m低于绝对参考阈值y和可参考阈值t或者出现其他异常情况时，人工介入处理，使得判断结算数据生成模块能够准确得到结算数据r；

所述判断结算数据生成模块用于将图像数据匹配模块处理得到的数据匹配度m与预设的通过遗传算法计算得出的绝对参考阈值y和可参考阈值t进行比较：若数据匹配度m大于等于预设的绝对参考阈值y，则将该匹配度关联的预存储散装物品对应的单价数据p与重量数据g相乘得到散装物品结算数据r1；若数据匹配度m小于绝对参考阈值y且大于等于可参考阈值t，则将s4中匹配数据值排名前三的预存储装物品三维视图以及待称重散装物品三维图像数据传送至人工鉴定终端等待确定，当预定时间内接收到反馈回的人工鉴定的结果，则将结果关联的预存储散装物品对应的单价数据p与重量数据g相乘得到散装物品结算数据r1，当预定时间内没有接收到反馈结果，则触发人工现场鉴定服务，发送位置代码至人工现场服务终端，等待现场确定待称重散装物品单价数据p，再将单价数据p与重量数据g相乘得到结算数据r；若数据匹配度m小于可参考阈值t，则触发人工现场鉴定服务，发送位置代码至人工现场服务终端，等待现场确定待称重散装物品单价数据p，再将单价数据p与重量数据g相乘得到散装物品结算数据r1；同时将接收的成套装送入物品结算数据r2与散装物品结算数据r1处理得到结算数据r送入费用结算模块等待处理；

所述费用结算模块用于根据判断结算数据生成模块得到的结算数据r即时连接到顾客支付系统，根据授权类别等待顾客选择支付方式或者直接扣款，同时将付款信息和物品信息实时向顾客展示。

本实施例中的图像数据采集模块还设有led智能补光模块。

本实施例中的人工鉴定终端为包括显示模块和实时可交互模块，所述显示模块用于接收显示排名前三的预存储装物品三维视图以及待称重散装物品三维图像数据，所述实时可交互模块用于人工判断待称重散装物品匹配的预存储装物品数据，并将结果反馈至判断结算数据生成模块。

本实施例中的人工现场服务终端包括语音交互模块、智能移动控制终端模块，所述语音交互模块用于实时的进行语音交流以及获取现场服务位置代码，所述智能移动控制终端模块用于现场查询确定待称重散装物品单价数据p以及其他包括散称物品不一致的异常情况。

本实施例中的顾客支付系统中的授权类别包括身份验证模块、会员卡识别装置、指纹识别装置、语音识别装置、脸部识别装置中的一种或几种。

本实施例中的超市商场自动识别称重结算系统还包括物品信息汇总反馈模块，所述物品信息汇总反馈模块预存储包括成套装物品和各散装物品的数量、重量、进价、营业收入在内的信息库，其按照设定的频率接收费用结算模块中处理得到的包含准确的重量数据g和结算数据r，并实时更新信息库中的成套装物品和各散装物品的数量、重量、进价、营业收入相关信息。

本实施例中的费用结算模块通过网络通信设备与顾客支付系统即时连接，所述网络通信设备为采用nfc、蓝牙、wifi、uwb数据传输技术设备中的一种或几种。

本发明的一种超市商场自动识别称重结算方法及系统可以有效对超市商场中的散装物品进行自动识别、称重，系统智能化程度较好，识别率较高，适应新较强，能够快速处理现实操作中的各种意外情况，减少了散装物品等待称量和结算的时间，提高了结算效率和数据的准确性，降低了顾客和卖家的时间成本，具有较高的实用价值和广泛的应用前景。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。