本发明涉及图像识别技术领域，更具体地说，涉及一种购物结算方法、装置和用户终端。
背景技术
物质流通是人类社会的最基本要素。零售行业或直接面向消费者销售的开放式的相关行业(以下简称为零售行业或零售企业)作为当前物质流通的重要手段，需要雇佣大量的收银人员来实现商品的买卖工作，收银人员对消费者所购物品一件一件进行统计，统计完成后，与消费者共同完成支付。
而自动售货柜，则解决了零售行业的人工统计和人工结算的缺陷，是一种面向消费者的无人售货、自动结算的售卖方式。可通过用户的选择，统计出用户所选择的商品的品种种类和总价值，以供用户进行结算，完成支付过程。但目前的自动售货柜只能进行根据用户的选择，自动出货自动结算，并不能在开放的零售购物环境中实现对于用户的购物的行为和所取得的进行准确的识别，从而实现结算。
总之，目前现有的开放式的购物环境中，只能通过人工对于消费者所购得的商品进行逐件的检查、统计和总价计算，耗费大量人力成本，结算时间长效率低，准确度差，而且用户体验差。
技术实现要素：
有鉴于此，本发明提供一种购物结算方法、装置和用户终端以解决现有技术的不足。
为解决上述问题，本发明提供一种购物结算方法，包括：采集购物区域内用户拿取目标商品的商品拿取手势图像；对所述商品拿取手势图像进行识别，确定所述目标商品的视觉购物数据；所述视觉购物数据包括基于图像识别的所述用户购物的目标商品的第一品种信息和第一数量信息；获取与所述目标商品对应的重力传感器返回的重力变化数据，并根据所述重力变化数据得到所述用户拿取的目标商品的重力购物数据；所述重力购物数据包括基于重力变化数据的所述用户购物的目标商品的第二品种信息和第二数量信息；将所述视觉购物数据与所述重力购物数据进行比对，判断所述视觉购物数据与所述重力购物数据是否相同；若是，则生成结算清单，以便于所述用户根据所述结算清单进行结算。
优选地，所述“获取与所述目标商品对应的重力传感器返回的重力变化数据，并根据所述重力变化数据得到所述用户拿取的目标商品的重力购物数据”包括：采集与所述目标商品对应的重力传感器返回的拿取后重力数据；并且，获取与所述目标商品对应的重力传感器的预存的拿取前重力数据；根据所述拿取前重力数据和所述拿取后重力数据，计算得到所述重力变化数据；根据与所述目标商品对应的重力传感器确定所拿取的所述目标商品的第二品种信息；基于预设重力数据库，根据所确定的所述目标商品的品种判断所述用户拿取的目标商品的第二数量信息，并生成所述用户拿取的目标商品的重力购物数据。
优选地，所述“对所述商品拿取手势图像进行识别，确定所述目标商品的视觉购物数据”包括：将所述商品图像转换为多个在时间上连续的关键帧；定位每一帧的所述在时间上连续的关键帧中的商品特征，提取出具有目标商品的目标关键帧；并且，截取所述目标关键帧中的包括所述商品特征在内的最小截图；基于神经网络学习，对所述目标关键帧的所述最小截图进行识别，确定所述用户购物的所述目标商品的第一品种信息和第一数量信息，以得到所述视觉购物数据。
优选地，所述“定位每一帧的所述在时间上连续的关键帧中的商品特征，提取出具有目标商品的目标关键帧”包括：对所述在时间上连续的关键帧进行阈值分割算法进行分割，得到二值图像；以预先采集的用户未抓取商品的手部图像作为对比种子图，对所述分割后二值图像进行比对，以框出所有所述关键帧中，具有区别于所述对比种子图的目标商品的图像，得到具有所述商品的目标关键帧。
优选地，所述“对所述在时间上连续的关键帧进行阈值分割算法进行分割，得到二值图像”包括：将每一帧的所述在时间上连续的关键帧转化为hsv颜色空间，得hsv图像；对所述hsv图像进行直方图分析，得到与所述hsv图像对应的阈值范围；对每一帧的所述在时间上连续的关键帧中的每个像素点进行阈值分割，确认其中在h、s、v三个维度的像素值都在所述阈值范围内的像素点；将在h、s、v三个维度的像素值都在所述阈值范围内的像素点设置为1，将在h、s、v三个维度的像素值不都在所述阈值范围内的像素点设置为0，得到所述分割后所述二值图像。
优选地，所述“采集购物区域内用户拿取目标商品的商品拿取手势图像”之前，还包括：采集用户购物前在购物区域内的购物前商品图像，作为预设陈列图像；所述“将所述视觉购物数据与所述重力购物数据进行比对，判断所述视觉购物数据与所述重力购物数据是否相同”之后，还包括：若否，则采集所述用户购物后的所述购物区域内的商品陈列图像；将所述商品陈列图像与所述用户购物前采集的预设陈列图像进行比对，根据所述商品陈列图像提取所述预设陈列图像中包括所述目标商品的最小购买商品截图图像；对所述最小购买商品截图图像进行识别，得到陈列图像识别数据；所述陈列图像识别数据包括基于图像识别的所述购物区域内所述用户取出的目标商品的第三品种信息和第三数量信息；根据所述陈列图像识别数据，生成结算清单，以便于所述用户根据所述结算清单进行结算。
此外，为解决上述问题，本发明还提供一种购物结算装置，包括：采集模块、识别模块、获取模块、比对模块和结算模块；所述采集模块快，用于采集购物区域内用户拿取目标商品的商品拿取手势图像；所述识别模块，用于对所述商品拿取手势图像进行识别，确定所述目标商品的视觉购物数据；所述视觉购物数据包括基于图像识别的所述用户购物的目标商品的第一品种信息和第一数量信息；所述获取模块，用于获取与所述目标商品对应的重力传感器返回的重力变化数据，并根据所述重力变化数据得到所述用户拿取的目标商品的重力购物数据；所述重力购物数据包括基于重力变化数据的所述用户购物的目标商品的第二品种信息和第二数量信息；所述比对模块，用于将所述视觉购物数据与所述重力购物数据进行比对，判断所述视觉购物数据与所述重力购物数据是否相同；所述结算模块，用于在所述视觉购物数据与所述重力购物数据相同时，生成结算清单，以便于所述用户根据所述结算清单进行结算。
此外，为解决上述问题，本发明还提供一种用户终端，包括存储器以及处理器，所述存储器用于存储购物结算程序，所述处理器运行所述购物结算程序以使所述用户终端执行如上述所述购物结算方法。
此外，为解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有购物结算程序，所述购物结算程序被处理器执行时实现如上述所述购物结算方法。
本发明提供的一种购物结算方法、装置和用户终端。其中，本发明所提供的方法通过对用户拿取的目标商品的商品图像进行识别，得到包括有目标商品的品种和数量的视觉购物数据，并且通过重力传感器获得基于重力变化数据的包括有用户购买目标商品的品种和数量的重力购物数据，进而将视觉购物数据与重力购物数据进行比对，如果所述视觉购物数据与所述重力购物数据相同，则生成结算清单以供用户进行根据所述结算清单进行结算。通过本发明所提供的购物结算方法，实现了在开放式的购物环境中，通过综合利用图像识别技术和重力感应技术相结合，对于用户的拿取的目标商品的品种和数量判断，以生成更加准确的购物清单，实现了在开放式购物环境中自动对于用户的商品购买商品的识别和判断，利用图像识别技术和重力传感技术相结合的技术对商品的品种和数量进行综合判断，为最终生成更加准确的结算清单提供了多重保障，大大提高了结算的精确度，降低了人力成本，缩短了结算时间，结算效率高，购物过程简单，提高了用户体验。
附图说明
图1为本发明购物结算方法实施例方案涉及的硬件运行环境的结构示意图；
图2为本发明购物结算方法第一实施例的流程示意图；
图3为本发明购物结算方法第二实施例的流程示意图；
图4为本发明购物结算方法第三实施例的流程示意图；
图5为本发明购物结算方法第四实施例的流程示意图；
图6为本发明购物结算方法第四实施例的步骤s2210的细化流程示意图；
图7为本发明购物结算方法第五实施例的流程示意图；
图8为本发明购物结算装置的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面详细描述本发明的实施例，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的终端的硬件运行环境的结构示意图。
本发明实施例终端可以是的设于自动货柜机中的pc，也可以是智能手机、平板电脑、电子书阅读器、mp3播放器、mp4播放器、便携计算机等可移动式终端设备。此外，也可以为自动货柜机本身所带有的计算机硬件装置。
如图1所示，该终端可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏、输入单元比如键盘、遥控器，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。此外，终端还包括图像采集设备1006，具体可以为摄像头，相机等。所述图像采集设备1006通过通信总线1002与所述处理器1001连接。此外，终端还包括重力传感器1007。所述重力传感器通过通信总线1002与所述处理器1001连接。可选地，终端还可以包括rf(radiofrequency，射频)电路、音频电路、wifi模块等等。此外，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、数据接口控制程序、网络连接程序以及购物结算程序。
本发明提供的一种购物结算方法、装置和用户终端。其中，所述方法实现了在开放式购物环境中自动对于用户的商品购买商品的识别和判断，利用图像识别技术和重力传感技术相结合的技术对商品的品种和数量进行综合判断，为最终生成更加准确的结算清单提供了多重保障，大大提高了结算的精确度，降低了人力成本，缩短了结算时间，结算效率高，购物过程简单，提高了用户体验。
实施例1：
参照图2，本发明第一实施例提供一种购物结算方法，包括：
步骤s1000，采集购物区域内用户拿取目标商品的商品拿取手势图像；
上述，本实施例所提供的购物结算方法，可以适用于开放式的购物环境，例如商场、超市等场所，即无人值守，用户可进行自由拿取货物。在本实施例中，可以为开放式的自动售货机，用户开始购物后，自动售货机的柜门打开，用户进行对内部的货物直接拿取，而自动售货机通过图像采集设备对用户的购物行为、所购物品进行识别和统计，实现对于用户的所购商品的最终结算。
上述，商品拿取手势图像中包括用户购物手势，为用户对目标商品的拿取的动作，该动作可以包括两个过程，即可以为选择抓取或放置过程和货品取回或递出过程，通过这两个过程，实现对于目标商品的拿取。上述过程，可以为用户空手向目标商品移动，抓取货物，并且将目标商品取回。此外，上述过程也可以针对于用户手持商品向目标位置递出，放置于目标位置，并且空手退出的过程。而商品拿取手势图像，则完整拍摄得到用户购物的空手抓取和持有商品退出的过程。
上述，图像采集的设备，可以为摄像机、相机等具有图像拍摄功能的装置。
图像采集可以为在不同的购物区域设置不同的图像采集设备，并且根据不同区域对应的购物启动指令，开启不同区域的图像采集设备，以便于对相应的购物行为进行采集和识别。例如，开放式的自动售货机存在有上中下3层购物空间，用户在去拿取下层的商品时，触发下层的红外传感设备的红外信号，对应的返回一个与下层空间相对应的购物启动指令，此时，设于下层空间的相应位置的多个不同角度的摄像头开始工作，开始对于用户的购物行为进行图像采集。
步骤s2000，对所述商品拿取手势图像进行识别，确定所述目标商品的视觉购物数据；所述视觉购物数据包括基于图像识别的所述用户购物的目标商品的第一品种信息和第一数量信息；
上述，通过对于商品拿取手势图像进行识别，以达到确定用户所取的目标商品的第一品种信息和第一数量信息，即为基于图像识别的目标商品的品种和数量。
具体的，对于商品拿取手势图像进行识别，可基于神经网络学习方法，通过多种图像识别技术，进行识别，例如百度图像识别技术、阿里云图像识别技术、google图像识别技术等等。
上述，需要说明的是，神经网络学习，即为人工神经网络(artificialneuralnetwork，即ann)。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数(activationfunction)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。
步骤s3000，获取与所述目标商品对应的重力传感器返回的重力变化数据，并根据所述重力变化数据得到所述用户拿取的目标商品的重力购物数据；所述重力购物数据包括基于重力变化数据的所述用户购物的目标商品的第二品种信息和第二数量信息；
上述，需要说明的是，重力传感器，采用弹性敏感元件制成悬臂式位移器，与采用弹性敏感元件制成的储能弹簧来驱动电触点，完成从重力变化到电信号的转换。
在本实施例中所提供方法应用环境中，即为在开放式的购物环境中，重力传感器可设于购物环境中的陈列商品的下端，以便于实时根据重力的变化获取商品的重量数据，当商品被用户拿取离开原有位置时，则重力传感器所获取的重量数据发生变化，则判定此时商品被拿取，从而实现了对于目标商品的第二品种信息的确认。
此外，重力传感器可以在一个区域的多个不同的商品的下端，对这区域的所有商品进行实时监测；也可以为对某一类相同的商品或者某一个商品进行实时监测。在本实施例中，优选的可以为在一类相同的商品下端设有一个重力传感器，则可实时获取该类商品的总重量，当用户抓取其中某几个商品离开后，通过重力传感器可直接获知重量变化数据，并根据重量变化数据得出所拿走商品的第二数量信息。
上述，重力变化数据即为所实时监控的商品在用户取走前的重量和取走后的重量的差值。
步骤s4000，将所述视觉购物数据与所述重力购物数据进行比对，判断所述视觉购物数据与所述重力购物数据是否相同；步骤s5000，若是，则生成结算清单，以便于所述用户根据所述结算清单进行结算。
上述，视觉购物数据中包括基于图像识别的所述用户购物的目标商品的品种和数量；而重力购物数据包括基于重力变化数据的所述用户购物的目标商品的品种和数量；通过将视觉购物数据与所述重力购物数据进行比对，从而进一步确定用户所拿取物品的品种和数量，通过视觉识别和重力传感器的双重确认，以达到对于结果的准确度的提高的目的。
本实施例所提供的方法通过对用户拿取的目标商品的商品图像进行识别，得到包括有目标商品的品种和数量的视觉购物数据，并且通过重力传感器获得基于重力变化数据的包括有用户购买目标商品的品种和数量的重力购物数据，进而将视觉购物数据与重力购物数据进行比对，如果所述视觉购物数据与所述重力购物数据相同，则生成结算清单以供用户进行根据所述结算清单进行结算。通过本实施例所提供的购物结算方法，实现了在开放式的购物环境中，通过综合利用图像识别技术和重力感应技术相结合，对于用户的拿取的目标商品的品种和数量判断，以生成更加准确的购物清单，实现了在开放式购物环境中自动对于用户的商品购买商品的识别和判断，利用图像识别技术和重力传感技术相结合的技术对商品的品种和数量进行综合判断，为最终生成更加准确的结算清单提供了多重保障，大大提高了结算的精确度，降低了人力成本，缩短了结算时间，结算效率高，购物过程简单，提高了用户体验。
实施例2：
参照图3，本发明第二实施例提供一种购物结算方法，基于上述图2所示的第一实施例，所述步骤s3000，“获取与所述目标商品对应的重力传感器返回的重力变化数据，并根据所述重力变化数据得到所述用户拿取的目标商品的重力购物数据”包括：
步骤s3100，采集与所述目标商品对应的重力传感器返回的拿取后重力数据；并且，获取与所述目标商品对应的重力传感器的预存的拿取前重力数据；
上述，采集拿去后的重力数据，可以为通过重力传感器进行对于所陈列商品的实时采集，即为当陈列商品中的目标商品被拿出时，其余商品的重量发生变化，则实时采集得到发生变化后的数据，即为拿取后重力数据。
上述，预存的拿取前重力数据，即为在用户当次拿取货物前，所预先存储的陈列商品的重力数据，该数据为重力传感器实时获取所预存的数据。即为当重力传感器所获取的数据发生改变时，即保存一次数据。
步骤s3200，根据所述拿取前重力数据和所述拿取后重力数据，计算得到所述重力变化数据；
上述，对拿取前重力数据和拿取后重力数据进行计算，其中拿取前重力数据和拿取后重力数据均为陈列商品的质量。对拿取前重力数据和拿取后重力数据进行计算，即为通过将拿取前重力数据减去拿取后重力数据得到商品的重量差值。
步骤s3300，根据与所述目标商品对应的重力传感器确定所拿取的所述目标商品的第二品种信息；
上述，在本实施例中，重力传感器对应的为同类商品，即为同一类别的商品下端设有一重力传感器进行实时监测。通过用户拿取商品，使当前类别的所有陈列商品的总质量发生变化，可获知总质量发生变化的陈列商品的品种。
步骤s3400，基于预设重力数据库，根据所确定的所述目标商品的品种判断所述用户拿取的目标商品的第二数量信息，并生成所述用户拿取的目标商品的重力购物数据。
上述，预设重力数据库，为预存有该品种的商品的单品质量的数据库。通过计算获知重力变化数据，即为拿取前和拿去后的重量变化的差值，再将该重力变化数据除以预设重力数据库中的该品种商品的单品质量，可得到用户拿取的目标商品的数量。进而根据该数量和通过重力传感器所获知的商品品种，生成重力购物数据。
在本实施例中，通过重力传感器实时对所陈列商品的重力数据的采集获取，在用户进行购物时，首先通过重量变化获知目标商品的品种，进而对比拿取目标商品前后的重量变化数据，再根据预设重力数据库中该品种的单品的重量进行计算，得出用户所抓取该种商品的数量，得到重力购物数据，实现了通过重量快速识别用户所购得商品的品种和数量，商品统计方法简单、速度快，并且购物统计效率高，此外，通过重力传感器进行快速对用户所购物品的识别，大大提高了对于用户购物识别判断的准确性，为对于物品清单的生成提供了更多精准的可能。
实施例3：
参照图4，本发明第三实施例提供一种购物结算方法，基于上述图3所示的第二实施例，所述步骤s2000“对所述商品拿取手势图像进行识别，确定所述目标商品的视觉购物数据”包括：
步骤s2100，将所述商品图像转换为多个在时间上连续的关键帧；
上述，在本实施中，商品图像为通过图像采集设备采集的用户购物过程的视频图像数据或者动态图像数据，对该商品图像进行转换，从而得到一定数量的单独的关键帧，每个关键帧对应一个时间戳，基于时间戳，所有关键帧为在时间上连续的图像。
步骤s2200，定位每一帧的所述在时间上连续的关键帧中的商品特征，提取出具有目标商品的目标关键帧；并且，
截取所述目标关键帧中的包括所述商品特征在内的最小截图；
关键帧中，包括有用户购物的空手抓取和拿取物品抽回手势的两个过程，即为关键帧中具有用户抓取目标商品的图像，也包含有不具有用户抓取目标商品的图像。
通过图像识别技术，对所有关键帧中，具有用户抓取目标商品的图像中的商品特征进行定位，从而提取出其中具有目标商品的目标关键帧。并且，对每个所提取出的目标关键帧进行截图，截取出其中包含有目标商品的商品特征在内的最小截图。
步骤s2300，基于神经网络学习，对所述目标关键帧的所述最小截图进行识别，确定所述用户购物的所述目标商品的第一品种信息和第一数量信息，以得到所述视觉购物数据。
上述，对目标关键帧截取出的最小截图进行识别，从而确定用户购物的目标商品的品种和数量，并生成根据该品种和数量视觉购物数据。在本实施例中，通过利用图像识别技术，对用户进行购物的商品拿取手势图像进行识别，提高了对于用户所购物品的进行统计结算的准确度；其中，将商品图像转换为多个在时间上连续的关键帧，并进而定位特征且截取最小截图，大大较少了大量的多帧图像所占用的系统资源和网络传输带宽，提高了数据交互的速度，可基于本实施例中所提供的方法，利用云端服务器，以实现对于商品的进一步精确识别，提高了效率，便于数据的统一管理。
实施例4：
参照图5和图6，本发明第四实施例提供一种购物结算方法，基于上述图4所示的第三实施例，所述步骤s2200，“定位每一帧的所述在时间上连续的关键帧中的商品特征，提取出具有目标商品的目标关键帧”包括：
步骤s2210，对所述在时间上连续的关键帧进行阈值分割算法进行分割，得到二值图像；
上述，需要理解的是，二值图像是指将图像上的每一个像素只有两种可能的取值或灰度等级状态，人们经常用黑白、b&w、单色图像表示二值图像。二值图像是指在图像中，灰度等级只有两种，也就是说，图像中的任何像素不是0就是1，再无其他过渡的灰度值。
上述，需要理解的是，图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程，即把属于同一区域的像索赋予相同的编号。
上述，需要理解的是，阈值分割法是一种最常用的并行区域技术，它是图像分割中应用数量最多的一类。阈值分割算法的关键是确定阈值，如果能确定一个合适的阈值就可准确地将图像分割开来。阈值确定后，将阈值与像素点的灰度值逐个进行比较，而且像素分割可对各像素并行地进行，分割的结果直接给出图像区域。阈值分割的优点是计算简单、运算效率较高、速度快。在重视运算效率的应用场合(如用于硬件实现)，它得到了广泛应用。阈值的选择需要根据具体问题来确定，一般通过实验来确定。对于给定的图像，可以通过分析直方图的方法确定最佳的阈值，例如当直方图明显呈现双峰情况时，可以选择两个峰值的中点作为最佳阈值。
上述，关键帧，为将所述商品图像转换的多个在时间上连续的多帧图像。具体的，也可以通过系统对关键帧的自动优化处理，实现大小、规格、形式、格式或条件相同或相似的图像，从而可进行进一步的通过计算机对图像的识别。通过对关键帧进行阈值分割算法进行分割，从而得到分割后二值图像。
步骤s2220，以预先采集的用户未抓取商品的手部图像作为对比种子图，对所述分割后二值图像进行比对，以框出所有所述关键帧中，具有区别于所述对比种子图的目标商品的图像，得到具有所述商品的目标关键帧。
在本实施例中，所述分割后二值图像可以用户的手部手势区域的分割后二值图像和除用户手部手势区域以外的背景部分分割后二值图像。取手部手势区域的分割后二值图像和除用户手部手势区域以外的背景部分的并集，作为目标图片，进而通过区域生长算法，基于预先采集的用户未抓取商品的手部图像作为对比种子图作为种子，进行计算，分割出区域二值图像。
上述，预先采集的用户未抓取商品的手部图像作为对比种子图，可通过时间轴进行判断，从而得出采集时机，即在用户进行购物且手势中并没有持有相关的目标商品时的图像，采集后做为对比种子图进行进一步的对比。
所述步骤s2210，“对所述在时间上连续的关键帧进行阈值分割算法进行分割，得到二值图像”包括：
步骤s2211，将每一帧的所述在时间上连续的关键帧转化为hsv颜色空间，得hsv图像；
上述，需要理解的是，hsv(hue,saturation,value)是根据颜色的直观特性由a.r.smith在1978年创建的一种颜色空间,也称六角锥体模型(hexconemodel)。这个模型中颜色的参数分别是：色调(h)，饱和度(s)，明度(v)。
上述，色调h为用角度度量，取值范围为0°～360°，从红色开始按逆时针方向计算，红色为0°，绿色为120°,蓝色为240°。它们的补色是：黄色为60°，青色为180°,品红为300°；饱和度s表示颜色接近光谱色的程度。一种颜色，可以看成是某种光谱色与白色混合的结果。其中光谱色所占的比例愈大，颜色接近光谱色的程度就愈高，颜色的饱和度也就愈高。饱和度高，颜色则深而艳。光谱色的白光成分为0，饱和度达到最高。通常取值范围为0％～100％，值越大，颜色越饱和；明度v，表示颜色明亮的程度，对于光源色，明度值与发光体的光亮度有关；对于物体色，此值和物体的透射比或反射比有关。通常取值范围为0％(黑)到100％(白)。
上述，关键帧转化为hsv颜色空间，即为将rgb模型的关键帧转换为hsv模型的hsv图像。在进行hsv模型的转换后，对转换后图像进行截取目标图像。
步骤s2212，对所述hsv图像进行直方图分析，得到与所述hsv图像对应的阈值范围；
上述，需要理解的是，直方图(histogram)又称质量分布图。是一种统计报告图，由一系列高度不等的纵向条纹或线段表示数据分布的情况。一般用横轴表示数据类型，纵轴表示分布情况。直方图是数值数据分布的精确图形表示。为了构建直方图，第一步是将值的范围分段，即将整个值的范围分成一系列间隔，然后计算每个间隔中有多少值。这些值通常被指定为连续的，不重叠的变量间隔。间隔必须相邻，并且通常是(但不是必须的)相等的大小。
上述，通过对hsv图像进行直方图分析，从而得到每个图像对应的在h、s、v三个不同维度上的上下界的阈值范围。
步骤s2213，对每一帧的所述在时间上连续的关键帧中的每个像素点进行阈值分割，确认其中在h、s、v三个维度的像素值都在所述阈值范围内的像素点；
步骤s2214，将在h、s、v三个维度的像素值都在所述阈值范围内的像素点设置为1，将在h、s、v三个维度的像素值不都在所述阈值范围内的像素点设置为0，得到所述分割后所述二值图像。
上述，需要理解的是，阈值分割法是一种基于区域的图像分割技术，原理是把图像象素点分为若干类。图像阈值化分割是一种传统的最常用的图像分割方法，因其实现简单、计算量小、性能较稳定而成为图像分割中最基本和应用最广泛的分割技术。它特别适用于目标和背景占据不同灰度级范围的图像。它不仅可以极大的压缩数据量，而且也大大简化了分析和处理步骤，因此在很多情况下，是进行图像分析、特征提取与模式识别之前的必要的图像预处理过程。图像阈值化的目的是要按照灰度级，对像素集合进行一个划分，得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一致的属性，而相邻区域不具有这种一致属性。这样的划分可以通过从灰度级出发选取一个或多个阈值来实现。
上述，对图像的每个点进行阈值分割，判断该点h、s、v三个维度的像素值是否都在直方图分析得到的阈值范围，建立一个二值图像，将符合条件的点置1，不符合的点置0，得到每一帧的所述在时间上连续的关键帧阈值分割后的二值图像。
实施例5：
参照图7，本发明第五实施例提供一种购物结算方法，基于上述图2所示的第一实施例，
所述步骤s1000，“采集购物区域内用户拿取目标商品的商品拿取手势图像”之前，还包括：
步骤s6000，采集用户购物前在购物区域内的购物前商品图像，作为预设陈列图像；
上述，在用户进行购物前，通过图像采集设备对购物区域内进行商品图像的采集，作为预设陈列图像。图像采集时机可以为对于购物区域的实时图像采集，或者，在每次结束购物时，即进行图像采集，从而得到预设陈列图像。
所述步骤s4000，所述“将所述视觉购物数据与所述重力购物数据进行比对，判断所述视觉购物数据与所述重力购物数据是否相同”之后，还包括：
步骤s7000，若否，则采集所述用户购物后的所述购物区域内的商品陈列图像；
上述，如果所述视觉购物数据与所述重力购物数据不相同，则判定可能存在计算失误情况，则开启对于购物区域内的的图像采集设备，对有购物区域的陈列商品进行图像采集，此时采集到的为用户进行购物并拿取所购商品后的图像。
步骤s8000，将所述商品陈列图像与所述用户购物前采集的预设陈列图像进行比对，根据所述商品陈列图像提取所述预设陈列图像中包括所述目标商品的最小购买商品截图图像；
上述，将商品陈列图像与预设陈列图像进行比对，从而提取出具有商品陈列图像中区别于预设陈列图像的商品图像的最小购买商品截图图像。
步骤s9000，对所述最小购买商品截图图像进行识别，得到陈列图像识别数据；所述陈列图像识别数据包括基于图像识别的所述购物区域内所述用户取出的目标商品的第三品种信息和第三数量信息；
基于神经网络学习技术，对最小购买商品截图图像进行识别，从而对可或得到陈列图像识别数据，其中陈列图像识别数据包括第三品种信息和第三数量信息。
步骤s10000，根据所述陈列图像识别数据，生成结算清单，以便于所述用户根据所述结算清单进行结算。
上述，在步骤s9000与步骤s10000之间，还可以增加如下步骤：
取陈列图像识别数据、重力购物数据、视觉购物数据进行三方两两比对，以确定陈列图像识别数据、重力购物数据、视觉购物数据中，是否存在其中两个以上的数据相同的情况；
若存在陈列图像识别数据、重力购物数据、视觉购物数据中两个数据相同的情况，则可进行下一步的步骤s10000的执行。
此外，也可对上述不同的数据进行报错、保存并上传至云端，以便于管理人员进行故障排查。
在本实施例中，在对于所述视觉购物数据与所述重力购物数据不相同的情况下，通过图像采集设备采集购物区域内，例如自动售货机柜体内，对内部商品进行图像采集，得到商品陈列图像，并与购物前的所采集的预设陈列图像进行比对，由其中区别点即根据所述商品陈列图像提取所述预设陈列图像中包括所述目标商品的最小购买商品截图图像，并进行对于最小购买商品截图图像的图像识别，以便于识别出出现缺失(用户取走的)商品的第三品种信息和第三数量信息，并根据上述信息生成结算清单进行结算，通过对于比对不相同的出现异常数据进行第二次的识别判断，从而提高了对于用户购物商品的品种和数量识别的准确性。
此外，本发明还提供一种购物结算装置，包括：采集模块10、识别模块20、获取模块30、比对模块40和结算模块50；
所述采集模块快10，用于采集购物区域内用户拿取目标商品的商品拿取手势图像；
所述识别模块20，用于对所述商品拿取手势图像进行识别，确定所述目标商品的视觉购物数据；所述视觉购物数据包括基于图像识别的所述用户购物的目标商品的第一品种信息和第一数量信息；
所述获取模块30，用于获取与所述目标商品对应的重力传感器返回的重力变化数据，并根据所述重力变化数据得到所述用户拿取的目标商品的重力购物数据；所述重力购物数据包括基于重力变化数据的所述用户购物的目标商品的第二品种信息和第二数量信息；
所述比对模块40，用于将所述视觉购物数据与所述重力购物数据进行比对，判断所述视觉购物数据与所述重力购物数据是否相同；
所述结算模块50，用于在所述视觉购物数据与所述重力购物数据相同时，生成结算清单，以便于所述用户根据所述结算清单进行结算。
此外，本发明还提供一种用户终端，包括存储器以及处理器，所述存储器用于存储购物结算程序，所述处理器运行所述购物结算程序以使所述用户终端执行如上述所述购物结算方法。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有购物结算程序，所述购物结算程序被处理器执行时实现如上述所述购物结算方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。