基于人机交互的收银纠错方法及装置与流程

1.本发明实施例涉及智慧收银技术领域，具体涉及一种基于人机交互的收银纠错方法、装置、计算设备及计算机存储介质，还涉及一种商品识别模型的训练方法、装置、计算设备及计算机存储介质。


背景技术：

2.智慧门店是一种可以由消费者自助选购及自助结算的线下门店。相较于传统的线下门店，智慧门店具有人工成本低、结算效率高、以及便于管理等特点。
3.智慧门店通过收银设备对消费者选取的商品进行自动识别，继而完成消费结算。现有技术中，通常采用机器学习算法来训练商品识别模型，并利用该商品识别模型来识别消费者选取的商品。
4.现有技术中常常需专业的算法人员定期地从海量数据中筛选出样本数据，并通过人工标注的方式对样本进行标注，继而利用标注后的样本数据对商品识别模型进行更新。然而，采用该种方式不仅无法及时更新商品识别模型，影响了商品识别模型的识别精度，导致商品识别准确率不高；而且现有技术依赖于算法人员对训练样本的人工筛选及标注，从而存在人工成本高及模型更新效率低下的弊端。


技术实现要素：

5.鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的基于人机交互的收银纠错方法、装置、计算设备及计算机存储介质。
6.根据本发明实施例的一个方面，提供了一种基于人机交互的收银纠错方法，包括：获取对拍摄得到的商品图像所识别得到的至少一个第一商品识别结果，在人机交互界面中呈现所述至少一个第一商品识别结果；其中，所述至少一个第一商品识别结果由训练得到的商品识别模型输出得到；监测用户在所述人机交互界面针对任一第一商品识别结果执行的选择操作及更正操作，获取用户更正数据，所述用户更正数据包含第二商品识别结果，所述第二商品识别结果为所选择的第一商品识别结果的纠错结果。
7.在一种可选的方式中，所述方法还包括：将所述第二商品识别结果反馈至服务端，以供所述服务端根据所述第二商品识别结果对所述商品识别模型进行更新训练。
8.在一种可选的方式中，所述将所述第二商品识别结果反馈至服务端，以供所述服务端根据所述第二商品识别结果对所述商品识别模型进行更新训练具体为：将所述第二商品识别结果反馈至服务端，以供所述服务端将所述第二商品识别结果作为商品图像的标注结果，对所述商品识别模型进行更新训练。
9.在一种可选的方式中，所述人机交互界面包含各个第一商品识别结果对应的响应区，所述各个第一商品识别结果对应的响应区互不重叠；监测用户在所述人机交互界面针对任一第一商品识别结果执行的选择操作进一
步包括：监测用户在所述人机交互界面执行的选择操作，定位所述选择操作对应的响应区；根据所述选择操作对应的响应区，确定用户所选择的第一商品识别结果。
10.在一种可选的方式中，监测用户在所述人机交互界面针对任一第一商品识别结果执行的更正操作，获取用户更正数据进一步包括：在人机交互界面中呈现至少一个备选商品识别结果；监测用户从所述至少一个备选商品识别结果选择任一备选商品识别结果的更正操作，获取所选择的备选商品识别结果作为所述第二商品识别结果。
11.在一种可选的方式中，所述至少一个备选商品识别结果具体为由所述商品识别模型输出得到的置信度低于所述第一商品识别结果的商品识别结果。
12.在一种可选的方式中，监测用户在所述人机交互界面针对任一第一商品识别结果执行的更正操作，获取用户更正数据进一步包括：在人机交互界面中呈现商品信息输入文本框；监测用户在所述商品信息输入框内输入商品信息的更正操作，获取所输入的商品信息作为第二商品识别结果。
13.在一种可选的方式中，监测用户在所述人机交互界面针对任一第一商品识别结果执行的更正操作，获取用户更正数据进一步包括：监测用户将第一商品识别结果标注为非结算商品的更正操作，获取被标注为非结算商品的第二商品识别结果。
14.在一种可选的方式中，所述在人机交互界面中呈现所述至少一个第一商品识别结果进一步包括：在人机交互界面中呈现所述至少一个第一商品识别结果以及所述至少一个第一商品识别结果的置信度。
15.根据本发明实施例的另一个方面，提供了一种基于人机交互的收银纠错装置，包括：第一获取模块，用于获取对拍摄得到的商品图像所识别得到的至少一个第一商品识别结果；呈现模块，用于在人机交互界面中呈现所述至少一个第一商品识别结果；其中，所述至少一个第一商品识别结果由训练得到的商品识别模型输出得到；第二获取模块，用于监测用户在所述人机交互界面针对任一第一商品识别结果执行的选择操作及更正操作，获取用户更正数据，所述用户更正数据包含第二商品识别结果，所述第二商品识别结果为所选择的第一商品识别结果的纠错结果。
16.在一种可选的方式中，所述装置还包括：反馈模块，用于将所述第二商品识别结果反馈至服务端，以供所述服务端根据所述第二商品识别结果对所述商品识别模型进行更新训练。
17.在一种可选的方式中，所述反馈模块进一步用于：将所述第二商品识别结果反馈至服务端，以供所述服务端将所述第二商品识别结果作为商品图像的标注结果，对所述商品识别模型进行更新训练。
18.在一种可选的方式中，所述人机交互界面包含各个第一商品识别结果对应的响应区，所述各个第一商品识别结果对应的响应区互不重叠；所述第二获取模块进一步用于：监测用户在所述人机交互界面执行的选择操作，定位所述选择操作对应的响应区；根据所述选择操作对应的响应区，确定用户所选择的第一商品识别结果。
19.在一种可选的方式中，所述第二获取模块进一步用于：在人机交互界面中呈现至少一个备选商品识别结果；监测用户从所述至少一个备选商品识别结果选择任一备选商品识别结果的更正操作，获取所选择的备选商品识别结果作为所述第二商品识别结果。
20.在一种可选的方式中，所述至少一个备选商品识别结果具体为由所述商品识别模型输出得到的置信度低于所述第一商品识别结果的商品识别结果。
21.在一种可选的方式中，所述第二获取模块进一步用于：在人机交互界面中呈现商品信息输入文本框；监测用户在所述商品信息输入框内输入商品信息的更正操作，获取所输入的商品信息作为第二商品识别结果。
22.在一种可选的方式中，所述第二获取模块进一步用于：监测用户将第一商品识别结果标注为非结算商品的更正操作，获取被标注为非结算商品的第二商品识别结果。
23.在一种可选的方式中，所述呈现模块进一步用于：在人机交互界面中呈现所述至少一个第一商品识别结果以及所述至少一个第一商品识别结果的置信度。
24.根据本发明实施例的又一个方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述基于人机交互的收银纠错方法对应的操作。
25.根据本发明实施例的再一个方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行上述基于人机交互的收银纠错方法对应的操作。
26.根据本发明实施例提供的基于人机交互的收银纠错方法及装置，通过人机交互界面呈现商品识别模型输出得到的第一商品识别结果，进一步通过人机交互界面向用户提供针对第一商品识别结果的选择及更正操作，以便用户在发现商品识别错误时能及时地进行更正纠错，提升了商品结算的准确率；另外，通过人机交互界面完成收银纠错，操作方式便捷，避免了对用户的结算体验的影响。进一步的，第一商品识别结果的纠错结果还可以反馈给服务端，以供服务端针对第一商品识别结果的纠错结果来对商品识别模型进行更新训练，提升商品识别模型的识别精度，并降低商品识别模型更新所需的人工成本，以及能够提高商品识别模型的更新效率。
27.鉴于上述问题，还提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的商品识别模型的训练方法、装置、计算设备及计算机存储介质。
28.根据本发明实施例的一个方面，提供了一种商品识别模型的训练方法，包括：将拍摄得到的商品图像输入到预先训练得到的商品识别模型中，得到第一商品识别结果；接收客户端反馈的第二商品识别结果；其中，所述第二商品识别结果为所述第一商品识别结果的纠错结果；根据所述第二商品识别结果对所述商品识别模型进行更新训练。
29.在一种可选的方式中，所述根据所述第二商品识别结果对所述商品识别模型进行更新训练具体为：将所述第二商品识别结果作为商品图像的标注结果，对所述商品识别模型进行更新训练。
30.在一种可选的方式中，所述将拍摄得到的商品图像输入到预先训练得到的商品识别模型中，得到第一商品识别结果具体为：将拍摄得到的商品图像输入到预先训练得到的商品识别模型中，得到第一商品识别结果以及至少一个备选商品识别结果；所述方法还包括：将所述至少一个备选商品识别结果发送给客户端，以供客户端在人机交互界面中呈现至少一个备选商品识别结果，监测用户从所述至少一个备选商品识别结果选择任一备选商品识别结果的更正操作，获取所选择的备选商品识别结果作为所述第二商品识别结果。
31.在一种可选的方式中，所述至少一个备选商品识别结果具体为置信度低于所述第一商品识别结果的商品识别结果。
32.在一种可选的方式中，所述根据所述第二商品识别结果对所述商品识别模型进行更新训练进一步包括：若所述第二商品识别结果为备选商品识别结果或用户输入的商品信息，则将所述第二商品识别结果作为商品图像的正样本标注结果，对所述商品识别模型进行更新训练。
33.在一种可选的方式中，所述根据所述第二商品识别结果对所述商品识别模型进行更新训练进一步包括：若所述第二商品识别结果被标注为非结算商品，则将所述第二商品识别结果作为商品图像的负样本标注结果，对所述商品识别模型进行更新训练。
34.根据本发明实施例的另一方面，提供了一种商品识别模型的训练装置，包括：获取模块，用于将拍摄得到的商品图像输入到预先训练得到的商品识别模型中，得到第一商品识别结果；接收模块，用于接收客户端反馈的第二商品识别结果；其中，所述第二商品识别结果为所述第一商品识别结果的纠错结果；更新模块，用于根据所述第二商品识别结果对所述商品识别模型进行更新训练。
35.在一种可选的方式中，所述更新模块进一步用于：将所述第二商品识别结果作为商品图像的标注结果，对所述商品识别模型进行更新训练。
36.在一种可选的方式中，所述获取模块进一步用于：将拍摄得到的商品图像输入到预先训练得到的商品识别模型中，得到第一商品识别结果以及至少一个备选商品识别结果；
所述装置还包括：发送模块，用于将所述至少一个备选商品识别结果发送给客户端，以供客户端在人机交互界面中呈现至少一个备选商品识别结果，监测用户从所述至少一个备选商品识别结果选择任一备选商品识别结果的更正操作，获取所选择的备选商品识别结果作为所述第二商品识别结果。
37.在一种可选的方式中，所述至少一个备选商品识别结果具体为置信度低于所述第一商品识别结果的商品识别结果。
38.在一种可选的方式中，所述更新模块进一步用于：若所述第二商品识别结果为备选商品识别结果或用户输入的商品信息，则将所述第二商品识别结果作为商品图像的正样本标注结果，对所述商品识别模型进行更新训练。
39.在一种可选的方式中，所述更新模块进一步用于：若所述第二商品识别结果被标注为非结算商品，则将所述第二商品识别结果作为商品图像的负样本标注结果，对所述商品识别模型进行更新训练。
40.根据本发明实施例的又一个方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述商品识别模型的训练方法对应的操作。
41.根据本发明实施例的再一个方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行上述商品识别模型的训练方法对应的操作。
42.根据本发明实施例提供的商品识别模型的训练方法、装置、计算设备及计算机存储介质，将拍摄得到的商品图像输入到预先训练得到的商品识别模型中，得到第一商品识别结果；进一步接收客户端反馈的第二商品识别结果；其中第二商品识别结果为第一商品识别结果的纠错结果，最后根据第二商品识别结果对商品识别模型进行更新训练。本发明实施例中以客户端反馈的针对第一商品识别结果的纠错结果来对商品识别模型进行更新训练，无需算法人员对样本数据进行人工筛选及标注，从而降低人工成本，提高模型更新效率。
43.上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明实施例的具体实施方式。
附图说明
44.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了根据本发明一个实施例提供的基于人机交互的收银纠错方法的流程图；图2示出了根据本发明另一个实施例提供的基于人机交互的收银纠错方法的流程图；
图3示出了本发明实施例提供的一种人机交互界面的示意图；图4示出了本发明实施例提供的另一种人机交互界面的示意图；图5示出了根据本发明又一个实施例提供的基于人机交互的收银纠错方法的流程图；图6示出了根据本发明再一个实施例提供的基于人机交互的收银纠错方法的流程图；图7示出了根据本发明一个实施例提供的商品识别模型的训练方法的流程图；图8示出了根据本发明一个实施例提供的基于人机交互的收银纠错装置的结构示意图；图9示出了根据本发明一个实施例提供的商品识别模型的训练装置的结构示意图；图10示出了根据本发明一个实施例提供的计算设备的结构示意图。
具体实施方式
45.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
46.图1示出了根据本发明一个实施例提供的基于人机交互的收银纠错方法的流程图。本实施例所提供的基于人机交互的收银纠错方法可以应用于智慧门店的收银客户端等。
47.如图1所示，该方法包括以下步骤：步骤110：获取对拍摄得到的商品图像所识别得到的至少一个第一商品识别结果，在人机交互界面中呈现至少一个第一商品识别结果；其中，至少一个第一商品识别结果由训练得到的商品识别模型输出得到。
48.用户在智慧门店进行商品结算时，可以将待结算的至少一个商品置于客户端对应的商品图像采集区域，客户端通过图像采集设备拍摄得到该至少一个待结算商品的商品图像。
49.拍摄得到的商品图像进一步被输入至训练得到的商品识别模型中。商品识别模型对该商品图像进行识别后，输出针对该商品图像的至少一个第一商品识别结果。则客户端获取该至少一个第一商品识别结果，并在人机交互界面中呈现至少一个第一商品识别结果。
50.步骤120：监测用户在人机交互界面针对任一第一商品识别结果执行的选择操作及更正操作，获取用户更正数据，用户更正数据包含第二商品识别结果，第二商品识别结果为所选择的第一商品识别结果的纠错结果。
51.根据人机交互界面显示的至少一个第一商品识别结果，用户可以直观地确定出各个第一商品识别结果是否准确，从而便于快速地在人机交互界面中执行相应的交互操作。具体地，若用户发现至少一个第一商品识别结果均准确，用户可以在人机交互界面执行下一步的支付或确认等交互操作；若用户发现其中任一个或任多个第一商品识别结果不准
确，用户可以在人机交互界面中针对不准确的第一商品识别结果执行选择操作、更正操作等一系列交互操作。
52.客户端通过监测用户在人机交互界面执行的选择操作及更正操作，可以及时地获取用户更正数据。
53.可选地，人机交互界面可包含各个第一商品识别结果对应的响应区（也称热区），各个第一商品识别结果对应的响应区互不重叠。例如，选取第一商品识别结果的外接矩形框作为响应区，如果任意两个第一商品识别结果的外接矩形框存在重叠区域，则适当缩小该两个第一商品识别结果的响应区。
54.监测用户在人机交互界面执行的选择操作，定位选择操作对应的响应区；根据选择操作对应的响应区，确定用户所选择的第一商品识别结果。如果用户发现其中存在不准确的第一商品识别结果，可以在该第一商品识别结果的响应区内执行选择操作，客户端通过捕捉选择操作的操作位置，定位选择操作对应的响应区，进而确定用户选择了哪个第一商品识别结果。
55.接着，监测用户在人机交互界面执行的更正操作，获取用户更正数据，该用户更正数据包含了第一商品识别结果的纠错结果，即用户更正数据中包含了第二商品识别结果。
56.步骤130：将第二商品识别结果反馈至服务端，以供服务端根据第二商品识别结果对商品识别模型进行更新训练。
57.客户端将获取到的第二商品识别结果及时地反馈至服务端，服务端利用该第二商品识别结果对商品识别模型进行更新训练，从而提升商品识别模型后续的识别精度。具体地，可将第二商品识别结果反馈至服务端，以供服务端将第二商品识别结果作为商品图像的标注结果，对商品识别模型进行更新训练。
58.采用本发明实施例提供的基于人机交互的收银纠错方法，先在收银客户端的人机交互界面中呈现商品识别模型输出的第一商品识别结果，从而供用户直观地获知待结算商品的识别结果；并且本发明实施例中，用户在确定第一商品识别结果不准确时，可在人机交互界面中执行选择操作及更正操作，一方面能够获取用户针对第一商品识别结果的纠错结果，另一方面为用户提供反馈渠道，有利于提升用户体验；再者，本发明实施例利用用户针对第一商品识别结果的纠错结果来对商品识别模型进行更新训练，无需算法人员对样本数据进行人工筛选及标注，从而降低模型更新所需的人工成本，提高模型更新效率；此外，用户针对第一商品识别结果的纠错结果可以及时地反馈至服务端，从而服务端能够及时地利用纠错结果对模型进行更新训练，保障了后续商品识别模型的识别精度。
59.图2示出了根据本发明另一个实施例提供的基于人机交互的收银纠错方法的流程图。
60.如图2所示，该方法包括以下步骤：步骤210：获取对拍摄得到的商品图像所识别得到的至少一个第一商品识别结果，在人机交互界面中呈现至少一个第一商品识别结果；其中，至少一个第一商品识别结果由训练得到的商品识别模型输出得到。
61.收银客户端将拍摄得到的商品图像传输给服务端后，服务端将该商品图像输入至训练得到的商品识别模型中，继而由商品识别模型输出针对该商品图像的识别结果。
62.在实际的实施过程中，对于商品图像中任一个商品，商品识别模型通常会预测得
到针对该商品的多个商品识别结果，每个商品识别结果具有对应的置信度。其中，商品识别结果的置信度越高，表明商品识别结果靠近真实商品的概率越高。从而可将商品识别模型输出的置信度最高的商品识别结果作为第一商品识别结果，并将该第一商品识别结果反馈给客户端。如果商品图像中包含需一并结算的多个商品，商品识别模型分别预测得到各个商品的商品识别结果，选取每个商品的置信度最高的第一商品识别结果反馈给客户端。
63.客户端将接收到的第一商品识别结果呈现在人机交互界面中。可选的，为了便于用户直观地获知第一商品识别结果的识别精度，本发明实施例人机交互界面中除了呈现有第一商品识别结果外，还进一步呈现有第一商品识别结果的置信度。如图3所示，在人机交互界面中呈现有第一商品识别结果“商品a”以及第一商品识别结果的置信度“0.836”。
64.步骤220：监测用户在人机交互界面执行的选择操作，定位选择操作对应的响应区；根据选择操作对应的响应区，确定用户所选择的第一商品识别结果。
65.在无管理员的自助结算场景中，本实施例中的用户具体为消费者用户。参见图3，若消费者用户对第一商品识别结果无异议，则可通过点击“支付”控件触发支付请求；若消费者用户确定第一商品识别结果存在错误，可调整商品的摆放位置及角度，并通过点击“重新识别”控件触发新的识别请求。若重新识别的第一商品识别结果仍然存在错误，消费者用户可在人机交互界面执行选择操作，例如点击或双击第一商品识别结果对应的热区，收银客户端响应于用户的选择操作，确定用户所选择的第一商品识别结果。
66.在有管理员的结算场景中，为便于收银结算的管理，智慧门店中的收银客户端可对应于多个显示设备，该多个显示设备包括面向消费者用户的主显示设备以及面向管理员用户的副显示设备。每个显示设备中显示有人机交互界面，主显示设备中的显示内容可同步至副显示设备。当消费者用户确定主显示设备中人机交互界面呈现的第一商品识别结果存在错误时，可通知管理员。由于副显示设备中同步显示了主显示设备的内容，从而管理员可根据副显示设备中的显示内容获知第一商品识别结果。管理员在确定第一商品识别结果确实存在错误时，管理员用户可在人机交互界面对第一商品识别结果触发选择操作及更正操作。
67.作为另一种可选的实施方式，为节约硬件资源，收银客户端仅对应于一个显示设备。当消费者用户确定人机交互界面呈现的第一商品识别结果存在错误时，可通知管理员。管理员用户可通过显示设备呈现的人机交互界面中的管理员登陆入口触发管理员身份认证请求，在管理员身份认证通过后，管理员用户可在人机交互界面对第一商品识别结果触发选择操作及更正操作。
68.步骤230：响应于选择操作，在人机交互界面中呈现至少一个备选商品识别结果。
69.响应于选择操作，获取至少一个备选商品识别结果。其中，该至少一个备选商品识别结果具体为由商品识别模型预测得到的置信度低于第一商品识别结果的商品识别结果。进一步将该至少一个备选商品识别结果显示于人机交互界面中。
70.例如，用户在双击图3中的“商品a”热区后，呈现出图4所示的人机交互界面。如图4所示，人机交互界面中呈现了两个备选商品识别结果“商品b”及“商品c”，以及还呈现有“商品b”的置信度“0.732”及“商品c”的置信度“0.543”。从中可看出，备选商品识别结果“商品b”及备选商品识别结果“商品c”的置信度均低于第一商品识别结果“商品a”的置信度“0.836”。
71.步骤240：监测用户从至少一个备选商品识别结果选择任一备选商品识别结果的更正操作，获取所选择的备选商品识别结果作为第二商品识别结果。
72.用户可从呈现的备选商品识别结果中选择出正确的商品识别结果作为第二商品识别结果。
73.可选的，若用户在该至少一个备选商品识别结果中无法找到正确的商品识别结果，则可通过文本框呼出操作呼出文本框，并在文本框中输入正确的商品识别结果，并将该输入的商品识别结果作为第二商品识别结果。
74.步骤250：将第二商品识别结果反馈至服务端，以供服务端根据第二商品识别结果对商品识别模型进行更新训练。
75.采用本发明实施例提供的基于人机交互的收银纠错方法，监测用户在人机交互界面对第一商品识别结果所触发的选择操作及更正操作，获取并呈现至少一个备选商品识别结果，接收用户从至少一个备选商品识别结果选择的备选商品识别结果，作为第二商品识别结果。本发明实施例在用户触发选择操作后，呈现备选商品识别结果，并由用户在备选商品识别结果中选择出正确的商品识别结果，从而提升第二商品识别结果的获取效率，并且无需用户手动输入商品识别结果，有利于用户体验的提升；此外，由于商品识别模型针对同一商品图像输出的多个商品识别结果之间相似度较高，从而第一商品识别结果与备选商品识别结果相似度较高，所以本发明实施例尤其适用于待结算商品存在较多相似商品的场景中。
76.图5示出了根据本发明又一个实施例提供的基于人机交互的收银纠错方法的流程图。
77.如图5所示，该方法包括以下步骤：步骤510：获取对拍摄得到的商品图像所识别得到的至少一个第一商品识别结果，在人机交互界面中呈现至少一个第一商品识别结果；其中，至少一个第一商品识别结果由训练得到的商品识别模型输出得到。
78.步骤520：监测用户在人机交互界面执行的选择操作，定位选择操作对应的响应区；根据选择操作对应的响应区，确定用户所选择的第一商品识别结果。
79.上述步骤510和520的具体执行过程可参照步骤210和220中的描述，本步骤在此不作赘述。
80.步骤530：响应于选择操作，在人机交互界面中呈现商品信息输入文本框。
81.在现有技术中，若智慧门店推出新品，常常需门店管理人员专门拍摄新品图像，并通过新品录入入口来录入新品信息，继而通过新品上传入口将拍摄的新品图像及录入的新品信息上传给服务端，由服务端利用该新品图像及新品信息进行模型更新。然而，采用该种方式需管理人员额外拍摄新品图像，不仅操作繁琐，效率低下，而且易浪费系统存储资源；此外，采用该种方式需额外为门店管理人员配置新品录入入口及新品上传入口，进一步加大了系统逻辑复杂度，也容易引起误操作现象的发生。
82.而在本发明实施例中，可利用用户的交互操作来实现新品录入。具体地，若待结算商品为新品，则第一商品识别结果存在错误，从而用户触发选择操作，则本发明实施例响应该选择操作呈现商品信息输入文本框，通过该商品信息输入文本框来输入新品信息。
83.可选地，用户触发选择操作，可以先呈现至少一个备选商品识别结果，若用户在该
至少一个备选商品识别结果中无法找到正确的商品识别结果，则可通过文本框呼出操作呼出商品信息输入文本框。
84.步骤540：监测用户在商品信息输入框内输入商品信息的更正操作，获取所输入的商品信息作为第二商品识别结果。
85.其中，本发明实施例对在商品信息输入框内输入商品信息的方式不作限定。例如，用户可通过虚拟或实体键盘在商品信息输入框内输入商品信息；也可通过语音输入的方式输入商品信息。可选的，在通过语音输入的方式输入商品信息过程中，可将语音信息转换为文本字符继而显示在商品信息输入框内，以便用户核查输入的商品信息是否准确。
86.步骤550：将第二商品识别结果反馈至服务端，以供服务端根据第二商品识别结果对商品识别模型进行更新训练。
87.采用本发明实施例提供的基于人机交互的收银纠错方法，监测用户在人机交互界面对第一商品识别结果所触发的选择操作，并响应于选择操作，呈现商品信息输入文本框，并接收用户在商品信息输入框内输入的商品信息，作为第二商品识别结果。本发明实施例在智慧门店推出新品的场景中，无需门店管理人员额外拍摄新品图像便可以实现商品识别模型的更新，不仅精简了操作流程，提升新品更新效率，而且节约了系统资源，简化系统逻辑。
88.图6示出了根据本发明再一个实施例提供的基于人机交互的收银纠错方法的流程图。
89.如图6所示，该方法包括以下步骤：步骤610：获取对拍摄得到的商品图像所识别得到的至少一个第一商品识别结果，在人机交互界面中呈现至少一个第一商品识别结果；其中，至少一个第一商品识别结果由训练得到的商品识别模型输出得到。
90.步骤620：监测用户在人机交互界面执行的选择操作，定位选择操作对应的响应区；根据选择操作对应的响应区，确定用户所选择的第一商品识别结果。
91.上述步骤610和620的具体执行过程可参照步骤210和220中的描述，本步骤在此不作赘述。
92.步骤630：监测用户将第一商品识别结果标注为非结算商品的更正操作，获取被标注为非结算商品的第二商品识别结果。
93.若至少一个第一商品识别结果中包含了非结算商品，则用户可在人机交互界面中触发将其标注为非结算商品的更正操作。例如，消费者用户选购的商品为商品a，而商品图像中除了包含由商品a外，还包含有消费者用户的手机。则第一商品识别结果包含了“商品a”以及“手机p”，其中“手机p”为非结算商品。用户可触发选择操作及更正操作，将第一商品识别结果“手机p”更正为非结算商品。
94.在一种可选的实施方式中，步骤620中的选择操作可以为在第一商品识别结果对应的热区的长摁操作，在监测到用户的长摁操作之后，弹出“加入黑名单”的选项，用户点击该选项（触发更正操作），对应的第一商品识别结果就被加入到后台黑名单中，被添加到黑名单的第一商品识别结果即为被标注为非结算商品。
95.步骤640：将第二商品识别结果反馈至服务端，以供服务端根据第二商品识别结果对商品识别模型进行更新训练。
96.沿用上述示例，若将第一商品识别结果“手机p”加入黑名单，则服务端根据该第二商品识别结果对商品识别模型进行更新训练，更新训练后的商品识别模型在识别后续的商品图像时，不再将“手机p”作为输出结果。
97.采用本发明实施例提供的基于人机交互的收银纠错方法，监测用户在人机交互界面对第一商品识别结果所触发的选择操作及更正操作，响应于相应的操作，获取被标注为非结算商品的第二商品识别结果。本发明实施例能够供用户将非结算商品加入黑名单，并利用被标注为非结算商品的第二商品识别结果对商品识别模型进行更新训练，从而减少商品识别模型输出非结算商品识别结果现象的发生。
98.图7示出了根据本发明一个实施例提供的商品识别模型的训练方法的流程图。其中，本发明实施例所提供的商品识别模型的训练方法可以应用于智慧门店对应的服务端，也可以应用于智慧门店的客户端，本发明对此不作限制。在下面的实施例中，以应用于服务端为例进行阐述。
99.如图7所示，该方法包括以下步骤：步骤710：将拍摄得到的商品图像输入到预先训练得到的商品识别模型中，得到第一商品识别结果。
100.收银客户端通过图像采集设备拍摄得到商品图像之后，将商品图像发送至服务端。服务端中包含有预先训练得到的商品识别模型。该商品识别模型基于机器学习算法构建，本发明实施例对商品识别模型的具体结构不作限定。服务端将该商品图像输入到预先训练得到的商品识别模型中，商品识别模型对该商品图像进行识别后，输出针对该商品图像的第一商品识别结果。
101.作为一种可选的实施方式，针对于餐厅等类别的智慧门店，不同智慧门店所提供的商品存在较大差异。若采用统一的商品识别模型来对该类别下不同智慧门店中的商品图像进行识别，则易出现商品图像识别精度差的弊端。由此，为提升商品图像的识别精度，可针对于该类智慧门店，为每个智慧门店或连锁型智慧门店配置对应的专属商品识别模型。该专属的商品识别模型仅利用对应智慧门店中的商品数据进行模型训练，并在模型训练完毕后，利用该训练得到的商品识别模型对对应的智慧门店上传的商品图像进行识别。由此，在本步骤中，客户端可将拍摄得到的商品图像发送给服务端，服务端将该商品图像输入至与该智慧门店对应的专属商品识别模型中，并得到该专属商品识别模型输出的第一商品识别结果。
102.作为一种可选的实施方式，针对于便利店及超市等类别的智慧门店，不同智慧门店所提供的商品差异较小，由此为简化处理逻辑以及节约系统资源，可采用统一的商品识别模型来对该类别下不同智慧门店中的商品图像进行识别。由此，在本步骤中，客户端可将拍摄得到的商品图像发送给服务端，服务端将该商品图像输入至与该智慧门店对应的统一商品识别模型中，并得到该统一商品识别模型输出的第一商品识别结果。
103.步骤720：接收客户端反馈的第二商品识别结果；其中，第二商品识别结果为第一商品识别结果的纠错结果。
104.服务端将第一商品识别结果发送给客户端后，客户端将第一商品识别结果显示于客户端的人机交互界面中，并通过监测用户在人机交互界面执行的交互操作来获取用户更正数据，该用户更正数据包含了第二商品识别结果，第二商品识别结果为第一商品识别结
果的纠错结果。客户端进一步将第二商品识别结果反馈至服务端。
105.步骤730：根据第二商品识别结果对商品识别模型进行更新训练。
106.服务端根据客户端反馈的第二商品识别结果对商品识别模型进行更新训练，以提高后续商品识别模型的识别精度。
107.采用本发明实施例提供的商品识别模型的训练方法，将拍摄得到的商品图像输入到预先训练得到的商品识别模型中，得到第一商品识别结果。进一步接收客户端反馈的第二商品识别结果；其中第二商品识别结果为第一商品识别结果的纠错结果，最后根据第二商品识别结果对商品识别模型进行更新训练。本发明实施例中以客户端反馈的针对第一商品识别结果的纠错结果来对商品识别模型进行更新训练，无需算法人员对样本数据进行人工筛选及标注，从而降低人工成本，提高模型更新效率。
108.作为一种可选的实施方式，商品图像输入至预先训练得到的商品识别模型中后，针对商品图像中的任一商品，该商品识别模型会输出针对该商品的多个商品识别结果，每个商品识别结果具有对应的置信度。可将商品识别模型输出的置信度最高的识别结果作为该商品的第一商品识别结果，而将置信度低于第一商品识别结果的其他商品识别结果作为该商品的备选商品识别结果。也即，将拍摄得到的商品图像输入到预先训练得到的商品识别模型中，可以得到针对各个商品的第一商品识别结果以及至少一个备选商品识别结果。服务端可以先将各个商品的第一商品识别结果发送给客户端，客户端可响应用户的进一步针对特定商品的选择操作，向服务端发送该特定商品的至少一个备选商品获取请求。服务端进一步将该特定商品的至少一个备选商品识别结果发送给客户端，以供客户端在人机交互界面中呈现至少一个备选商品识别结果，监测用户从至少一个备选商品识别结果选择任一备选商品识别结果的更正操作，获取所选择的备选商品识别结果作为该特定商品的第二商品识别结果。可选地，服务端也可以将各个商品的第一商品识别结果以及至少一个备选商品识别结果一并发送给客户端，客户端响应用户进一步针对特定商品的选择操作，将该特定商品的至少一个备选商品识别结果呈现在人机交互界面中，以供用户执行更正操作从至少一个备选商品识别结果选择的备选商品识别结果，作为该特定商品的第二商品识别结果。
109.作为另一种可选的实施方式，服务端将第一商品识别结果发送给客户端后，客户端响应于用户的选择操作呈现出商品信息输入文本框，客户端接收用户在商品信息输入框内输入的商品信息，并将该输入的商品信息作为第二商品识别结果。
110.作为又一种可选的实施方式，若服务端给客户端发送的第一商品识别结果中包含了非结算商品，则用户可在客户端非结算商品的标注，从而客户端将被标注为非结算商品的第二商品识别结果反馈给服务端。
111.进一步的，在上述步骤730中，将第二商品识别结果作为商品图像的标注结果，对商品识别模型进行更新训练。本发明实施例在利用第二商品识别结果进行商品识别模型的更新训练过程中，具体是将第二商品识别结果作为商品图像的标注结果，继而对商品识别模型进行更新训练。
112.具体地，根据第二商品识别结果的类型来确定商品图像的标注结果。其中，若第二商品识别结果为备选商品识别结果或用户输入的商品信息，则将第二商品识别结果作为商品图像的正样本标注结果，对商品识别模型进行更新训练；若第二商品识别结果被标注为
非结算商品，则将第二商品识别结果作为商品图像的负样本标注结果，对商品识别模型进行更新训练。
113.采用本发明实施例提供的商品识别模型的训练方法，将第二商品识别结果作为商品图像的标注结果，对商品识别模型进行更新训练，从而提升标注效率，降低人工成本；并且根据第二商品识别结果的类型来确定商品图像的标注结果，若第二商品识别结果为备选商品识别结果或用户输入的商品信息，则将第二商品识别结果作为商品图像的正样本标注结果；若第二商品识别结果被标注为非结算商品，则将第二商品识别结果作为商品图像的负样本标注结果，从而进一步提升标注精度，提高识别模型的识别精度。
114.图8示出了根据本发明一个实施例提供的基于人机交互的收银纠错装置的结构示意图。如图8所示，收银纠错装置800包括：第一获取模块810、呈现模块820、第二获取模块830以及反馈模块840。
115.第一获取模块810，用于获取对拍摄得到的商品图像所识别得到的至少一个第一商品识别结果；呈现模块820，用于在人机交互界面中呈现所述至少一个第一商品识别结果；其中，所述至少一个第一商品识别结果由训练得到的商品识别模型输出得到；第二获取模块830，用于监测用户在所述人机交互界面针对任一第一商品识别结果执行的选择操作及更正操作，获取用户更正数据，所述用户更正数据包含第二商品识别结果，所述第二商品识别结果为所选择的第一商品识别结果的纠错结果；反馈模块840，用于将所述第二商品识别结果反馈至服务端，以供所述服务端根据所述第二商品识别结果对所述商品识别模型进行更新训练。
116.在一种可选的方式中，反馈模块840进一步用于：将所述第二商品识别结果反馈至服务端，以供所述服务端将所述第二商品识别结果作为商品图像的标注结果，对所述商品识别模型进行更新训练。
117.在一种可选的方式中，人机交互界面包含各个第一商品识别结果对应的响应区，各个第一商品识别结果对应的响应区互不重叠；第二获取模块830进一步用于：监测用户在所述人机交互界面执行的选择操作，定位所述选择操作对应的响应区；根据所述选择操作对应的响应区，确定用户所选择的第一商品识别结果。
118.在一种可选的方式中，第二获取模块830进一步用于：在人机交互界面中呈现至少一个备选商品识别结果；监测用户从所述至少一个备选商品识别结果选择任一备选商品识别结果的更正操作，获取所选择的备选商品识别结果作为所述第二商品识别结果。
119.在一种可选的方式中，所述至少一个备选商品识别结果具体为由所述商品识别模型输出得到的置信度低于所述第一商品识别结果的商品识别结果。
120.在一种可选的方式中，第二获取模块830进一步用于：在人机交互界面中呈现商品信息输入文本框；监测用户在所述商品信息输入框内输入商品信息的更正操作，获取所输入的商品信息作为第二商品识别结果。
121.在一种可选的方式中，第二获取模块830进一步用于：监测用户将第一商品识别结果标注为非结算商品的更正操作，获取被标注为非结
算商品的第二商品识别结果。
122.在一种可选的方式中，呈现模块820进一步用于：在人机交互界面中呈现所述至少一个第一商品识别结果以及所述至少一个第一商品识别结果的置信度。
123.采用本发明实施例提供的基于人机交互的收银纠错装置，先在收银客户端的人机交互界面中呈现商品识别模型输出的第一商品识别结果，从而供用户直观地获知待结算商品的识别结果；并且本发明实施例中，用户在确定第一商品识别结果不准确时，可在人机交互界面中执行选择、更正等交互操作，一方面能够获取用户针对第一商品识别结果的纠错结果，另一方面为用户提供反馈渠道，有利于提升用户体验；再者，本发明实施例利用用户针对第一商品识别结果的纠错结果来对商品识别模型进行更新训练，无需算法人员对样本数据进行人工筛选及标注，从而降低人工成本，提高模型更新效率；此外，用户针对第一商品识别结果的纠错结果可以及时地反馈至服务端，从而能够及时地利用纠错结果对模型进行更新训练，保障了后续商品识别模型的识别精度。
124.图9示出了根据本发明一个实施例提供的商品识别模型的训练装置的结构示意图。如图9所示，商品识别模型的训练装置900包括：获取模块910、接收模块920以及更新模块930。
125.获取模块910，用于将拍摄得到的商品图像输入到预先训练得到的商品识别模型中，得到第一商品识别结果；接收模块920，用于接收客户端反馈的第二商品识别结果；其中，所述第二商品识别结果为所述第一商品识别结果的纠错结果；更新模块930，用于根据所述第二商品识别结果对所述商品识别模型进行更新训练。
126.在一种可选的方式中，更新模块930进一步用于：将所述第二商品识别结果作为商品图像的标注结果，对所述商品识别模型进行更新训练。
127.在一种可选的方式中，获取模块910进一步用于：将拍摄得到的商品图像输入到预先训练得到的商品识别模型中，得到第一商品识别结果以及至少一个备选商品识别结果；装置900还包括：发送模块（图中未示出），用于将所述至少一个备选商品识别结果发送给客户端，以供客户端在人机交互界面中呈现至少一个备选商品识别结果，监测用户从所述至少一个备选商品识别结果选择任一备选商品识别结果的更正操作，获取所选择的备选商品识别结果作为所述第二商品识别结果。
128.在一种可选的方式中，所述至少一个备选商品识别结果具体为置信度低于所述第一商品识别结果的商品识别结果。
129.在一种可选的方式中，更新模块930进一步用于：若所述第二商品识别结果为备选商品识别结果或用户输入的商品信息，则将所述第二商品识别结果作为商品图像的正样本标注结果，对所述商品识别模型进行更新训练。
130.在一种可选的方式中，更新模块930进一步用于：若所述第二商品识别结果被标注为非结算商品，则将所述第二商品识别结果作为商品图像的负样本标注结果，对所述商品识别模型进行更新训练。
131.采用本发明实施例提供的商品识别模型的训练装置，将拍摄得到的商品图像输入到预先训练得到的商品识别模型中，得到第一商品识别结果。进一步接收客户端反馈的第二商品识别结果；其中第二商品识别结果为第一商品识别结果的纠错结果，最后根据第二商品识别结果对商品识别模型进行更新训练。本发明实施例中以客户端反馈的针对第一商品识别结果的纠错结果来对商品识别模型进行更新训练，无需算法人员对样本数据进行人工筛选及标注，从而降低人工成本，提高模型更新效率。
132.本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，可执行指令可执行上述任意方法实施例中的基于人机交互的收银纠错方法。
133.本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，可执行指令可执行上述任意方法实施例中的商品识别模型的训练方法。
134.图10示出了根据本发明一个实施例提供的计算设备的结构示意图。本发明实施例的具体实施例并不对计算设备的具体实现做限定。
135.如图10所示，该计算设备可以包括：处理器(processor)1002、通信接口(communications interface)1004、存储器(memory)1006、以及通信总线1008。
136.其中：处理器1002、通信接口1004、以及存储器1006通过通信总线1008完成相互间的通信。
137.通信接口1004，用于与其它设备比如客户端或其它服务器等的网元通信。
138.处理器1002，用于执行程序1010，具体可以执行上述基于人机交互的收银纠错方法实施例中的相关步骤。
139.具体地，程序1010可以包括程序代码，该程序代码包括计算机操作指令。
140.处理器1002可能是中央处理器cpu，或者是特定集成电路asic（application specific integrated circuit），或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
141.存储器1006，用于存放程序1010。存储器1006可能包含高速ram存储器，也可能还包括非易失性存储器（non
‑
volatile memory），例如至少一个磁盘存储器。
142.程序1010具体可以用于使得处理器1002执行上述任意方法实施例中的基于人机交互的收银纠错方法。程序1010中各步骤的具体实现可以参见上述基于人机交互的收银纠错方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
143.本发明还提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；存储器用于存放至少一可执行指令，可执行指令使处理器执行上述的商品识别模型的训练方法对应的操作。该计算设备的结构示意图与图10所示的计算设备的结构示意图相同，此处不再赘述。
144.在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求
的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明实施例的内容，并且上面对特定语言所做的描述是为了披露本发明实施例的较佳实施方式。
145.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
146.类似地，应当理解，为了精简本发明实施例并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
147.本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
148.此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
149.本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（dsp）来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
150.应该注意的是上述实施例对本发明实施例进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单
词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。