一种物品指示方法、系统、计算机设备及可读存储介质与流程

本发明涉及自动化控制领域，具体而言，涉及一种物品指示方法、系统、计算机设备及可读存储介质。

背景技术：

1、在仓储领域以及物品运输领域等人们需要依据视频或者图像对物品进行查询和获取，以便完成物品管理任务的相关领域中，为了实现根据视频或者图像对现实中存在的对应物品进行找寻和获取，通常由工作人员对视频或图像进行观看，根据其经验对其观看到的画面中的物品进行辨别和判断，确定出视频中所包含的物品的物品信息，然后再在现实中手动对具有该物品信息的物品进行搜寻，以实现对视频画面中物品的识别。

2、但是在研究中发现，在工作人员对视频或图像进行观看时，可能会受限于人眼分辨率的局限性，从而导致无法准确获取到视频画面中的内容；亦或者会受限于识别经验的缺失，从而导致无法准确地根据视频画面内容判断出其中所包含的物品的信息。上述任意情况的发生，都会导致无法准确地完成对视频画面中物品的识别，从而降低在现实中对视频画面中所包含的物品进行指示的准确性。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种物品指示方法、系统、计算机设备及可读存储介质，以提高在现实中对视频画面中所包含的物品进行指示的准确性。

2、第一方面，本技术实施例提供了一种物品指示方法，应用于物品指示系统中的主机，所述系统还包括云服务器、显示器、相机、云台、激光笔、扬声器、载物台和显示器遥控器，所述主机分别与所述显示器、所述相机、所述云台、所述激光笔、所述扬声器电连接，所述主机与所述云服务器建立有通信连接，所述显示器遥控器能够对所述显示器中播放的视频的播放状态进行控制，所述激光笔搭载在所述云台上，所述云台带动所述激光笔移动，所述载物台上放置有多个物品，所述方法包括：

3、响应用户通过所述显示器遥控器发出的对目标视频进行播放的指令，从所述云服务器中获取所述目标视频，并将所述目标视频在所述显示器中播放，同时控制所述相机以预设采集频率对所述目标视频的视频画面进行图像采集得到多张待处理图像；

4、对于每张所述待处理图像，将该待处理图像在初始方向上以一个像素行的宽度进行遍历得到多个初始图像块，其中，所述初始方向为水平方向或者垂直方向；

5、对于每个所述初始图像块，基于该初始图像块的像素均值从降噪算法数据库中确定出用于对该初始图像块进行降噪处理的目标降噪算法；

6、利用该初始图像块所对应的目标降噪算法对该初始图像块进行降噪处理得到候选图像块；

7、根据所述候选图像块各像素点的像素值，利用以下公式计算所述候选图像块各像素点的平滑因子：

8、；

9、其中，s(x,y)为所述候选图像块上坐标(x,y)处的像素点的平滑因子，p(x,y)为所述候选图像块上坐标(x,y)处的像素点的像素值，tk(i,j)为所述候选图像块上坐标(i,j)处的像素点的像素值，坐标(i,j)处的像素点是坐标(x,y)处的像素点的相邻像素点，n为所述相邻像素点的数量；

10、根据所述候选图像块各像素点的平滑因子，利用预先训练好的图像平滑处理模型对所述候选图像块进行平滑处理得到目标图像块，并将每个所述目标图像块进行重组得到候选图像；

11、利用与所述初始方向不同的方向对所述初始方向进行更新，利用所述候选图像对所述待处理图像进行更新，返回迭代将所述待处理图像在所述初始方向以一个像素行的宽度进行遍历得到多个图像块的步骤；

12、将迭代达到预设次数后得到的候选图像作为第一目标图像进行存储；

13、对于每张所述第一目标图像，计算该第一目标图像中的每个第一目标像素点与和该第一目标图像所对应的待处理图像中的每个待处理像素点之间的像素差值；

14、将与第一目标像素点的像素差值超过第一预设误差门限值的待处理像素点和与待处理像素点的像素差值未超过第二预设误差门限值的第一目标像素点进行重构得到第二目标图像；

15、对于每张所述第二目标图像，基于该张第二目标图像的梯度值对该张第二目标图像的图像特征进行提取；

16、将该张第二目标图像的图像特征输入至用于进行物品识别的图像识别模型中确定出该张第二目标图像中所包含的目标物品；

17、基于每个所述目标物品在物品重量数据库中预先记载的目标物品重量和所述载物台上所放置的每个物品的实际物品重量，判断所述载物台上是否放置有所述目标物品，其中，所述实际物品重量是通过设置在所述载物台内的压力传感器得到的；

18、若所述载物台上未放置有所述目标物品，则控制所述扬声器根据所述目标物品的物品种类，以所述目标物品的物品种类在播报音量数据库中对应的播报音量播报警示信息；

19、若所述载物台上放置有所述目标物品，则根据每张所述第二目标图像分别对应的待处理图像的采集先后顺序，依次控制所述云台转向所述目标物品的放置方向；根据所述目标物品的物品种类从激光颜色数据库中确定出用于对所述目标物品进行指示的目标激光颜色；控制所述激光笔以所述目标激光颜色对所述目标物品进行指示。

20、可选地，所述图像识别模型是通过下述方法得到的：

21、从所述云服务器获取多张物品图像；

22、对于每张所述物品图像，从除该张物品图像之外的其它物品图像中随机选择一张备用图像，将该张物品图像与所述备用图像中的每两个对应的像素点进像素平均处理得该张物品图像的增强图像，其中，所述备用图像与该张物品图像的图像分辨率与尺寸相同；

23、利用每张所述物品图像的图像特征和每张增强图像的图像特征构建模型训练样本集，并利用所述模型训练样本集对初始识别模型进行模型训练得到所述图像识别模型。

24、可选地，在控制所述激光笔以所述目标激光颜色对所述目标物品进行指示后，所述方法还包括：

25、统计所述载物台上的所述目标物品的目标数量；

26、根据所述目标数量和每个所述目标物品的物品种类生成物品种类分析图；

27、将所述物品种类分析图发送至所述显示器进行展示。

28、可选地，在根据所述目标数量和每个所述目标物品的物品种类生成物品种类分析图后，所述方法还包括：

29、将所述物品种类分析图与所述目标视频进行打包处理得到待加密文件；

30、利用非对称加密算法对所述待加密文件进行加密处理得到目标文件；

31、将所述目标文件上传至所述云服务器进行备份。

32、第二方面，本技术实施例提供了一种物品指示系统，所述系统包括主机、云服务器、显示器、相机、云台、激光笔、扬声器、载物台和显示器遥控器，所述主机分别与所述显示器、所述相机、所述云台、所述激光笔、所述扬声器电连接，所述主机与所述云服务器建立有通信连接，所述显示器遥控器能够对所述显示器中播放的视频的播放状态进行控制，所述激光笔搭载在所述云台上，所述云台带动所述激光笔移动，所述载物台上放置有多个物品，所述主机用于：

33、响应用户通过所述显示器遥控器发出的对目标视频进行播放的指令，从所述云服务器中获取所述目标视频，并将所述目标视频在所述显示器中播放，同时控制所述相机以预设采集频率对所述目标视频的视频画面进行图像采集得到多张待处理图像；

34、对于每张所述待处理图像，将该待处理图像在初始方向上以一个像素行的宽度进行遍历得到多个初始图像块，其中，所述初始方向为水平方向或者垂直方向；

35、对于每个所述初始图像块，基于该初始图像块的像素均值从降噪算法数据库中确定出用于对该初始图像块进行降噪处理的目标降噪算法；

36、利用该初始图像块所对应的目标降噪算法对该初始图像块进行降噪处理得到候选图像块；

37、根据所述候选图像块各像素点的像素值，利用以下公式计算所述候选图像块各像素点的平滑因子：

38、；

39、其中，s(x,y)为所述候选图像块上坐标(x,y)处的像素点的平滑因子，p(x,y)为所述候选图像块上坐标(x,y)处的像素点的像素值，tk(i,j)为所述候选图像块上坐标(i,j)处的像素点的像素值，坐标(i,j)处的像素点是坐标(x,y)处的像素点的相邻像素点，n为所述相邻像素点的数量；

40、根据所述候选图像块各像素点的平滑因子，利用预先训练好的图像平滑处理模型对所述候选图像块进行平滑处理得到目标图像块，并将每个所述目标图像块进行重组得到候选图像；

41、利用与所述初始方向不同的方向对所述初始方向进行更新，利用所述候选图像对所述待处理图像进行更新，返回迭代将所述待处理图像在所述初始方向以一个像素行的宽度进行遍历得到多个图像块的步骤；

42、将迭代达到预设次数后得到的候选图像作为第一目标图像进行存储；

43、对于每张所述第一目标图像，计算该第一目标图像中的每个第一目标像素点与和该第一目标图像所对应的待处理图像中的每个待处理像素点之间的像素差值；

44、将与第一目标像素点的像素差值超过第一预设误差门限值的待处理像素点和与待处理像素点的像素差值未超过第二预设误差门限值的第一目标像素点进行重构得到第二目标图像；

45、对于每张所述第二目标图像，基于该张第二目标图像的梯度值对该张第二目标图像的图像特征进行提取；

46、将该张第二目标图像的图像特征输入至用于进行物品识别的图像识别模型中确定出该张第二目标图像中所包含的目标物品；

47、基于每个所述目标物品在物品重量数据库中预先记载的目标物品重量和所述载物台上所放置的每个物品的实际物品重量，判断所述载物台上是否放置有所述目标物品，其中，所述实际物品重量是通过设置在所述载物台内的压力传感器得到的；

48、若所述载物台上未放置有所述目标物品，则控制所述扬声器根据所述目标物品的物品种类，以所述目标物品的物品种类在播报音量数据库中对应的播报音量播报警示信息；

49、若所述载物台上放置有所述目标物品，则根据每张所述第二目标图像分别对应的待处理图像的采集先后顺序，依次控制所述云台转向所述目标物品的放置方向；根据所述目标物品的物品种类从激光颜色数据库中确定出用于对所述目标物品进行指示的目标激光颜色；控制所述激光笔以所述目标激光颜色对所述目标物品进行指示。

50、可选地，所述图像识别模型是由所述主机通过下述方法得到的：

51、从所述云服务器获取多张物品图像；

52、对于每张所述物品图像，从除该张物品图像之外的其它物品图像中随机选择一张备用图像，将该张物品图像与所述备用图像中的每两个对应的像素点进像素平均处理得该张物品图像的增强图像，其中，所述备用图像与该张物品图像的图像分辨率与尺寸相同；

53、利用每张所述物品图像的图像特征和每张增强图像的图像特征构建模型训练样本集，并利用所述模型训练样本集对初始识别模型进行模型训练得到所述图像识别模型。

54、可选地，所述主机还用于：

55、在控制所述激光笔以所述目标激光颜色对所述目标物品进行指示后，统计所述载物台上的所述目标物品的目标数量；

56、根据所述目标数量和每个所述目标物品的物品种类生成物品种类分析图；

57、将所述物品种类分析图发送至所述显示器进行展示。

58、可选地，所述主机还用于：

59、在根据所述目标数量和每个所述目标物品的物品种类生成物品种类分析图后，将所述物品种类分析图与所述目标视频进行打包处理得到待加密文件；

60、利用非对称加密算法对所述待加密文件进行加密处理得到目标文件；

61、将所述目标文件上传至所述云服务器进行备份。

62、第三方面，本技术实施例提供了一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第二方面中任一种可选地实施方式中所述的物品指示方法的步骤。

63、第四方面，本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第二方面中任一种可选地实施方式中所述的物品指示方法的步骤。

64、本技术提供的技术方案包括但不限于以下有益效果：

65、本技术通过主机、云服务器、显示器、相机、云台、激光笔、扬声器、载物台和显示器遥控器的相互配合，响应用户对显示器遥控器的操作，利用主机从云服务器中获取视频并在显示器中进行展示，然后通过相机采集视频画面，并对采集到的图像进行降噪、平滑和滤波处理，然后将处理后的图像的图像特征输入至识别模型中得到图像中所包含的物品，最后从载物台上根据物品重量对云台进行转向控制，同时控制激光笔对载物台上的物品进行指示。采用上述方法，能够在不需要工作人员的参与的情况下，通过多个设备的相互配合实现对视频画面中所包含的物品进行指示，同时由于避免了人为因素的干扰和主观影响，能够提高在现实中对视频画面中所包含的物品进行指示的准确性。

66、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。