一种终端设备及摄像方法与流程

文档序号:35966980发布日期:2023-11-09 07:13阅读:27来源:国知局
一种终端设备及摄像方法与流程

本技术实施例涉及人工智能(artificial intelligence,ai),尤其涉及一种终端设备及摄像方法。


背景技术:

1、随着制造业的不断发展,用户和企业对产品质量的要求越来越高,产品除了具备要求满足要求的使用性能外,还要具备良好的外观,即良好的表面。因此,在制造产品后,往往需要对产品的表面进行评估,从而判断产品的表面是否合格,即检测产品的表面是否具有缺陷,从而确保产品质量。

2、目前,当需要判断某个产品的表面是否合格时,可先获取该产品的表面信息(也可以称为该产品的立体信息,包含该产品的反射率、高斯曲率等信息),再使用一定的数学方法对该产品的表面信息进行分析,基于分析结果可确定该产品为表面合格的产品或表面不合格的产品。

3、然而,上述的评估方式中,可通过某种算法来获取该产品的表面信息。在该算法中,可先通过摄像头按照一定的拍摄方式来采集该产品的图像,以基于该产品的图像获取该产品的表面信息。然而,此处所涉及的摄像头通常部署有led白光光源,该光源设置有可发射蓝色光线的灯珠,且灯珠表面涂覆有黄色荧光粉。那么,当该光源启动后,其灯珠可发射蓝色光线,且蓝色光线在激发荧光粉后可发出黄光,并在混合之后形成白光。因此,此类光源对表面为蓝色和黄色的产品的成像效果要优于表面为其它颜色的产品的成像效果,导致无法准确获取表面为其它颜色的产品的表面信息。


技术实现思路

1、本技术实施例提供了一种终端设备及摄像方法,对于表面为各种颜色的物体,均可拍摄出具备良好质量的物体的图像,有利于提取出足够准确的物体的表面信息。

2、本技术实施例的第一方面提供了一种终端设备,终端设备通常为用户在本地所使用的执行设备,故可以将该终端设备称为本地的执行设备。本地的执行设备包括:处理器和摄像头,处理器与摄像头电性连接,摄像头包含位于不同位置的多个光源,多个光源中每个光源可发射多个波长的光线,即这多个光源中每个光源均为多波长光源。

3、当用户需要对目标物体进行拍摄时,可向本地的执行设备的处理器下发请求,故处理器可基于来自用户的请求,控制摄像头按照预置的顺序来启动摄像头中的多个光源(例如,设摄像头中部署有5个光源,处理器可控制摄像头按这5个光源的排序来依次启动这5个光源),以使得这多个光源轮流对目标物体发射具有一定波长的光线,进而使得摄像头完成对目标物体的拍摄,从而成功采集到目标物体的图像。

4、如此一来,本地的执行设备的处理器获得目标物体的图像后,可基于目标物体的图像完成对目标物体的表面评估,即检测目标物体的表面是否具有缺陷。

5、上述本地的执行设备的摄像头包含多个光源,这多个光源中的每个光源均为多波长光源,因此,在本地的执行设备的处理器控制摄像头对表面为各种颜色的物体进行拍摄之前,处理器可调整摄像头中这多个光源所发射的光线的波长,来适应于表面为各种颜色的物体,从而使得摄像头对表面为各种颜色的物体的成像效果足够优质,即摄像头拍摄所得到物体的图像具备良好的质量,有利于提取出足够准确的物体的表面信息。

6、在一种可能的实现方式中,多个光源呈光源阵列设置,且多个光源中相邻的两个光源之间的夹角为预置的夹角。前述实现方式中,摄像头中的多个光源可组成一个光源阵列,故摄像头可依次启动不同的光源,以在不同位置(方位角)上对物体进行拍摄,得到物体的多个图像。

7、在一种可能的实现方式中,摄像头满足以下至少一项:摄像头的曝光时间小于或等于预置第一阈值,多个光源的亮度大于或等于预置第二阈值,摄像头所拍摄的图像的信噪比大于或等于预置第三阈值,摄像头的摄像头所拍摄的图像的清晰度大于或等于预置第四阈值,其中,信噪比基于多个光源所发射的光线的波长确定。前述实现方式中,本地的执行设备的处理器在控制本地的执行设备的摄像头对物体(包含目标物体和参考物体)进行拍摄之前,可对本地的执行设备的摄像头进行参数调整,参数调整操作包含以下至少一种:(1)调整摄像头的曝光时间,以使得摄像头的曝光时间小于或等于预置第一阈值,其中,预置第一阈值的大小可理解为物体所处的业务环境所要求的曝光时间阈值。(2)调整摄像头中多个光源的亮度,以使得多个光源的亮度大于或等于预置第二阈值,其中,预置第二阈值可理解为足够优质的物体的成像效果所需的光源亮度阈值。(3)调整摄像头中多个光源所发射的光线的波长,以使得摄像头所拍摄的参考物体的图像的信噪比大于或等于预置第三阈值,其中,预置第三阈值可理解为足够优质的物体的成像效果所需的图像信噪比阈值。(4)调整摄像头所拍摄的参考物体的图像的清晰度,以使得摄像头所拍摄的参考物体的图像的清晰度大于或等于预置第四阈值,其中,预置第四阈值可理解为足够优质的物体的成像效果所需的清晰度阈值。完成对摄像头的参数的调整后,本地的执行设备可通过调整后的摄像头对物体进行拍摄,拍摄所得到的物体的图像,能够具有优秀的图像质量。

8、在一种可能的实现方式中,处理器,还用于:基于目标物体的图像获取目标物体的表面信息,目标物体的表面信息包含目标物体的反射率和/或目标物体的高斯曲率;通过特征提取模型对目标物体的表面信息进行处理,得到目标物体的特征;基于目标物体的特征和参考物体的特征,确定目标物体为表面合格的物体或表面不合格的物体,参考物体为表面合格的物体。前述实现方式中,得到目标物体的图像后,本地的执行设备的处理器可对目标物体的图像进行计算,从而得到目标物体的表面信息(立体信息),目标物体的表面信息包含的内容为以下三种情况的其中一种:目标物体的表面信息仅目标物体的反射率,或,目标物体的表面信息仅包含目标物体的高斯曲率,或,目标物体的表面信息既包含目标物体的反射率,又包含目标物体的高斯曲率。得到目标物体的表面信息后,本地的执行设备的处理器可将目标物体的表面信息输入至特征提取模型(已训练好的神经网络模型),以通过特征提取模型对目标物体的表面信息进行处理,从而得到目标物体的特征。确定目标物体的特征后,本地的执行设备的处理器可比对目标物体的特征和参考物体的特征,从而判断目标物体的表面是否合格,即目标物体的表面是否具有缺陷。前述实现方式中,无论目标物体为何种类型的产品,本地的执行设备的处理器均可利用特征提取模型来对目标物体的表面信息进行处理,以自动提取出目标物体的特征,并将目标物体的特征与表面合格的参考物体的特征进行比较,从而确定目标物体的表面是否合格,可见,此种新的评估方式通过神经网络模型来对各类物体进行特征提取,可避免涉及人为因素,且引入了用于对各类物体进行表面评估的统一参考基准,考虑的因素更为全面,故基于此种新的方式来实现物体的表面评估,可具备较高的准确度。

9、在一种可能的实现方式中,处理器,用于基于光度立体算法对目标物体的图像进行计算,得到目标物体的表面信息。前述实现方式中,本地的执行设备的处理器可利用光度立体算法所提供的数学模型,对目标物体的图像进行计算,从而准确得到目标物体的表面信息。

10、在一种可能的实现方式中,处理器,用于:获取参考物的特征的统计量,参考物的特征的统计量包含参考物的特征的均值向量和参考物的特征的协方差矩阵;对目标物体的特征进行计算,得到目标物体的特征的统计量,目标物体的特征的统计量包含目标物体的特征的均值向量和目标物体的特征的协方差矩阵;对目标物体的特征的统计量以及参考物的特征的统计量进行计算,得到目标物体的评分;若目标物体的评分大于预置第五阈值,则确定目标物体为表面不合格的物体;若目标物体的评分小于或等于预置第五阈值,则确定目标物体为表面合格的物体。前述实现方式中,本地的执行设备的处理器可接收来自远端的执行设备的参考物体的特征的统计量,并以此作为物体表面评估的统一参考基准。那么,在得到目标物体的特征后,本地的执行设备的处理器可对目标物体的特征进行计算,从而得到目标物体的特征的统计量。得到目标物体的特征的统计量后,本地的执行设备的处理器可对目标物体的特征的统计量以及参考物的特征的统计量进行计算,从而得到目标物体的评分。得到目标物体的评分后,本地的执行设备的处理器可检测目标物体的评分是否大于预置第五阈值,若目标物体的评分大于预置第五阈值,说明目标物体表面具有缺陷,本地的执行设备的处理器可确定目标物体为表面不合格的物体,若目标物体的评分小于或等于预置第五阈值,说明目标物体表面未具有缺陷,本地的执行设备的处理器可确定目标物体为表面合格的物体。

11、在一种可能的实现方式中,处理器,用于:控制摄像头按顺序启动多个光源,以对参考物体进行拍摄,得到参考物体的图像;基于参考物体的图像获取参考物体的表面信息,参考物体的表面信息包含参考物体的反射率和/或参考物体的高斯曲率;通过特征提取模型对参考物体的表面信息进行处理,得到参考物体的特征;对参考物体的特征进行计算,得到参考物体的特征的统计量,参考物体的特征的统计量包含参考物体的特征的均值向量和参考物体的特征的协方差矩阵。前述实现方式中,本地的执行设备的处理器可控制摄像头对参考物体进行拍摄,从而获取参考物体的图像,并基于参考物体的图像来提取出参考物体的表面信息,再通过特征提取模型来处理参考物体的表面信息,从而获取参考物体的特征,最后再计算出参考物体的特征的统计量,以参考物体的特征的统计量作为用于对各类物体进行表面识别的同一参考基准。

12、在一种可能的实现方式中,处理器,用于:控制摄像头按顺序启动多个光源,以对参考物体进行拍摄,得到参考物体的图像;发送参考物体的图像。前述实现方式中,本地的执行设备可与远端的执行设备通信连接,本地的执行设备的处理器在获取到参考物体的图像后,可将参考物体的图像发送至远端的执行设备,以使得远端的执行设备对参考物体的图像进行处理,从而得到参考物体的特征的统计量,再下发至本地的执行设备的处理器中。可见,远端的执行设备可为本地的执行设备提供用于对各类物体进行表面识别的统一参考基准(即参考物体的特征的统计量),以联合本地的执行设备共同实现对物体的表面识别,二者构成的系统所需的硬件设备数量往往较少,有利于降低系统部署时所需的硬件成本和定制难度,且可对各类用户开放使用,不需要对用户提出过高的专业性要求,故该系统可广泛应用于各类业务场景。

13、在一种可能的实现方式中,目标物体的评分基于目标物体的特征的均值向量与参考物的特征的均值向量之间的差值,以及将目标物体的特征的协方差矩阵与参考物的特征的协方差矩阵融合得到的矩阵确定。前述实现方式中,本地的执行设备的处理器可先计算目标物体的特征的均值向量与参考物的特征的均值向量之间的差值,再将目标物体的特征的协方差矩阵与参考物的特征的协方差矩阵进行融合,然后计算该差值与融合得到的矩阵之间的距离,该距离可作为目标物体的评分。如此一来,本地的执行设备的处理器可准确得到目标物体的评分。

14、在一种可能的实现方式中,处理器,还用于:在目标物体的多个区域中,将评分大于预置第五阈值的区域确定为目标物体中表面不合格的区域。前述实现方式中,前述实现方式中,在确定目标物体为表面不合格的物体之后,本地的执行设备的处理器还可将目标物体的表面中的多个点视为目标物体的多个区域,由于目标物体的评分包含目标物体的多个区域的评分,故本地的执行设备的处理器可在目标物体的多个区域中,将评分大于预置第五阈值的区域确定为目标物体中表面不合格的区域,从而精准确定目标物体的表面哪一部分区域具有缺陷。

15、在一种可能的实现方式中,处理器,还用于:将目标物体确定为新的参考物体。前述实现方式中,在确定目标物体为表面合格的物体之后,本地的执行设备的处理器还可将目标物体确定为新的参考物体,故本地的执行设备的处理器可将新的参考物体的特征的统计量对到原始的参考物体的特征的统计量进行更新,得到更新后的统计量。当用户需要对新的目标物体进行表面评估时,本地的执行设备的处理器可基于更新后的统计量以及新的目标物体的特征的统计量,来确定新的目标物体的表面是否合格。可见,本技术实施例还提供了一种反馈机制,该反馈机制可使得本地的执行设备可自行更新用于实现物体表面评估的统一参考基准。

16、在一种可能的实现方式中,处理器,还用于:发送参考物更新请求,参考物更新请求用于指示目标物体。前述实现方式中,在确定目标物体为表面合格的物体之后,本地的执行设备的处理器还可向远端的执行设备发送参考物更新请求,以使得远端的执行设备将参考物更新请求所指示的目标物体确定为新的参考物体。由于该参考物更新请求可包含目标物体的特征的统计量,故远端的执行设备可将新的参考物体的特征的统计量对到原始的参考物体的特征的统计量进行更新,得到更新后的统计量。最后,远端的执行设备可将更新后的统计量发送至本地的执行设备,以使得本地的执行设备的处理器使用更新后的统计量替换原始参考物体的特征的统计量。当用户需要对新的目标物体进行表面评估时,本地的执行设备的处理器可基于更新后的统计量以及新的目标物体的特征的统计量,来确定新的目标物体的表面是否合格。可见,本技术实施例还提供了一种反馈机制,该反馈机制可使得远端的执行设备来不断更新本地的执行设备侧中用于实现物体表面评估的统一参考基准。

17、本技术实施例的第二方面提供了一种摄像方法,该方法通过终端设备,即本地的执行设备实现,本地的执行设备包括:处理器和摄像头,处理器与摄像头连接,摄像头包含位于不同位置的多个光源,多个光源中每个光源可发射多个波长的光线,该方法包括:控制摄像头按预置的顺序启动多个光源,以对目标物体进行拍摄,得到目标物体的图像。

18、上述方法所应用的本地的执行设备的摄像头包含多个光源,这多个光源中的每个光源均为多波长光源,因此,在本地的执行设备的处理器控制摄像头对表面为各种颜色的物体进行拍摄之前,处理器可调整摄像头中这多个光源所发射的光线的波长,来适应于表面为各种颜色的物体,从而使得摄像头对表面为各种颜色的物体的成像效果足够优质,即摄像头拍摄所得到物体的图像具备良好的质量,有利于提取出足够准确的物体的表面信息。

19、在一种可能的实现方式中,控制摄像头按预置的顺序启动多个光源,以对目标物体进行拍摄,得到目标物体的图像之后,该方法还包括:基于目标物体的图像获取目标物体的表面信息,目标物体的表面信息包含目标物体的反射率和/或目标物体的高斯曲率;通过特征提取模型对目标物体的表面信息进行处理,得到目标物体的特征;基于目标物体的特征和参考物体的特征,确定目标物体为表面合格的物体或表面不合格的物体,参考物体为表面合格的物体。

20、在一种可能的实现方式中,基于目标物体的图像获取目标物体的表面信息包括:基于光度立体算法对目标物体的图像进行计算,得到目标物体的表面信息。

21、在一种可能的实现方式中,基于目标物体的特征和参考物体的特征,确定目标物体为表面合格的物体或表面不合格的物体包括:获取参考物的特征的统计量,参考物的特征的统计量包含参考物的特征的均值向量和参考物的特征的协方差矩阵;对目标物体的特征进行计算,得到目标物体的特征的统计量,目标物体的特征的统计量包含目标物体的特征的均值向量和目标物体的特征的协方差矩阵;对目标物体的特征的统计量以及参考物的特征的统计量进行计算,得到目标物体的评分;若目标物体的评分大于预置第五阈值,则确定目标物体为表面不合格的物体;若目标物体的评分小于或等于预置第五阈值,则确定目标物体为表面合格的物体。

22、在一种可能的实现方式中,获取参考物的特征的统计量包括:控制摄像头按顺序启动多个光源,以对参考物体进行拍摄,得到参考物体的图像;基于参考物体的图像获取参考物体的表面信息,参考物体的表面信息包含参考物体的反射率和/或参考物体的高斯曲率;通过特征提取模型对参考物体的表面信息进行处理,得到参考物体的特征;对参考物体的特征进行计算,得到参考物体的特征的统计量,参考物体的特征的统计量包含参考物体的特征的均值向量和参考物体的特征的协方差矩阵。

23、在一种可能的实现方式中,该方法还包括:控制摄像头按顺序启动多个光源,以对参考物体进行拍摄,得到参考物体的图像;发送参考物体的图像。

24、在一种可能的实现方式中,目标物体的评分基于目标物体的特征的均值向量与参考物的特征的均值向量之间的差值,以及将目标物体的特征的协方差矩阵与参考物的特征的协方差矩阵融合得到的矩阵确定。

25、在一种可能的实现方式中,确定目标物体为表面不合格的物体之后,该方法还包括:在目标物体的多个区域中,将评分大于预置第五阈值的区域确定为目标物体中表面不合格的区域。

26、在一种可能的实现方式中,确定目标物体为表面合格的物体之后,该方法还包括:将目标物体确定为新的参考物体。

27、在一种可能的实现方式中,确定目标物体为表面合格的物体之后,该方法还包括:发送参考物更新请求,参考物更新请求用于指示目标物体。

28、本技术实施例的第三方面提供了一种物体表面评估装置,该装置可部署于本地的执行设备的处理器中,该处理器与本地的执行设备的摄像头连接,摄像头包含位于不同位置的多个光源,多个光源中每个光源可发射多个波长的光线,该装置包括:

29、第一获取模块,用于控制摄像头按预置的顺序启动多个光源,以对目标物体进行拍摄,得到目标物体的图像;第二获取模块,用于基于目标物体的图像获取目标物体的表面信息,目标物体的表面信息包含目标物体的反射率和/或目标物体的高斯曲率;处理模块,用于通过特征提取模型对目标物体的表面信息进行处理,得到目标物体的特征;第一确定模块,用于基于目标物体的特征和参考物体的特征,确定目标物体为表面合格的物体或表面不合格的物体,参考物体为表面合格的物体。

30、从上述装置可以看出:在获取目标物体的图像后,本地的执行设备可基于目标物体的图像获取目标物体的表面信息,其中,目标物体的表面信息包含目标物体的反射率和/或目标物体的高斯曲率。接着,本地的执行设备可将目标物体的表面信息输入特征提取模型,从而得到目标物体的特征。最后,本地的执行设备可基于目标物体的特征和参考物体的特征,来确定目标物体为表面合格的物体或表面不合格的物体,其中,参考物体为表面合格的物体。前述过程中,无论目标物体为何种类型的产品,本地的执行设备均可利用特征提取模型来对目标物体的表面信息进行处理,以自动提取出目标物体的特征,并将目标物体的特征与表面合格的参考物体的特征进行比较,从而确定目标物体的表面是否合格,可见,此种新的评估方式通过神经网络模型来对各类物体进行特征提取,可避免涉及人为因素,且引入了用于对各类物体进行表面评估的统一参考基准,考虑的因素更为全面,故基于此种新的方式来实现物体的表面评估,可具备较高的准确度。

31、在一种可能的实现方式中,第二获取模块,用于基于光度立体算法对目标物体的图像进行计算,得到目标物体的表面信息。

32、在一种可能的实现方式中,摄像头满足以下至少一项:摄像头的曝光时间小于或等于预置第一阈值,多个光源的亮度大于或等于预置第二阈值,摄像头所拍摄的图像的信噪比大于或等于预置第三阈值,摄像头的摄像头所拍摄的图像的清晰度大于或等于预置第四阈值,其中,信噪比基于多个光源所发射的光线的波长确定。

33、在一种可能的实现方式中,多个光源呈光源阵列设置,且多个光源中相邻的两个光源之间的夹角为预置的夹角。

34、在一种可能的实现方式中,第一确定模块,用于:获取参考物的特征的统计量,参考物的特征的统计量包含参考物的特征的均值向量和参考物的特征的协方差矩阵;对目标物体的特征进行计算,得到目标物体的特征的统计量,目标物体的特征的统计量包含目标物体的特征的均值向量和目标物体的特征的协方差矩阵;对目标物体的特征的统计量以及参考物的特征的统计量进行计算,得到目标物体的评分;若目标物体的评分大于预置第五阈值,则确定目标物体为表面不合格的物体;若目标物体的评分小于或等于预置第五阈值,则确定目标物体为表面合格的物体。

35、在一种可能的实现方式中,第一确定模块,用于:控制摄像头按顺序启动多个光源,以对参考物体进行拍摄,得到参考物体的图像;基于参考物体的图像获取参考物体的表面信息,参考物体的表面信息包含参考物体的反射率和/或参考物体的高斯曲率;通过特征提取模型对参考物体的表面信息进行处理,得到参考物体的特征;对参考物体的特征进行计算,得到参考物体的特征的统计量,参考物体的特征的统计量包含参考物体的特征的均值向量和参考物体的特征的协方差矩阵。

36、在一种可能的实现方式中,该装置还包括:第三获取模块,用于控制摄像头按顺序启动多个光源,以对参考物体进行拍摄,得到参考物体的图像;第二发送模块,用于发送参考物体的图像。

37、在一种可能的实现方式中,目标物体的评分基于目标物体的特征的均值向量与参考物的特征的均值向量之间的差值,以及将目标物体的特征的协方差矩阵与参考物的特征的协方差矩阵融合得到的矩阵确定。

38、在一种可能的实现方式中,该装置还包括:第二确定模块,用于在目标物体的多个区域中,将评分大于预置第五阈值的区域确定为目标物体中表面不合格的区域。

39、在一种可能的实现方式中,该装置还包括:第三确定模块,用于将目标物体确定为新的参考物体。

40、在一种可能的实现方式中,该装置还包括:第一发送模块,用于发送参考物更新请求,参考物更新请求用于指示目标物体。

41、本技术实施例的第四方面提供了一种服务器,该服务器部署于远离用户的一侧,故可称为远端的执行设备,远端的执行设备包括存储器和处理器;存储器存储有代码,处理器被配置为执行代码,当代码被执行时,远端的执行设备可执行以下步骤:获取参考物体的图像;基于参考物体的图像获取参考物体的表面信息,参考物体的表面信息包含参考物体的反射率和/或参考物体的高斯曲率;通过特征提取模型对参考物体的表面信息进行处理,得到参考物体的特征;对参考物体的特征进行计算,得到参考物体的特征的统计量,参考物体的特征的统计量包含参考物体的特征的均值向量和参考物体的特征的协方差矩阵;发送参考物体的特征的统计量。

42、从上述设备可以看出:远端的执行设备可为本地的执行设备提供用于对各类物体进行表面识别的统一参考基准(即参考物体的特征的统计量),以联合本地的执行设备共同实现对物体的表面识别,二者构成的系统所需的硬件设备数量往往较少,有利于降低系统部署时所需的硬件成本和定制难度,且可对各类用户开放使用,不需要对用户提出过高的专业性要求,故该系统可广泛应用于各类业务场景。

43、在一种可能的实现方式中,发送参考物体的特征的统计量之后,该方法还包括:获取参考物更新请求;将参考物更新请求所指示的目标物体确定为新的参考物体。

44、本技术实施例的第五方面提供了一种统计量获取方法,该方法通过远端的执行设备实现,该方法包括:获取参考物体的图像;基于参考物体的图像获取参考物体的表面信息,参考物体的表面信息包含参考物体的反射率和/或参考物体的高斯曲率;通过特征提取模型对参考物体的表面信息进行处理,得到参考物体的特征;对参考物体的特征进行计算,得到参考物体的特征的统计量,参考物体的特征的统计量包含参考物体的特征的均值向量和参考物体的特征的协方差矩阵;发送参考物体的特征的统计量。

45、从上述方法可以看出:远端的执行设备可为本地的执行设备提供用于对各类物体进行表面识别的统一参考基准(即参考物体的特征的统计量),以联合本地的执行设备共同实现对物体的表面识别,二者构成的系统所需的硬件设备数量往往较少,有利于降低系统部署时所需的硬件成本和定制难度,且可对各类用户开放使用,不需要对用户提出过高的专业性要求,故该系统可广泛应用于各类业务场景。

46、在一种可能的实现方式中,发送参考物体的特征的统计量之后,该方法还包括:获取参考物更新请求;将参考物更新请求所指示的目标物体确定为新的参考物体。

47、本技术实施例的第六方面提供了一种统计量获取装置,该装置部署于远端的执行设备的处理器中,该装置包括:第一获取模块,用于获取参考物体的图像;第二获取模块,用于基于参考物体的图像获取参考物体的表面信息,参考物体的表面信息包含参考物体的反射率和/或参考物体的高斯曲率;处理模块,用于通过特征提取模型对参考物体的表面信息进行处理,得到参考物体的特征;计算模块,用于对参考物体的特征进行计算,得到参考物体的特征的统计量,参考物体的特征的统计量包含参考物体的特征的均值向量和参考物体的特征的协方差矩阵;发送模块,用于发送参考物体的特征的统计量。

48、从上述装置可以看出:远端的执行设备可为本地的执行设备提供用于对各类物体进行表面识别的统一参考基准(即参考物体的特征的统计量),以联合本地的执行设备共同实现对物体的表面识别,二者构成的系统所需的硬件设备数量往往较少,有利于降低系统部署时所需的硬件成本和定制难度,且可对各类用户开放使用,不需要对用户提出过高的专业性要求,故该系统可广泛应用于各类业务场景。

49、在一种可能的实现方式中,该装置还包括:第三获取模块,用于获取参考物更新请求;确定模块,用于将参考物更新请求所指示的目标物体确定为新的参考物体。

50、本技术实施例的第七方面提供了一种模型训练装置,该装置包括存储器和处理器;存储器存储有代码,处理器被配置为执行代码,当代码被执行时,模型训练装置执行如以下步骤:获取待处理物体的图像;基于待处理物体的图像获取待处理物体的表面信息,待处理物体的表面信息包含待处理物体的反射率和/或待处理物体的高斯曲率;通过待训练模型对待处理物体的表面信息进行处理,得到待处理物体的特征;基于待处理物体的特征以及待处理物体的真实特征,获取目标损失,目标损失用于指示待处理物体的特征以及待处理物体的真实特征之间的差异;基于目标损失,更新待训练模型的参数,直至满足模型训练条件,得到特征提取模型。

51、上述装置训练得到的特征提取模型,可部署在本地的执行设备和远端的执行设备中,从而使得本地的执行设备在对目标物体进行表面识别的过程中,实现对目标物体进行特征提取的功能。具体地,在获取目标物体的图像后,本地的执行设备可基于目标物体的图像获取目标物体的表面信息,其中,目标物体的表面信息包含目标物体的反射率和/或目标物体的高斯曲率。接着,本地的执行设备可将目标物体的表面信息输入特征提取模型,从而得到目标物体的特征。最后,本地的执行设备可基于目标物体的特征和参考物体的特征,来确定目标物体为表面合格的物体或表面不合格的物体,其中,参考物体为表面合格的物体。前述过程中,无论目标物体为何种类型的产品,本地的执行设备均可利用特征提取模型来对目标物体的表面信息进行处理,以自动提取出目标物体的特征,并将目标物体的特征与表面合格的参考物体的特征进行比较,从而确定目标物体的表面是否合格,可见,此种新的评估方式通过神经网络模型来对各类物体进行特征提取,可避免涉及人为因素,且引入了用于对各类物体进行表面评估的统一参考基准,考虑的因素更为全面,故基于此种新的方式来实现物体的表面评估,可具备较高的准确度。

52、在一种可能的实现方式中,基于待处理物体的图像获取待处理物体的表面信息包括:基于光度立体算法对待处理物体的图像进行计算,得到待处理物体的表面信息。

53、本技术实施例的第八方面提供了一种模型训练方法,该方法还包括:获取待处理物体的图像;基于待处理物体的图像获取待处理物体的表面信息,待处理物体的表面信息包含待处理物体的反射率和/或待处理物体的高斯曲率;通过待训练模型对待处理物体的表面信息进行处理,得到待处理物体的特征;基于待处理物体的特征以及待处理物体的真实特征,获取目标损失,目标损失用于指示待处理物体的特征以及待处理物体的真实特征之间的差异;基于目标损失,更新待训练模型的参数,直至满足模型训练条件,得到特征提取模型。

54、上述方法训练得到的特征提取模型,可部署在本地的执行设备和远端的执行设备中,从而使得本地的执行设备在对目标物体进行表面识别的过程中,实现对目标物体进行特征提取的功能。具体地,在获取目标物体的图像后,本地的执行设备可基于目标物体的图像获取目标物体的表面信息,其中,目标物体的表面信息包含目标物体的反射率和/或目标物体的高斯曲率。接着,本地的执行设备可将目标物体的表面信息输入特征提取模型,从而得到目标物体的特征。最后,本地的执行设备可基于目标物体的特征和参考物体的特征,来确定目标物体为表面合格的物体或表面不合格的物体,其中,参考物体为表面合格的物体。前述过程中,无论目标物体为何种类型的产品,本地的执行设备均可利用特征提取模型来对目标物体的表面信息进行处理,以自动提取出目标物体的特征,并将目标物体的特征与表面合格的参考物体的特征进行比较,从而确定目标物体的表面是否合格,可见,此种新的评估方式通过神经网络模型来对各类物体进行特征提取,可避免涉及人为因素,且引入了用于对各类物体进行表面评估的统一参考基准,考虑的因素更为全面,故基于此种新的方式来实现物体的表面评估,可具备较高的准确度。

55、在一种可能的实现方式中,基于待处理物体的图像获取待处理物体的表面信息包括:基于光度立体算法对待处理物体的图像进行计算,得到待处理物体的表面信息。

56、本技术实施例的第九方面提供了一种模型训练装置,该装置还包括:第一获取模块,用于获取待处理物体的图像;第二获取模块,用于基于待处理物体的图像获取待处理物体的表面信息,待处理物体的表面信息包含待处理物体的反射率和/或待处理物体的高斯曲率;处理模块,用于通过待训练模型对待处理物体的表面信息进行处理,得到待处理物体的特征;第三获取模块用于基于待处理物体的特征以及待处理物体的真实特征,获取目标损失,目标损失用于指示待处理物体的特征以及待处理物体的真实特征之间的差异;更新模块,用于基于目标损失,更新待训练模型的参数,直至满足模型训练条件,得到特征提取模型。

57、上述装置训练得到的特征提取模型,可在对目标物体进行表面识别的过程中,实现对目标物体进行特征提取的功能。具体地,在获取目标物体的图像后,本地的执行设备可基于目标物体的图像获取目标物体的表面信息,其中,目标物体的表面信息包含目标物体的反射率和/或目标物体的高斯曲率。接着,本地的执行设备可将目标物体的表面信息输入特征提取模型,从而得到目标物体的特征。最后,本地的执行设备可基于目标物体的特征和参考物体的特征,来确定目标物体为表面合格的物体或表面不合格的物体,其中,参考物体为表面合格的物体。前述过程中,无论目标物体为何种类型的产品,本地的执行设备均可利用特征提取模型来对目标物体的表面信息进行处理,以自动提取出目标物体的特征,并将目标物体的特征与表面合格的参考物体的特征进行比较,从而确定目标物体的表面是否合格,可见,此种新的评估方式通过神经网络模型来对各类物体进行特征提取,可避免涉及人为因素,且引入了用于对各类物体进行表面评估的统一参考基准,考虑的因素更为全面,故基于此种新的方式来实现物体的表面评估,可具备较高的准确度。

58、在一种可能的实现方式中,第二获取模块,用于基于光度立体算法对待处理物体的图像进行计算,得到待处理物体的表面信息。

59、本技术实施例的第十方面提供了一种电路系统,该电路系统包括处理电路,该处理电路配置为执行如第二方面、第二方面中的任意一种可能的实现方式、第五方面、第五方面中的任意一种可能的实现方式、第八方面或第八方面中的任意一种可能的实现方式所述的方法。

60、本技术实施例的第十一方面提供了一种芯片系统,该芯片系统包括处理器,用于调用存储器中存储的计算机程序或计算机指令,以使得该处理器执行如第二方面、第二方面中的任意一种可能的实现方式、第五方面、第五方面中的任意一种可能的实现方式、第八方面或第八方面中的任意一种可能的实现方式所述的方法。

61、在一种可能的实现方式中,该处理器通过接口与存储器耦合。

62、在一种可能的实现方式中,该芯片系统还包括存储器,该存储器中存储有计算机程序或计算机指令。

63、本技术实施例的第十二方面提供了一种计算机存储介质,该计算机存储介质存储有计算机程序,该程序在由计算机执行时,使得计算机实施如第二方面、第二方面中的任意一种可能的实现方式、第五方面、第五方面中的任意一种可能的实现方式、第八方面或第八方面中的任意一种可能的实现方式所述的方法。

64、本技术实施例的第十三方面提供了一种计算机程序产品,该计算机程序产品存储有指令,该指令在由计算机执行时,使得计算机实施如第二方面、第二方面中的任意一种可能的实现方式、第五方面、第五方面中的任意一种可能的实现方式、第八方面或第八方面中的任意一种可能的实现方式所述的方法。

65、本技术实施例中,本地的执行设备的摄像头包含多个光源,这多个光源中的每个光源均为多波长光源,因此,在本地的执行设备的处理器控制摄像头对表面为各种颜色的物体进行拍摄之前,处理器可调整摄像头中这多个光源所发射的光线的波长,来适应于表面为各种颜色的物体,从而使得摄像头对表面为各种颜色的物体的成像效果足够优质,即摄像头拍摄所得到物体的图像具备良好的质量,有利于提取出足够准确的物体的表面信息。

66、进一步地,在获取目标物体的图像后,本地的执行设备可基于目标物体的图像获取目标物体的表面信息,其中,目标物体的表面信息包含目标物体的反射率和/或目标物体的高斯曲率。接着,本地的执行设备可将目标物体的表面信息输入特征提取模型,从而得到目标物体的特征。最后,本地的执行设备可基于目标物体的特征和参考物体的特征,来确定目标物体为表面合格的物体或表面不合格的物体,其中,参考物体为表面合格的物体。前述过程中,无论目标物体为何种类型的产品,本地的执行设备均可利用特征提取模型来对目标物体的表面信息进行处理,以自动提取出目标物体的特征,并将目标物体的特征与表面合格的参考物体的特征进行比较,从而确定目标物体的表面是否合格,可见,此种新的评估方式通过神经网络模型来对各类物体进行特征提取,可避免涉及人为因素,且引入了用于对各类物体进行表面评估的统一参考基准,考虑的因素更为全面,故基于此种新的方式来实现物体的表面评估,可具备较高的准确度。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1