一种由图像提取物体特性的装置及其工作方法与流程

本发明属于图像识别分析技术领域，具体涉及到一种由图像提取物体特性的装置及其工作方法。

背景技术：

目前图像提取分析技术呈现爆发增长，用大尺寸的图像传感器拍摄图像，可根据大图像甚至要求彩色图像，1万以上像素点级别图像采用传统的模式识别方法，以图像值大小特征为基础的识别方法只能识别物体大的特性，类似与人眼的识别能力，能较好的分辨出物体的表面特性，如物体形状，物体大小及物体种类，如桌子，椅子，汽车和地板，但对桌子的材料是木头还是铁或者塑料等，则很难分辨。

现在判定物体的材质的方法有三种方式，第一种，基于传统的时域或频域方法来判断图像基本特征，但该方法对图像源数据要求比较高，且该技术需要傅里叶变换公式等计算方式，费时费力，只能识别图像的一部分特征。第二种：机械拉伸方法是判定软硬材料，需要机械部件参与；如牙咬来判断是金还是铜；第三种采用化学方法，如用火烧来判断是否为塑料还是合金材料等。

上述三种常规的方式无法应用于智能机器人领域对材料识别。故而图像处理提取材料特征方面还存在较多提高空间。

技术实现要素：

本发明的目的在于解决通过小的图像传感器和精简的算法，识别材料种类、物体表面的光滑程度参数，用于智能机器人的分析及控制，提供一种由图像提取物体特性的装置及其工作方法。

为达到上述目的，本发明采用了下列技术方案：

第一方面，本发明实施例提供的一种由图像提取物体特性的检测方法，包括：

至少一个图像传感器在至少一个角度且同一时刻采集实际物体的流媒体文件，在采集每一帧流媒体文件时控制模块获取所述图像传感器此时产生的物理参数，同时上传所述物理参数和流媒体文件至神经网络架构下的材料特征库；最后映射流媒体文件每一帧的图像与物理参数的对应关系，运算模块运算物理参数得出此时图像的光敏度和平面差异度后，与预定义规则的材质特征库调取的数值进行比对，判定此时图像呈现的材料特征属性，输出结果。

在上述方法中，所述对应关系包括多个图像传感器在同一时刻获取的物理参数与图像具体位置关联。

在一种可能的实现方式中，所述材料特征库包括但不限于光敏度和平面差异度的对应关联的材料属性。

在上述方法中，所述物理参数包括曝光时长t、曝光时照明灯光的亮度值大小l。

在一种可能的实现方式中，所述图像的光敏度q和平面差异度p计算过程为将图像以像素点大小分割为n*n型像素块，n≥1且n∈整数；

在上述方法中，所述图像的光敏度q和平面差异度p计算过程为将图像以像素点为n*n型像素块，n≥1且n∈整数；

识别图像范围内获取像素块值w，所述w值为像素块内的像素点之和，求得w的极小值、中值和极大值，根据下列公式

其中，且

得出逐一计算出所述极小值、中值和极大值的光敏感度qmin、qmed和qmax

再再计算出第一平面差异度特征p1，指定一个像素块，取该像素块值w1乘以第一权重比ω1，以该像素块中心为基点围绕该基点的8个像素块，取其中每间隔一个像素块值的之和w2乘以第二权重比ω2，第二次取剩余的像素块值的之和w3乘以第三权重比ω3，其中，ω1＝ω2+ω3且ω1,ω2,ω3均为0-32；

即

由上述定义计算第二平面差异度特征p2,

其中，δ1+δ2+δ3＝1,δ∈[0,1]，

进一步求得第三平面差异度特征p3

p3＝p1×γ1+p2×γ2,γ1+γ2＝1,且γ∈[0,1]。

其中γ，ω，δ其定义为权重比或百分比，其中按照预定义规则进行系统设定，再由机器学习进行优化。

第二方面，本实施例提供的一种由图像提取物体特性的装置，构建材料特征属性的特征库，初始化模型在人为经验建立后，经神经网络的自动机器学习完成的数据库模型，且该模型搭建云端，该装置还包括至少一个下列组件：

运算模块、

图像传感器、

控制模块、。

感光器件、

电流传感器、

和/或gps定时钟。

第三方面，本发明实施例提供的一种检测装置，该装置包括：至少一个处理单元及至少一个存储单元，其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行第一方面任一所述方法的步骤。

第四方面，本发明实施例还提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述方法的步骤。

有益效果：与现有技术相比，本发明具有如下优点：

1)提取了图像更多的特征，跟有利于提高识别出物体材料类别及表面光滑度特征等信息；

2)有利于物理大小，形状，类别等基本特征的识别准确度；

3)在减少图像传感器像素阵列，直接降低了图像传感器的大小等硬件成本，提高系统集成度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的原始图像帧示意图。

图2为本申请实施例提供的图像块帧图。

图3为本申请实施例提供的特征识别流程示意图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

实施例

本实施例提供了一种由图像提取物体特性的检测方法，该方法包括：

如图3所示，至少一个图像传感器在至少一个角度且同一时刻采集实际物体的流媒体文件，在采集每一帧流媒体文件时控制模块获取所述图像传感器此时产生的物理参数，同时上传所述物理参数和流媒体文件至神经网络架构下的材料特征库；最后映射流媒体文件每一帧的图像与物理参数的对应关系，运算模块运算物理参数得出此时图像的光敏度和平面差异度后，与预定义规则的材质特征库调取的数值进行比对，判定此时图像呈现的材料特征属性，输出结果。

所述对应关系包括多个图像传感器在同一时刻获取的物理参数与图像具体位置关联。

所述材料特征库包括但不限于光敏度和平面差异度的对应关联的材料属性。

所述物理参数包括曝光时长t、曝光时照明灯光的亮度值大小l。

所述图像的光敏度q和平面差异度p计算过程为将图像以像素点为n*n型像素块，n≥1且n∈整数；

识别图像范围内获取像素块值w，所述w值为像素块内的像素点之和，求得w的极小值、中值和极大值，根据下列公式：

其中，且

得出逐一计算出所述极小值、中值和极大值的光敏感度qmin、qmed和qmax

再计算出第一平面差异度特征p1，指定一个像素块，取该像素块值wn乘以第一权重比ω1，以该像素块中心为基点围绕该基点的8个像素块，取其中每间隔一个像素块值的之和∑w2n+1乘以第二权重比ω2，第二次取剩余的像素块值的之和∑w2n乘以第三权重比ω3，其中，ω1＝ω2+ω3且ω1,ω2,ω3均为0-32；

即

由上述定义计算第二平面差异度特征p2,

其中，δ1+δ2+δ3＝1,δ∈[0,1]，

进一步求得第三平面差异度特征p3，经验公式为p3＝p1×γ1+p2×γ2,γ1+γ2＝1,且γ∈[0,1]。

基于同一发明构思，本实施例还提供了一种由图像提取物体特性的装置，构建材料特征属性的特征库，初始化模型在人为经验建立后，经神经网络的自动机器学习完成的数据库模型，且该模型搭建云端，该装置还包括至少一个下列组件：

运算模块、

图像传感器、

控制模块、

感光器件、

电流传感器、

和/或gps定时钟。

实施例2

如图1-2所示，结合实际案例具体地说计算步骤如下：

采用较小的图像传感器(最小可为4*4)，纯图像分析方式，以及较小的运算代价和较快的速度，实现材料细节特征的识别。

主要通过敏感度和平面差异度2个方面来提取其特征，

第一步骤：

光敏感度特征，分别计算小像素点，中值像素点，大值像素点：

1)量化曝光时间，即曝光时长，具体由控制模块给定值，

2)量化曝光强度，即曝光电流的大小及感光器件的灵敏度，

3)计算光敏感度

光敏感度＝像素块值/(曝光时间*权重因子1*曝光强度*权重因子2)

2个权重因子取值范围是0～1，可以为小数，但2者之和等于1；

4)分别使用一帧或多帧中最小的、中间的、最大的单个像素块，用1～3步骤分别计算小值、中值、大值光敏感度特征。

平面差异度特征

参考图2所示图像块帧示列，大小为3*3的像素块，从原始图像帧合并运算而来，每个像素块至少为1个或多个相邻像素点的和，

第一平面差异度特征计算的计算步骤：

平面差异度特征1＝b22*第一权重因子/((b11+b13+b31+b33)*第二权重因子+(b12+b21+b23+b32)*第三权重因子)

这里，3个权重因子分别取值，取值范围0—32，但需满足条件：权重因子1＝权重因子2+权重因子3

平面差异度特征2＝(小像素点光敏感度特征*权重因子1+大值像素点光敏感度特征*权重因子2)/(中值*权重因子3)

这里，3个权重因子分别取值，取值范围0～1，但需满足条件3者之和等于1.

平面差异特征3＝平面差异度特征1*权重因子1+平面差异度特征2*权重因子2

这里2个权重因子分别取值，取值范围0～1，但需满足条件：两者之和等于1。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。