基于吉他背板图像的材质识别方法、装置及可读存储介质与流程

本发明涉及图像处理技术领域，尤其涉及基于吉他背板图像的材质识别方法、装置及可读存储介质。

背景技术：

吉他，也称为结他或六弦琴，是一种弹拨乐器，通常有六条弦，形状与提琴相似，其音色优雅有着极富个性的音色和表现手法。吉他背板，是吉他的声音的重要影响部件，拨响琴弦后，琴弦的振动通过琴桥传递到面板，面板带动背板产生振动进而产生声音。由于每种背板材料的声音响应特性区别都很大，吉他会由于背板材料的不同会在箱体的振动过程中产生明显不同的声音信号，因此人们将背板材质的好坏作为吉他优劣的评判。

当前，一种常见的背板材质识别方法是利用人工进行识别。但是，在对现有技术的研究和实践过程中，本发明的发明人发现，现有的利用人工进行识别吉他背板材质的方法，对识别者的专业知识要求较高，存在时间上的限制且成本较高。即，当前的吉他背板识别方法存在对识别者的要求较高，无法随时随地识别的问题。

技术实现要素：

本发明所要解决的技术问题在于，提供基于吉他背板图像的材质识别方法、装置及可读存储介质，利用获得的吉他图像，在计算设备上识别吉他的背板材质。

为了解决上述技术问题，本发明提供了基于吉他背板图像的材质识别方法，包括以下步骤：

获取吉他背板内表面的待处理图像，并根据所述待处理图像，生成吉他背板区域掩码，并得到背板的区域图像；

对所述背板的区域图像进行分级缩放，组成多层级的图像金字塔；

采用semb-lbp纹理特征提取算法，对所述图像金字塔的各级图像进行纹理特征提取，生成相应的纹理特征图像金字塔；

对所述纹理特征图像金字塔进行分块处理，并利用预先训练好的svm分类器，对每个分块进行所属材质类型的分类组合；

根据分类组合结果，识别出该吉他的背板的材质类型。

进一步地，在所述获取吉他背板内表面的待处理图像，并根据所述待处理图像，生成吉他背板掩码，并得到背板的区域图像之前，还包括：

对摄像头采集的吉他背板内表面的原始图像进行去噪和灰度化处理，得到待处理图像。

进一步地，根据所述待处理图像，生成吉他背板区域掩码，并得到背板的区域图像，具体为：

检测所述待处理图像的月牙形区域，并结合霍夫圆检测算法，对所述待处理图像中的吉他圆形音孔进行检测；

若检测到吉他圆形音孔，则去除所述月牙形阴影区域并生成圆形掩码区域，进而得到吉他背板区域掩码；

若未检测到吉他圆形音孔，则以不断复制像素的方式填充非圆形音孔的外部区域，并重新对所述待处理图像中的吉他圆形音孔进行检测。

进一步地，所述对所述纹理特征图像金字塔进行分块处理，具体为：

对所述纹理特征图像金字塔的各级均按照16*16大小进行分块，进一步对每个分块分别计算灰度直方图，并归一化到0至1区间。

进一步地，所述svm分类器的训练步骤如下：

获取各种材质吉他的若干待处理图像样本，并保存人工对所述待处理图像样本进行吉他的背板的材质类型及区域的标注；

对已人工标注的待处理图像样本进行缩放倍增，得到各个比例下的吉他的背板的材质类型图像；

利用semb-lbp纹理特征提取算法对各个比例下的吉他的背板的材质类型图像进行纹理特征提取，并生成相应的统计直方图；

根据所述统计直方图，使用svm分类器对吉他的背板所属材质类型进行分类组合训练，得到svm分类器参数。

进一步地，所述根据分类组合结果，识别出该吉他的背板的材质类型，具体为:将分类结果归位到所述纹理特征图像金字塔的各级纹理特征图像，以组成原图中对应大小预测结果图，并取各级预测结果图中最大连通区作为各级纹理特征图像的材质类型的预测结果；将所述预测结果以所述图像金字塔的各级顺序组成列表后，去除列表头尾预测结果后，计算列表中各级预测结果所占比例，取比例最大的预测结果作为该吉他的背板的材质类型。

另一方面，本发明的一个实施例还提供了一种基于吉他背板图像的材质识别装置，其特征在于，包括：

背板的区域图像获取模块，用于获取吉他背板内表面的待处理图像，并根据所述待处理图像，生成吉他背板区域掩码，并得到背板的区域图像；

分级缩放模块，用于对所述背板的区域图像进行分级缩放，组成多层级的图像金字塔；

纹理特征提取模块，用于采用semb-lbp纹理特征提取算法，对所述图像金字塔的各级图像进行纹理特征提取，生成相应的纹理特征图像金字塔；

分类组合模块，用于对所述纹理特征图像金字塔进行分块处理，并利用预先训练好的svm分类器，对每个分块进行所属材质类型的分类组合；

识别模块，用于根据分类组合结果，识别出该吉他的背板的材质类型。

进一步地，所述识别模块，具体用于将分类结果归位到所述纹理特征图像金字塔的各级纹理特征图像，以组成原图中对应大小预测结果图，并取各级预测结果图中最大连通区作为各级纹理特征图像的材质类型的预测结果；将所述预测结果以所述图像金字塔的各级顺序组成列表后，去除列表头尾预测结果后，计算列表中各级预测结果所占比例，取比例最大的预测结果作为该吉他的背板的材质类型。

另一方面，本发明的一个实施例还提供了一种基于吉他背板图像的材质识别装置，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述的基于吉他背板图像的材质识别方法。

又一方面，本发明的一个实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述的基于吉他背板图像的材质识别方法。

相比于现有技术，本发明实施例的有益效果在于：

本发明公开了一种基于吉他背板图像的材质识别方法、装置及可读存储介质，所述方法适于在计算设备中执行，至少包括如下步骤：获取吉他背板内表面的待处理图像，并根据所述待处理图像，生成吉他背板区域掩码，并得到背板的区域图像；对所述背板的区域图像进行分级缩放，组成多层级的图像金字塔；采用semb-lbp纹理特征提取算法，对所述图像金字塔的各级图像进行纹理特征提取，生成相应的纹理特征图像金字塔；对所述纹理特征图像金字塔进行分块处理，并利用预先训练好的svm分类器，对每个分块进行所属材质类型的分类组合；根据分类组合结果，识别出该吉他的背板的材质类型。本发明通过利用所获得的待处理吉他图像，直接在计算设备上识别吉他的背板材质。

附图说明

图1是本发明一实施例提供的一种基于吉他背板图像的材质识别方法的流程示意图；

图2是本发明一实施例提供的一种基于吉他背板图像的材质识别方法的另一流程示意图；

图3是本发明一实施例中手机拍摄吉他背板的示意图；

图4是本发明一实施例中手机悬于吉他圆形音孔上方，离琴弦约3～8cm拍摄的效果示意图；

图5是本发明一实施例中手机插入到吉他圆形音孔和琴弦之间拍摄的效果示意图；

图6是本发明另一实施例中提供的一种基于吉他背板图像的材质识别装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，以使本发明的优点和特征能更易于被本领域技术人员理解，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-5，

本发明一实施例提供的一种基于吉他背板图像的材质识别方法，适于在计算设备中执行，至少包括如下步骤：

s101、获取吉他背板内表面的待处理图像，并根据所述待处理图像，生成吉他背板区域掩码，并得到背板的区域图像。

其中，在所述获取吉他背板内表面的待处理图像，并根据所述待处理图像，生成吉他背板掩码，并得到背板的区域图像之前，还包括：

对摄像头采集的吉他背板内表面的原始图像进行去噪和灰度化处理，得到待处理图像。

所述根据所述待处理图像，生成吉他背板区域掩码，并得到背板的区域图像，具体为：

检测所述待处理图像的月牙形区域，并结合霍夫圆检测算法，对所述待处理图像中的吉他圆形音孔进行检测。

若检测到吉他圆形音孔，则去除所述月牙形阴影区域并生成圆形掩码区域，进而得到吉他背板区域掩码。

若未检测到吉他圆形音孔，则以不断复制像素的方式填充非圆形音孔的外部区域，并重新对所述待处理图像中的吉他圆形音孔进行检测。

需要说明的是，所述待处理图像由手机带闪光进行拍摄，所述拍摄方式为：

手机悬于吉他圆形音孔上方，离琴弦约3～8cm拍摄，如图3-4所示。形成手机，琴弦，吉他面板音孔，吉他背板的层序结构。拍摄的图像对焦在背板上，图像中包含面板圆形音孔及虚焦的琴弦。

所述拍摄方式还可以为，手机插入到吉他圆形音孔和琴弦之间拍摄，如图5所示，从而形成琴弦，手机，吉他面板音孔，吉他背板的层序结构。拍摄的图像对焦在背板上，图像中不包含圆形音孔及虚焦的琴弦，并无月牙形阴影。

所述月牙形区域的确定方法为：在利用光照特点提取出所有可能的月牙形区域后，计算各个区域的外包围的凸包，并以各个凸包的最小外包围的旋转矩形的长边为基准过滤各个区域，以获得最有可能的月牙形区域。

所述对摄像头采集的吉他背板内表面的原始图像进行去噪和灰度化处理之前，还包括以下步骤：

针对手机拍摄所获得原始图像进行预处理，使用高斯滤波器采用5*5卷积核去除手机相机镜头缺陷带来的噪声。

将rgb图像转换到hsv空间后提取亮度通道作为灰度图像，以待后续处理。

所述对摄像头采集的吉他背板内表面的原始图像进行去噪和灰度化处理之后，还包括：

对灰度图像使用otsu全局自适应二值化，再使用5x5的卷积核执行形态学开操作，以消除可能存在的装饰物和琴弦以及其他物体所产生的干扰噪声。

s102、对所述背板的区域图像进行分级缩放，组成多层级的图像金字塔。

需要说明的是，分级缩放时采用bicubic插值算法以去除采样带来的摩尔纹，每级缩小至前一级的0.9倍大小，生成16个以不同比例缩小的图像，按照从小到大组成图像金字塔，从而去除拍摄距离带来的纹理误差，使得后续的纹理特征提取算子能够提取出可靠的纹理特征。

s103、采用semb-lbp纹理特征提取算法，对所述图像金字塔的各级图像进行纹理特征提取，生成相应的纹理特征图像金字塔。

需要说明的是，所述semb-lbp纹理特征提取算法具有光照不变与旋转不变特性。

s104、对所述纹理特征图像金字塔进行分块处理，并利用预先训练好的svm分类器，对每个分块进行所属材质类型的分类组合。

其中，所述对所述纹理特征图像金字塔进行分块处理，具体为：

对所述纹理特征图像金字塔的各级均按照16*16大小进行分块，进一步对每个分块分别计算灰度直方图，并归一化到0至1区间。

需要说明的是，所述svm分类器的训练步骤如下：

获取各种材质吉他的若干待处理图像样本，并保存人工对所述待处理图像样本进行吉他的背板的材质类型及区域的标注。

对已人工标注的待处理图像样本进行缩放倍增，得到各个比例下的吉他的背板的材质类型图像。

利用semb-lbp纹理特征提取算法对各个比例下的吉他的背板的材质类型图像进行纹理特征提取，并生成相应的统计直方图。

根据所述统计直方图，使用svm分类器对吉他的背板所属材质类型进行分类组合训练，得到svm分类器参数。

所述svm分类器进行预先训练时，需要将训练样本按照木材的树木种类、制作方法、取材部位等分为多类并将常见的各种非背板图像(包括面板、提琴琴弦、张贴物、品牌标签等)作为反面样本单独为一类“不可识别(拒绝识别)”类型。

s105、根据分类组合结果，识别出该吉他的背板的材质类型。

其中，所述根据分类组合结果，识别出该吉他的背板的材质类型，具体为:将分类结果归位到所述纹理特征图像金字塔的各级纹理特征图像，以组成原图中对应大小预测结果图，并取各级预测结果图中最大连通区作为各级纹理特征图像的材质类型的预测结果。将所述预测结果以所述图像金字塔的各级顺序组成列表后，去除列表头尾预测结果后，计算列表中各级预测结果所占比例，取比例最大的预测结果作为该吉他的背板的材质类型。

本实施例提供的一种基于吉他背板图像的材质识别方法，所述方法适于在计算设备中执行，至少包括如下步骤：获取吉他背板内表面的待处理图像，并根据所述待处理图像，生成吉他背板区域掩码，并得到背板的区域图像；对所述背板的区域图像进行分级缩放，组成多层级的图像金字塔；采用semb-lbp纹理特征提取算法，对所述图像金字塔的各级图像进行纹理特征提取，生成相应的纹理特征图像金字塔；对所述纹理特征图像金字塔进行分块处理，并利用预先训练好的svm分类器，对每个分块进行所属材质类型的分类组合；根据分类组合结果，识别出该吉他的背板的材质类型。本发明通过利用所获得的待处理吉他图像，直接在计算设备上识别吉他的背板材质。

请参阅图3-6，本发明的另一实施例还提供了一种基于吉他背板图像的材质识别装置，其特征在于，包括：

背板的区域图像获取模块601，用于获取吉他背板内表面的待处理图像，并根据所述待处理图像，生成吉他背板区域掩码，并得到背板的区域图像。

其中，在所述获取吉他背板内表面的待处理图像，并根据所述待处理图像，生成吉他背板掩码，并得到背板的区域图像之前，还包括：

对摄像头采集的吉他背板内表面的原始图像进行去噪和灰度化处理，得到待处理图像。

所述根据所述待处理图像，生成吉他背板区域掩码，并得到背板的区域图像，具体为：

检测所述待处理图像的月牙形区域，并结合霍夫圆检测算法，对所述待处理图像中的吉他圆形音孔进行检测。

若检测到吉他圆形音孔，则去除所述月牙形阴影区域并生成圆形掩码区域，进而得到吉他背板区域掩码。

若未检测到吉他圆形音孔，则以不断复制像素的方式填充非圆形音孔的外部区域，并重新对所述待处理图像中的吉他圆形音孔进行检测。

需要说明的是，所述待处理图像由手机带闪光进行拍摄，所述拍摄方式为：

手机悬于吉他圆形音孔上方，离琴弦约3～8cm拍摄，如图3-4所示。形成手机，琴弦，吉他面板音孔，吉他背板的层序结构。拍摄的图像对焦在背板上，图像中包含面板圆形音孔及虚焦的琴弦。

所述拍摄方式还可以为，手机插入到吉他圆形音孔和琴弦之间拍摄，如图5所示，从而形成琴弦，手机，吉他面板音孔，吉他背板的层序结构。拍摄的图像对焦在背板上，图像中不包含圆形音孔及虚焦的琴弦，并无月牙形阴影。

所述月牙形区域的确定方法为：在利用光照特点提取出所有可能的月牙形区域后，计算各个区域的外包围的凸包，并以各个凸包的最小外包围的旋转矩形的长边为基准过滤各个区域，以获得最有可能的月牙形区域。

所述对摄像头采集的吉他背板内表面的原始图像进行去噪和灰度化处理之前，还包括以下步骤：

针对手机拍摄所获得原始图像进行预处理，使用高斯滤波器采用5*5卷积核去除手机相机镜头缺陷带来的噪声。

将rgb图像转换到hsv空间后提取亮度通道作为灰度图像，以待后续处理。

所述对摄像头采集的吉他背板内表面的原始图像进行去噪和灰度化处理之后，还包括：

对灰度图像使用otsu全局自适应二值化，再使用5x5的卷积核执行形态学开操作，以消除可能存在的装饰物和琴弦以及其他物体所产生的干扰噪声，

分级缩放模块602，用于对所述背板的区域图像进行分级缩放，组成多层级的图像金字塔。

需要说明的是，分级缩放时采用bicubic插值算法以去除采样带来的摩尔纹，每级缩小至前一级的0.9倍大小，生成16个以不同比例缩小的图像，按照从小到大组成图像金字塔，从而去除拍摄距离带来的纹理误差，使得后续的纹理特征提取算子能够提取出可靠的纹理特征。

纹理特征提取模块603，用于采用semb-lbp纹理特征提取算法，对所述图像金字塔的各级图像进行纹理特征提取，生成相应的纹理特征图像金字塔。

分类组合模块604，用于对所述纹理特征图像金字塔进行分块处理，并利用预先训练好的svm分类器，对每个分块进行所属材质类型的分类组合。

其中，所述对所述纹理特征图像金字塔进行分块处理，具体为：

对所述纹理特征图像金字塔的各级均按照16*16大小进行分块，进一步对每个分块分别计算灰度直方图，并归一化到0至1区间。

需要说明的是，所述svm分类器的训练步骤如下：

获取各种材质吉他的若干待处理图像样本，并保存人工对所述待处理图像样本进行吉他的背板的材质类型及区域的标注。

对已人工标注的待处理图像样本进行缩放倍增，得到各个比例下的吉他的背板的材质类型图像。

利用semb-lbp纹理特征提取算法对各个比例下的吉他的背板的材质类型图像进行纹理特征提取，并生成相应的统计直方图。

根据所述统计直方图，使用svm分类器对吉他的背板所属材质类型进行分类组合训练，得到svm分类器参数。

所述svm分类器进行预先训练时，需要将训练样本按照木材的树木种类、制作方法、取材部位等分为多类并将常见的各种非背板图像(包括面板、提琴琴弦、张贴物、品牌标签等)作为反面样本单独为一类“不可识别(拒绝识别)”类型。

识别模块605，用于根据分类组合结果，识别出该吉他的背板的材质类型。

其中，所述根据分类组合结果，识别出该吉他的背板的材质类型，具体为:将分类结果归位到所述纹理特征图像金字塔的各级纹理特征图像，以组成原图中对应大小预测结果图，并取各级预测结果图中最大连通区作为各级纹理特征图像的材质类型的预测结果。将所述预测结果以所述图像金字塔的各级顺序组成列表后，去除列表头尾预测结果后，计算列表中各级预测结果所占比例，取比例最大的预测结果作为该吉他的背板的材质类型。

本实施例提供的一种基于吉他背板图像的材质识别装置，所述方法适于在计算设备中执行，至少包括如下步骤：获取吉他背板内表面的待处理图像，并根据所述待处理图像，生成吉他背板区域掩码，并得到背板的区域图像；对所述背板的区域图像进行分级缩放，组成多层级的图像金字塔；采用semb-lbp纹理特征提取算法，对所述图像金字塔的各级图像进行纹理特征提取，生成相应的纹理特征图像金字塔；对所述纹理特征图像金字塔进行分块处理，并利用预先训练好的svm分类器，对每个分块进行所属材质类型的分类组合；根据分类组合结果，识别出该吉他的背板的材质类型。本发明通过利用所获得的待处理吉他图像，直接在计算设备上识别吉他的背板材质。

另一方面，本发明的另一实施例还提供了一种基于吉他背板图像的材质识别装置，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述的基于吉他背板图像的材质识别方法。

又一方面，本发明的又一实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述的基于吉他背板图像的材质识别方法。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。