一种果体病变图像方位多样性样本仿真方法及系统与流程

本发明涉及智能农业技术领域，特别是指一种果体病变图像方位多样性样本仿真方法及系统。

背景技术：

在果园中，视频感知设备，例如摄像头，和感知对象，例如病果，从数量上是多对多的关系。理论上，设备可以在任意点位置对目标进行图像采集，但是，考虑到最佳的成像距离和成像角度，设备位置受到一定约束，只能在成像效果较好的位置进行拍摄。在设备和目标都固定的情况下，设备拥有最佳的监控空间，而目标则拥有多个最佳成像位置，这就是成像方位多样性，例如对于远处的病果目标，设备在等高正对位置拍摄，能得到最好的图像，但是在一定范围内移动变换位置，也能采集到近似于最佳的图像。然而，限于成本考虑，无法通过加装设备得到最佳成像空间的连续图像采样，但是人类专家可以通过自身肢体转动采集到连续图像样本，正确判断。要让机器也学到类似人类专家的知识，需要提供一个类似肉眼采集的连续样本集合。

现有技术提出了2D空间的旋转变换，在一定程度上仿真方位多样性。如图1，所示果体E的某个病变部位a，可以构造一条轴心线x，镜头可从不同的角度对其拍摄，这样取景框F的长边和轴心线就构成角度α，α不同就在取景框中得到不同的病变图像。这些病变图像都是同一疾病在不同参数下在图像传感器上的体现，本质上，应该被识别为同类疾病。

但是对于学习网络而言，却意味不同的图像，有着不同的类标签对于采集测试样本和训练样本，α是随机的。它受病变部分生长的空间位置是不确定的，其三维坐标的影响α，视频传感器取景镜头的安装满足一定布局规则，它和病变部位的相对位置也制约α。这样，训练和测试样本采集都带有很大的随机性，相比之下，基准图像集合的采集环境的可控性有很多优势。例如：拍摄人脸时，可以要求受试对象坐正，改变表情和局部动作来采集不同图片，旋转变换基本上没有干扰图片。特别是，当α间隔大于某个值时，目标类别的受训样本常被遗漏，网络就没有接受过对应的训练，找不到相似度显著的样本，错误判别就急剧上升，在不能保障任意α的样本为网络所学习的情况下，应该确保与之α最近的样本训练过网络，而且这个训练样本会与前者有显著相似度，这样就能测试前者时，能具有较佳的匹配目标，而不至于游离出错。

现有技术针对这种情况采用了低密度方式的旋转变换，对于方形整形的图像，以重力方向为参考，感知的图像呈现某个旋转夹角，病变类别没有改变，而识别系统感知得到不同的图像模式。一种方法是，在数据集加入4个角度旋转，以90°为旋转间隔，得到不同的样本集合，但是这种仿真方法得到的样本空间多态性稀疏，难以模拟真实情况下的多态性；另一种方法是在数据集加入8个角度旋转，以45°为旋转间隔，得到不同的样本集合，但是在旋转过程中执行奇数倍旋转时，如图2所示，方形图片是获取的果体方形整形后的图片M，旋转45°后，4个三角区域m的有效信息被截除，方形之内的4个白底色的三角区域n替代进来，得以维持原来的方形，这样，旋转后会产生样本关键病理图像信息截除，使得学习样本重要信息丢失，影响模型训练效果，同时只能得到8个状态下的方位多态性样本，难以模拟真实情况下的多态性。

技术实现要素：

有鉴于此，本发明的目的在于提出一种能够保持样本信息完整并提供多种样本集合的果体病变图像方位多样性样本仿真方法及系统。

基于上述目的本发明提供的果体病变图像方位多样性样本仿真方法包括：

病变图像关键信息处理：将采集到的图片剔除非关键信息，重构得到方形图片；

图片圆整形：计算得到所述方形图片的最大内切圆包围的像素，同时剔除内切圆外的部分像素，得到圆形图片；

方位多态样本建立：对得到所述圆形图片以相同的角度间隔进行多次旋转，得到不同方位的仿真样本。

进一步的，所述病变图像关键信息处理的方法包括：

识别所述采集到的图片中与病变识别无关的信息；

通过矩形抓取将所述无关的信息剔除；

将病斑特征图像部分靠近中央，重构为方形像素色度矩阵，得到方形图片。

进一步的，所述图片圆整形的方法包括：

以所述方形图片一边的像素个数a为上界，以1为下界建立二维网格，所述二维网格的横坐标x[i][j]＝j，纵坐标y[i][j]＝i，其中，i，j分别表示像素的横坐标和纵坐标，1≤i，j＜a；

得到所述内切圆的半径

得到二维网格相对于所述内切圆半径的偏移网格：

x[i][j]＝x[i][j]-r，y[i][j]＝y[i][j]-r；

计算所述偏移网格的中心距离平方值网格：

circle_mat[i][j]＝x[i][j]²+y[i][j]²；

比较得到所述距离平方值网格和半径平方得到内切圆内域逻辑网格，并将所述内域逻辑网格转换为和方形像素色度同类型的网格：

L[i][j]＝bool(circle_mat[i][j]≤r²)，bool(.)函数返回0或1函数返回0或1，其中L表示逻辑值类型的矩阵，1表示[i，j]对应的像素在所述内切圆里面，0在表示在内切圆外部；

用所述内域逻辑网格过滤所述方形像素色度矩阵得到圆形像素色度矩阵，其中A表示方形图片，B表示圆形图片：

B[i][j][0]＝A[i][j][0]·L[i][j]

B[i][j][1]＝A[i][j][1]·L[i][j]

B[i][j][2]＝A[i][j][2]·L[i][j]；

输出圆形图片B。

进一步的，所述方位多态样本建立方法包括：

对得到所述圆形图片的像素色度矩阵以相同的β角度间隔进行多次旋转，其中n*β＝360°，其中n为正整数；

每旋转一次得到一个仿真样本，连续旋转360度，得到n个不同方位的仿真样本的集合。

进一步的，所述方位多态样本建立方法包括：

通过公式B′＝imrotate(B，angle)对所述输出的圆形图片B的像素色度矩阵进行角度为angle的旋转，得到旋转后的圆形图片B′；

连续旋转得到不同的圆形图片B′，最终得到方位多态样本集合。

另一方面本发明还提供一种果体病变图像方位多样性样本仿真系统，该仿真系统包括：

病变图像关键信息处理单元，用于将采集到的图片剔除非关键信息，重构得到方形图片；

图片圆整形单元，用于计算得到所述方形图片的最大内切圆包围的像素，同时剔除内切圆外的部分像素，得到圆形图片；

方位多态样本建立单元，用于对得到所述圆形图片以相同的角度间隔进行多次旋转，得到不同方位的仿真样本。

进一步的，所述病变图像关键信息处理单元包括：

识别信息模块，用于识别所述采集到的图片中与病变识别无关的信息；

剔除信息模块，用于通过矩形抓取将所述无关的信息剔除；

重构模块，用于将病斑特征图像部分靠近中央，重构为方形像素色度矩阵，得到方形图片。

进一步的，所述图片圆整形单元包括：

构建二维网格模块，用于以所述方形图片一边的像素个数a为上界，以1为下界建立二维网格，所述二维网格的横坐标x[i][j]＝j，纵坐标y[i][j]＝i，其中，i，j分别表示像素的横坐标和纵坐标，1≤i，j＜a；

计算模块，用于计算得到所述内切圆的半径

用于计算得到二维网格相对于所述内切圆半径的偏移网格：

x[i][j]＝x[i][j]-r，y[i][j]＝y[i][j]-r；

用于计算所述偏移网格的中心距离平方值网格：

circle_mat[i][j]＝x[i][j]²+y[i][j]²；

还用于比较得到所述距离平方值网格和半径平方得到内切圆内域逻辑网格并将所述内域逻辑网格转换为和方形像素色度同类型的网格：

L[i][j]＝bool(circle_mat[i][j]≤r²)，bool(.)函数返回0或1函数返回0或1，其中L表示逻辑值类型的矩阵，1表示[i，j]对应的像素在所述内切圆里面，0在表示在内切圆外部；

以及用于用所述内域逻辑网格过滤所述方形像素色度矩阵，其中A表示方形图片，B表示圆形图片：

B[i][j][0]＝A[i][j][0]·L[i][j]

B[i][j][1]＝A[i][jl[1].L[i][j]

B[i][j][2]＝A[i][j][2]·L[i][j]；

图像输出模块，用于输出圆形图片B。

进一步的，所述方位多态样本建立单元包括：

像素旋转模块，用于对得到所述圆形图片的像素色度矩阵以相同的β角度间隔进行多次旋转，其中n*β＝360°，其中n为正整数；

获取样本模块，用于每旋转一次得到一个仿真样本，连续旋转360度，得到n个不同方位的仿真样本的集合。

优选的，所述β角度为36°。

从上面所述可以看出，本发明提供的果体病变图像方位多样性样本仿真方法及系统，通过将采集到的图片剔除非关键信息，重构得到方形图片；避免不必要的信息对果体病变的识别造成影响；通过计算得到方形图片的最大内切圆包围的像素，同时剔除内切圆外的部分像素，得到圆形图片，使得在旋转仿真时，避免因旋转角度产生样本病理图像信息截除的情况发生，保证样本的真实性；通过对得到圆形图片以相同的角度间隔进行多次旋转，得到不同方位的仿真样本，仿真得到的样本集合更加真实模拟栽培环境下的病变图像分布，从少量病变图像集合仿真得到多角度的丰富的病害图像机器学习样本，提高了学习和生产效率。

附图说明

图1为取景框采集果体病变图像样本的示意图；

图2为现有技术采用45°旋转间隔得到不同的样本集合的旋转过程示意图；

图3为本发明提供的果体病变图像方位多样性样本仿真方法一个实施例流程图；

图4为本发明提供的果体病变图像方位多样性样本仿真方法另一个实施例流程图；

图5为本采用发明提供的仿真方法通过任意角度旋转得到不同的样本集合的旋转过程示意图；

图6为本发明提供的果体病变图像方位多样性样本仿真系统实施例示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

如图3所示，为本发明提供的果体病变图像方位多样性样本仿真方法的一个实施例流程图，该方法包括：

步骤101，病变图像关键信息处理：将采集到的图片剔除非关键信息，重构得到方形图片。

步骤102，图片圆整形：计算得到所述方形图片的最大内切圆包围的像素，同时剔除内切圆外的部分像素，得到圆形图片；进一步可以对圆形以外的区域进行0亮度填充。

步骤103，方位多态样本建立：对得到所述圆形图片以相同的角度间隔进行多次旋转，得到方位多态仿真样本。

优选的，步骤103，方位多态样本建立步骤包括：

对得到所述圆形图片的像素色度矩阵以相同的α角度间隔进行多次旋转，其中n*α＝360°，其中n为正整数；

每旋转一次得到一个仿真样本；

连续旋转360度，得到n个不同方位的仿真样本的集合。

优选的，所述α角度为36°。

方形图片的圆形化样本任意角旋转之后，有效区域没有失真，溢出部分都是0亮度填充区域子集，旋转前后的方形围成的三角形区域还是为0亮度填充，维持旋转之前的现状，这变换前后，信息没有任何的失真，完全满足模拟任意角度取景得到不同方位图像的要求。

进一步的，如图4所示，为本发明提供的果体病变图像方位多样性样本仿真方法的另一个实施例流程图：

步骤101，病变图像关键信息处理的方法包括：

步骤101a，识别所述采集到的图片中与病变识别无关的信息；

步骤101b，通过矩形抓取将所述无关的信息剔除；

步骤101c，将病斑特征图像部分靠近中央，重构为方形像素色度矩阵，得到方形图片。

取景框采集到的图片均为矩形，用户关心的是果体外表的某个局部发生了病变，并呈现了异常的外貌特征，通过传感器捕获的图片和识别关注的病变部位相比，往往包含了诸多杂物信息和其他元素，如：叶片，枝条，果梗，天空，等一些和病变识别无关的信息。显然，这些信息无助于识别，并且对识别容易产生干扰，通过矩形抓取剔除无关信息，同时将病斑特征图像部分靠近中央，重构为方形像素色度矩阵，得到方形图片，避免不必要的信息对果体病变的识别造成影响。通过对方形样本图片进行圆形整形，使得在旋转仿真时，避免因旋转角度产生样本病理图像信息截除的情况发生，保证样本的真实性；通过任意角度旋转得到任意方位状态下的仿真样本，仿真得到的样本集合更加真实模拟栽培环境下的病变图像分布。

更详细的，步骤102，图片圆整形地方法包括：

步骤102a，以方形图片A一边的像素个数a为上界，以1为下界建立二维网格，所述二维网格的横坐标x[i][j]＝j，纵坐标y[i][j]＝i，其中，i，j分别表示像素的横坐标和纵坐标，1≤i，j＜a；

步骤102b，得到所述内切圆的半径

步骤102c，得到二维网格相对于所述内切圆半径的偏移网格：

x[i][j]＝x[i][j]-r，y[i][j]＝y[i][j]-r；

步骤102d，计算所述偏移网格的中心距离平方值网格：

circle_mat[i][j]＝x[i][j]²+y[i][j]²；

步骤102e，比较得到所述距离平方值网格和半径平方得到内切圆内域逻辑网格，并将所述内域逻辑网格转换为和方形像素色度同类型的网格：

L[i][j]＝bool(circle_mat[i][j]≤r²)，bool(.)函数返回0或1函数返回0或1，其中L表示逻辑值类型的矩阵，1表示[i，j]对应的像素在所述内切圆里面，0在表示在内切圆外部；

步骤102f，用所述内域逻辑网格过滤所述方形像素色度矩阵，得到圆形像素色度矩阵，其中A表示方形图片，B表示圆形图片：

B[i][j][0]＝A[i][j][0]·L[i][j]

B[i][j][1]＝A[i][j][1]·L[i][j]

B[i][j][2]＝A[i][j][2]·L[i][j]；

步骤102g，输出圆形图片B。

其中，图片圆整形的算法为：

求边长nOutputSize像素的方形RGB图片A的圆形截取，直径为nOutputSize像素

[x，y]＝meshgrid(1∶1：nOutputSize)；

r＝nOutputSize/2；x＝x-r；y＝y-r；

circle_mat＝x.^2+y.^2；

L＝(circle_mat＜＝r*r)；％逻辑圆形过滤矩阵

L＝uint8(L)；

B(:,:,1)＝A(:,:,1).*L；％过滤RGB分量

B(:,:,2)＝A(:,:,2).*L；

B(:,:,3)＝A(:,:,3).*L；

Return B；

可以进一步对圆形图片以外的区域进行0亮度填充。

如图5所示，通过对方形样本图片进行圆形整形得到圆形图片B，圆形图片B任意角旋转之后，有效区域没有失真，溢出部分都是0亮度填充区域子集，旋转前后的方形围成的三角形区域还是为0亮度填充，维持旋转之前的现状，这变换前后，信息没有任何的失真，完全满足模拟任意角度取景得到不同方位图像的要求。在旋转仿真时，圆形图片B一直处于区域内，不会因旋转角度而产生样本病理图像信息截除，破坏样本的真实性。

进一步的，步骤103方位多态样本建立方法包括：

通过公式B′＝imrotate(B，angle)对所述输出的圆形图片B的像素色度矩阵进行角度为angle的旋转，得到旋转后的圆形图片B′；

连续旋转得到不同的圆形图片B′，最终得到方位多态样本集合。

其中，旋转角度可以是不大于360°的任意值，这样就能得到几乎任意方位的仿真样本，同时不会产生像素信息的溢出而失真。

可见本发明提供的果体病变图像方位多样性样本仿真方法提出了圆形的样本方位多态性仿真方法，通过对采集到的图像样本剔除无关信息并重构得到方形样本图片，避免不必要的信息对果体病变的识别造成影响；通过对方形样本图片进行圆形整形，使得在旋转仿真时，避免因旋转角度而产生样本病理图像信息截除的情况发生，保证样本的真实性；通过任意角度旋转得到任意方位状态下的仿真样本，仿真得到的样本集合更加真实模拟栽培环境下的病变图像分布，从少量病变图像集合，仿真得到多角度的丰富的病害图像机器学习样本，提高了学习和生产效率。

另一方面，如图6所示，为本发明提供的果体病变图像方位多样性样本仿真系统实施例示意图，该仿真系统包括：

病变图像关键信息处理单元601，用于将采集到的图片剔除非关键信息，重构得到方形图片；

图片圆整形单元602，用于计算得到所述方形图片的最大内切圆包围的像素，同时剔除内切圆外的部分像素，得到圆形图片；

方位多态样本建立单元603，用于对得到所述圆形图片以相同的角度间隔进行多次旋转，得到不同方位的仿真样本。

取景框采集到的图片均为矩形，通过传感器捕获的图片和识别关注的病变部位相比，往往包含了诸多病变识别无关的信息。显然，这些信息且对识别容易产生干扰，通过矩形抓取剔除无关信息，同时将病斑特征图像部分靠近中央，重构为方形像素色度矩阵，得到方形图片，避免不必要的信息对果体病变的识别造成影响，通过对方形样本图片进行圆形整形，使得在旋转仿真时，不会因旋转角度而会产生样本病理图像信息截除，破坏样本的真实性；通过任意角度旋转得到任意方位状态下的仿真样本，仿真得到的样本集合更加真实模拟栽培环境下的病变图像分布。

进一步的，病变图像关键信息处理单元601单元包括：

识别信息模块，用于识别所述采集到的图片中与病变识别无关的信息；

剔除信息模块，用于通过矩形抓取将所述无关的信息剔除；

重构模块，用于将病斑特征图像部分靠近中央，重构为方形像素色度矩阵，得到方形图片。

图片圆整形单元602包括：

构建二维网格模块，用于以所述方形图片一边的像素个数a为上界，以1为下界建立二维网格，所述二维网格的横坐标x[i][j]＝j，纵坐标y[i][j]＝i，其中，i，j分别表示像素的横坐标和纵坐标，1≤i，j＜a；

计算模块，用于计算得到所述内切圆的半径

用于计算得到二维网格相对于所述内切圆半径的偏移网格：

x[i][j]＝x[i][j]-r，y[i][j]＝y[i][j]-r；

用于计算所述偏移网格的中心距离平方值网格：

circle_mat[i][j]＝x[i][j]²+y[i][j]²；

用于比较得到所述距离平方值网格和半径平方得到内切圆内域逻辑网格：

L[i][j]＝bool(circle_mat[i][j]≤r²)，bool(.)函数返回0或1函数返回0或1，其中L表示逻辑值类型的矩阵，1表示[i，j]对应的像素在所述内切圆里面，0在表示在内切圆外部；

还用于将所述内域逻辑网格转换为和方形像素色度同类型的网格；

以及用于用所述内域逻辑网格过滤所述方形像素色度矩阵，其中A表示方形图片，B表示圆形图片：

B[i][j][0]＝A[i][j][0]·L[i][j]

B[i][j][1]＝A[i][j][1]·L[i][j]

B[i][j][2]＝A[i][j][2]·L[i][j]；

图像输出模块，用于输出圆形图片B。

方位多态样本建立单元603包括：

像素旋转模块，用于对得到所述圆形图片的像素色度矩阵以相同的β角度间隔进行多次旋转，其中n*β＝360°，其中n为正整数；优选的，所述β角度为36°。

获取样本模块，用于每旋转一次得到一个仿真样本，连续旋转360度，得到n个不同方位的仿真样本的集合。

可见本发明提供的果体病变图像方位多样性样本仿真方法及系统提出了圆形的样本方位多态性仿真方法，通过对采集到的图像样本剔除无关信息并重构得到方形样本图片，避免不必要的信息对果体病变的识别造成影响；通过对方形样本图片进行圆形整形，使得在旋转仿真时，避免因旋转角度而产生样本病理图像信息截除，保证样本的真实性；通过任意角度旋转得到任意方位状态下的仿真样本，仿真得到的样本集合更加真实模拟栽培环境下的病变图像分布，从少量病变图像集合仿真得到多角度的丰富的病害图像机器学习样本，提高了学习和生产效率。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。