基于数据增强的事物分析模型学习装置及方法与流程

1.本发明涉及一种基于数据增强的事物分析模型学习装置及方法。


背景技术：

2.根据韩国互联网振兴院(kisa)的数据，2019年统计的韩国在线购物市场规模为约133万亿韩元，与2018年的111万亿韩元相比增长了约20％。随着网购市场增速的大幅提升，在网购平台上注册的店铺和商品数量快速增加，消费者通过网购而非线下购买商品的比例显著上升。
3.另外，线下购物方式是消费者选择商场，用眼睛确认商场内的商品购买心仪商品的一种方式，而网购方式是消费者通过想要的商品的关键字搜索并购买商品的方式，随着商品销售平台的变化，消费者查找商品的方式也在发生变化。
4.因此，在网购中，良好地设置与商品相关的关键字使消费者的流量能够流向商品页面变得非常重要。但是，仅韩国前10位网购商城中上传的商品数量就已超过4亿件的情况下，很难为每件商品一一设置关键字，因此网购商城需要仅凭商品图像文件即可设置商品关键字的功能的解决方案。
5.在此，构成商品图像的要素可以大致分为空间、事物、氛围、色彩。由于消费者同样在搜索商品时将使用商品的空间的用途、商品本身、空间的氛围、商品色彩视为重要因素，因此组合作为构成商品的图像的要素的空间、事物、氛围、色彩中任意一个关键字进行搜索。
6.如上，在需要能够从商品图像中自动提取关于空间、事物、氛围、色彩的关键字的解决方案的情况下，可以引入的代表性技术有利用人工智能的客体检测算法。另外，为了从商品图像中准确地分类出空间、事物、氛围、色彩，有很多需要考虑的因素，如数据质量、数据数量、标注方法、学习难易程度等。因此，需要一种能够生成各种学习数据使得容易学习人工智能模型且能够生成具有准确的性能的模型的技术。


技术实现要素：

7.技术问题
8.本发明的实施例要解决的技术问题是提供一种生成能够从图像自动分类该图像中包含的事物的类别的模型的技术。
9.在此，作为本发明的实施例使用的技术的客体检测人工智能算法可随着用于学习的学习数据的量和品质导致模型的性能产生很大差异。尤其，人工智能模型学习的情况下，为了仅使用有限的学习数据也能够创建具有优异性能的模型，重要的是通过包括模型将实际被使用的各种环境或各种状况的变量的学习数据学习模型。本发明提出一种生成对空间图像进行分类的模型时，生成反映模型将实际被使用的各种环境或状况的学习数据的数据增强技术。
10.另外，存在数据越增加则一一标注空间图像中包含的事物的类别越消耗很长时间
的问题。为此，本发明的实施例提出一种通过经过初次学习的模型自动标注增强的学习数据的类别以自动执行数据提纯及学习过程的技术。
11.但本发明的实施例要实现的技术目的不限于以上技术目的，可在本领域普通技术人员显而易见的范围内从以下要说明的内容导出各种技术目的。
12.技术方案
13.根据本发明的一个实施例的基于数据增强的事物分析模型学习装置包括存储使得执行预定的操作的指令的一个以上的存储器及可操作地连接于所述一个以上的存储器且被设置成运行所述指令的一个以上的处理器，所述处理器执行的操作可包括：获取包括第一事物图像的第一空间图像生成对所述第一空间图像中包含的像素信息进行了变更的第二空间图像的操作；在所述第一空间图像内的包括所述第一事物图像的区域指定边界框(bounding box)，并且在所述边界框标注表征所述第一事物图像的第一类别的操作；向基于预定的客体检测算法设计的模型输入所述第一空间图像初次学习用于导出所述边界框内所述第一事物图像与所述第一类别之间的相关关系的所述模型的加权值，生成根据所述相关关系表征空间图像中包含的事物图像且判别类别的模型的操作；向经过所述初次学习的模型输入所述第二空间图像，将所述模型表征所述第二空间图像内的第二事物图像的边界框和所述模型对所述第二事物图像判别出的第二类别标注到所述第二空间图像的操作；以及根据所述第二空间图像生成对所述模型的加权值进行了二次学习的模型的操作。
14.并且，所述操作还包括生成存储有表征事物信息的多个类别的集合的操作，标注的所述操作可包括在所述第一空间图像内的第一事物图像的区域指定有边界框(bounding box)的情况下，输出所述集合以接收所选择的表征所述第一事物图像的第一类别并在所述边界框标注所述第一类别的操作。
15.并且，生成经过所述二次学习的模型的操作可包括向经过初次学习的所述模型输入所述第二空间图像二次学习用于导出所述第二事物图像与所述第二类别之间的相关关系的模型的加权值，以生成根据所述相关关系表征空间图像中包含的事物图像且判别类别的模型的操作。
16.并且，在所述第二空间图像进行标注的操作可包括向经过初次学习的所述模型输入所述第二空间图像，比较所述第一类别和所述模型对所述第二事物图像判别的第二类别，所述第二类别与所述第一类别相同的情况下保持所述第二类别的值，所述第二类别与所述第一类别不同的情况下将所述第二类别的值修改为与所述第一类别相同的值。
17.并且，其特征还可以是所述边界框被设置成每个边界框包括一个事物图像且事物图像的轮廓区域全部包含于边界框的内部。
18.并且，生成所述第二空间图像的操作可包括对构成所述第一空间图像中包含的像素信息的rgb信息的(x，y，z)元素值，变更使得具有比预定的基准值更大的值的元素值具有更大的值，变更使得具有比所述基准值小的值的元素值具有更小的元素值，以此生成所述第二空间图像的操作。
19.并且，生成所述第二空间图像的操作可包括根据以下数学式1从所述第一空间图像生成所述第二空间图像的操作，
20.[数学式1]
[0021]
dst(i)＝round(max(0，min(α*src(i)-β，255)))
[0022]
(src(i)：像素信息的变更前元素值(x，y，z)，α：常数，β：常数，dst(i)：像素信息的变更后元素值(x
′
，y
′
，z
′
))。
[0023]
并且，生成所述第二空间图像的操作可包括根据以下数学式2从所述第一空间图像生成所述第二空间图像的操作，
[0024]
[数学式2]
[0025]
y＝0.1667*r+0.5*g+0.3334*b
[0026]
(r：像素信息的rgb信息(x，y，z)中x，g：像素信息的rgb信息(x，y，z)中y，b：像素信息的rgb信息(x，y，z)中z，y：像素信息的变更后元素值(x
′
，y
′
，z
′
))。
[0027]
并且，生成所述第二空间图像的操作可包括根据以下数学式3及数学式4从所述第一空间图像生成所述第二空间图像的操作，
[0028]
[数学式3]
[0029]
dst(i)＝round(max(0，min(α*src(i)-β，255)))
[0030]
(src(i)：像素信息的变更前元素值(x，y，z)，α：常数，β：常数，dst(i)：像素信息的变更后元素值(x
′
，y
′
，z
′
))
[0031]
[数学式4]
[0032]
y＝0.1667*r+0.5*g+0.3334*b
[0033]
(r：所述dst(i)的(x
′
，y
′
，z
′
)中x
′
，g：所述dst(i)的(x
′
，y
′
，z
′
)中y
′
，b：所述dst(i)的(x
′
，y
′
，z
′
)中z
′
，y：像素信息的变更后元素值(x
″
，y
″
，z
″
))。
[0034]
并且，生成所述第二空间图像的操作可包括向所述第一空间图像中包含的像素信息的一部分添加噪声信息生成所述第二空间图像的操作。
[0035]
并且，生成所述第二空间图像的操作可包括根据以下所述数学式5向所述第一空间图像的像素信息添加噪声信息生成所述第二空间图像的操作，
[0036]
[数学式5]
[0037]
dst(i)＝round(max(0，min(src(i)
±
n，255)))
[0038]
(src(i)：像素信息的变更前元素值(x，y，z)，n：随机数，dst(i)：像素信息的变更后元素值(x
′
，y
′
，z
′
))。
[0039]
并且，生成所述第二空间图像的操作可包括从作为正中央包括所述第一空间图像中包含的像素中第一像素的nxn(n为3以上的自然数)矩阵大小中包含的多个像素的每个r、g、b的元素值中最大元素值的(r
max
，g
max
，b
max
)减去作为所述多个像素的每个r、g、b的元素平均值的(r
avg
，g
avg
，b
avg
)的值(r
max-r
avg
，g
max-g
avg
，b
max-b
avg
)，所述(r
max-r
avg
，g
max-g
avg
，b
max-b
avg
)的元素值中任意一个小于预设值的情况下，进行对所述第一像素模糊处理的运算以生成所述第二空间图像的操作。
[0040]
并且，生成所述第二空间图像的操作可包括生成相当于所述第一空间图像中包含的所有像素的个数的遵循平均0及标准偏差100的标准高斯正态分布的随机数信息，对所述所有像素中每个像素分别加上所述随机数信息生成被插入噪声的所述第二空间图像的操作。
[0041]
根据本发明的一个实施例的基于数据增强的事物分析模型学习装置执行的方法可包括：获取包括第一事物图像的第一空间图像生成对所述第一空间图像中包含的像素信息进行了变更的第二空间图像的步骤；在所述第一空间图像内的包括所述第一事物图像的
区域指定边界框(bounding box)，并且在所述边界框标注表征所述第一事物图像的第一类别的步骤；向基于预定的图像分类算法设计的模型输入所述第一空间图像初次学习用于导出所述边界框内所述第一事物图像与所述第一类别之间的相关关系的所述模型的加权值，生成根据所述相关关系表征空间图像中包含的事物图像且判别类别的模型的步骤；向经过所述初次学习的模型输入所述第二空间图像，将所述模型表征所述第二空间图像内的第二事物图像的边界框和所述模型对所述第二事物图像判别出的第二类别标注到所述第二空间图像的步骤；以及根据所述第二空间图像生成对所述模型的加权值进行了二次学习的模型的步骤。
[0042]
技术效果
[0043]
根据本发明的实施例，能够提供一种客体检测模型，为了使得能够学习即使拍摄同一空间也可能会因为用于拍摄的摄像机的特性、拍摄时间、拍摄者的习惯等实际各种环境或状况而出现拍摄了同一空间但生成的图像却可能不同的变量，利用通过变形原始学习数据确保各种学习数据的数据增强技术增加学习数据的数量且确保高质量的学习数据，自动实现对增强的学习数据的标注，从而容易学习且具有更高的性能。
[0044]
并且，由于通过经过初次学习的模型自动标注增强的学习数据的类别，因此能够解决越是通过数据增强增加数据的情况下一一标注空间图像中包含的事物的类别越消耗很长时间的问题。
[0045]
因此，使用本发明的图像分类模型的情况下，网购商城可以仅凭商品图像使用与商品相关的关键字以有效地将消费者的流量引入商品页面，而且消费者可以利用自己想要的图像查找对自己有用的关键字进行搜索。
[0046]
此外，可提供通过本说明书直接或间接了解到的各种效果。
附图说明
[0047]
图1为示出利用根据本发明的一个实施例的基于数据增强的事物分析模型学习装置生成的模型对图像中包含的事物的类别进行分类的功能的示意图；
[0048]
图2为根据本发明的一个实施例的基于数据增强的事物分析模型学习装置的功能框图；
[0049]
图3为根据本发明的一个实施例的基于数据增强的事物分析模型学习装置所执行的学习方法的流程图；
[0050]
图4为根据本发明的一个实施例的基于数据增强的事物分析模型学习装置所执行的操作的概念图；
[0051]
图5为标注第一空间图像中包含的事物图像的情况下生成存储有多个类别的集合的操作的例示图；
[0052]
图6为根据通过变更第一空间图像中包含的像素信息来增强数据的实施例生成的第二空间图像的例示图；
[0053]
图7a为根据在第一空间图像中包含的像素信息应用灰度来增强数据的实施例生成的第二空间图像的例示图；
[0054]
图7b为根据在第一空间图像中包含的像素信息的一部分添加噪声来增强数据的实施例生成的第二空间图像的例示图；
[0055]
图8为用于说明区分第一空间图像中包含的事物的轮廓区域且对非轮廓区域应用模糊生成第二空间图像的方法的例示图；
[0056]
图9为根据在第一空间图像添加根据高斯正态分布的噪声信息来增强数据的实施例生成的第二空间图像的例示图。
具体实施方式
[0057]
参见附图及结合附图具体说明的下述实施例可明确本发明的优点、特征及其实现方法。但是本发明并不局限于以下公开的实施例，而是可以以不同的多种方式实现，本实施例只是使得本发明公开更加完整，向本发明所属技术领域的普通技术人员完整地传达发明的范畴，本发明的范畴由权利要求的范畴定义。
[0058]
在说明本发明的实施例时，对公知功能或构成的具体说明除实际上需要的情况以外予以省略。并且，下述术语是考虑到在本发明的实施例中的功能而定义的术语，可能因使用者、运用者的意图或惯例等而异。因此其定义应以本说明书整体内容为基础。
[0059]
附图所示且以下说明的功能块只是可能的实现例而已。在其他实现中，在不超出详细说明的思想及范围的范围内可使用其他功能块。并且，虽然本发明的一个以上的功能块被表示成独立块，但本发明的功能块中一个以上可以是执行同一功能的多种硬件及软件构成的组合。
[0060]
此外，包括某些构成要素这类表述是开放型的表述，只是单纯指代存在该些构成要素，不得理解为排除额外的构成要素。
[0061]
并且，当提到某个构成要素连接或接入到其他构成要素的情况下，虽然可能直接连接或接入到该其他构成要素，但应理解中间还可能存在其他构成要素。
[0062]
并且，
‘
第一’、
‘
第二’等表述只是用于区分多个构成，不限定构成之间的顺序或其他特征。
[0063]
以下参见附图对本发明的实施例进行说明。
[0064]
图1为示出利用根据本发明的一个实施例的基于数据增强的事物分析模型学习装置100生成的人工智能模型对图像中包含的事物的类别进行分类的功能的示意图。
[0065]
参见图1，根据本发明的一个实施例的基于数据增强的事物分析模型学习装置100可提供图1所示的界面的上端菜单的空间分类、事物检测、风格分析、商品推荐功能中事物检测功能。基于数据增强的事物分析模型学习装置100生成用于图1的界面的人工智能模型。人工智能模型能够通过分析输入到图1的左下端的空间图像判别空间图像中包含的事物的位置及名称。为了实现这种实施例，结合图2对基于数据增强的事物分析模型学习装置100的构成进行说明。
[0066]
图2为根据本发明的一个实施例的基于数据增强的事物分析模型学习装置100的功能框图。
[0067]
参见图2，根据一个实施例的基于数据增强的事物分析模型学习装置100可包括存储器110、处理器120、输入接口130、显示部140及通信接口150。
[0068]
存储器110可包括学习数据db 111、神经网络模型113及指令db 115。
[0069]
学习数据db 111可包括拍摄配置有一个以上的事物的空间得到的空间图像文件。空间图像可通过外部服务器、外部db(数据库)获得或获得网络上的空间图像。在此，空间图
像可以由多个像素(例如，由横向m个、竖向n个构成为矩阵形态的m*n个像素)构成，各像素可包括由r(红)、g(绿)、b(蓝)表示固有颜色的rgb元素值(x，y，z)构成的像素信息。
[0070]
神经网络模型113可以是基于客体检测人工智能算法学习的人工智能模型，所述客体检测人工智能算法通过分析所输入的空间图像判别该空间图像中包含的事物图像的位置及事物的名称。人工智能模型可通过下述处理器120的操作生成并存储于存储器110。
[0071]
指令db 115可存储能够使得执行处理器120的操作的指令。例如，指令db 115可存储能够使得执行与下述处理器120的操作对应的操作的计算机代码。
[0072]
处理器120可控制基于数据增强的事物分析模型学习装置100中包括的构成，即存储器110、输入接口130、显示部140及通信接口150的所有操作。处理器120可包括标注模块121、增强模块123、学习模块125及控制模块127。处理器120可通过运行存储于存储器110的指令来驱动标注模块121、增强模块123、学习模块125及控制模块127，由标注模块121、增强模块123、学习模块125及控制模块127执行的操作可理解为由处理器120执行的操作。
[0073]
标注模块121可以在空间图像内的包含事物图像的区域指定边界框(boun ding box)，在空间图像的边界框标注表征事物图像的类别(例如，沙发、相框、书籍、地毯、窗帘等)并存储到学习数据db 111。
[0074]
标注模块121可通过外部服务器、外部db获取空间图像或获取网络上的空间图像。
[0075]
增强模块123可生成对存储于学习数据db 111的空间图像(以下将未被增强模块变形的空间图像称为
‘
第一空间图像’)中包含的像素信息的一部分或全部进行变更的空间图像(以下将被增强模块变形的空间图像称为
‘
第二空间图像’)以增强学习数据，将第二空间图像添加到学习数据db 111进行存储。
[0076]
根据本发明的实施例的基于数据增强的事物分析模型学习装置100学习的模型具有对空间中包含的事物图像的类别进行分类的功能。在此，对空间图像而言，即使拍摄同一空间也可能会因为用于拍摄的摄像机的特性、拍摄时间、拍摄者的习惯等生成实际空间图像的各种环境或状况从而拍摄了同一空间但由于各种变量而图像文件中包含的信息却不同。因此，为了提高人工智能模型的性能，重要的是用于学习的数据的量及品质。尤其，为了使得能够学习可能由于用于拍摄的摄像机的特性、拍摄时间、拍摄者的习惯而可能发生的变量，增强模块123可通过反映对于一个空间图像实际可能发生的变量的图6至图9的数据增强算法增加学习数据的数量。
[0077]
另外，可能数据越增加则一一标注空间图像中包含的事物的类别越消耗很长时间。因此，标注模块123可以将向通过第一空间图像进行了初次学习的人工智能模型输入第二空间图像判别到的事物的位置(边界框)和名称(类别)标注在第二空间图像。在此，标注模块比较向经过初次学习的模型输入第二空间图像得到的人工智能模型判别的第二类别和原来标注于第一空间图像的第一类别，当第二类别与第一类别相同的情况下保持第二类别的值且标注于第二空间图像，当第二类别与第一类别不同的情况下用标注于第一空间图像的第一类别的值进行标注以替代用人工智能模型判别出的第二类别的值进行标注，因此能够自动去除增强的学习数据的离群值(outlier)。因此学习模块能够通过标注的第二空间图像二次学习人工智能模型使得自动执行数据提纯及学习过程。
[0078]
学习模块125能够通过向基于客体检测算法设计的人工智能模型输入学习数据(例如，标注的第一空间图像或标注的第二空间图像)学习用于导出学习数据中包含的空间
图像与标注于各空间图像的类别之间的相关关系的加权值，生成根据加权值的相关关系判别新输入的空间图像的类别的人工智能模型。
[0079]
这种客体检测算法包括定义人工智能领域处理的各种问题及解决这些问题的机器学习算法。本发明的实施例可设置成向根据r-cnn、fast r-cnn、faster r-cnn或ssd的算法设计的人工智能模型的输入层输入空间图像，设置成向输出层输入空间图像的边界框与标注的类别，以学习从空间图像导出表征事物图像的边界框的位置和图像的类别之间的相关关系的人工智能模型的加权值。
[0080]
人工智能模型可以指通过突触(synapse)的结合形成网络的节点构成的具有解决问题的能力的整体模型。人工智能模型可以通过更新作为构成模型的层之间的加权值的模型参数的学习过程、生成输出值的激活函数(activation function)进行定义。
[0081]
模型参数是指通过学习确定的参数，包括层连接的加权值与神经元的偏差等。并且，超参数是指机器学习算法中学习前应被设置的参数，包括学习率(learning rate)、反复次数、迷你批大小(mini_batch_size)、初始化函数等。
[0082]
可以将人工智能模型的学习目的看成是确定最小化损失函数的模型参数。损失函数可用作在人工智能模型的学习过程中确定最佳的模型参数的指标。
[0083]
控制模块127可向完成学习的人工智能模型输入空间图像，导出人工智能模型对输入的空间图像判别出的类别作为该空间图像中包含的事物的关键字。因此，控制模块127能够在网购商城服务器的商品db存储关键字以便能够在包括包含特定事物的图像的商品页面使用该关键字信息。
[0084]
输入接口130能够接收用户的输入。例如，标注学习数据的类别的情况下可接收用户的输入。
[0085]
显示部140可包括包含显示板在内的输出图像的硬件构成。
[0086]
通信接口150使得能够与外部装置(例如，网购商城服务器、用户终端等)进行通信收发信息。为此，通信接口150可包括无线通信模块或有线通信模块。
[0087]
图3为根据本发明的一个实施例的基于数据增强的事物分析模型学习装置所执行的学习方法的流程图，图4为根据本发明的一个实施例的基于数据增强的事物分析模型学习装置所执行的操作的概念图。
[0088]
参见图3及图4，增强模块123能够获取包括第一事物图像的第一空间图像，并生成对第一空间图像中包含的像素信息的一部分或全部进行了变更的第二空间图像(s310)。标注模块121可在第一空间图像内的包含第一事物图像的区域指定边界框(bounding box)，在第一空间图像的边界框标注表征第一事物图像的第一类别(s320)。学习模块125可向基于客体检测算法设计的模型输入标注的第一空间图像，以初次学习从第一空间图像导出边界框内第一事物图像的位置和从第一空间图像第一事物图像的第一类别之间的相关关系的人工智能模型的加权值，根据加权值生成根据学习的相关关系表征空间图像中包含的事物图像的位置及判别事物图像的类别的模型(s330)，之后，标注模块121可向经过初次学习的模型输入第二空间图像以在第二空间图像标注经过初次学习的人工智能模型表征第二空间图像内的第二事物图像的边界框和经过初次学习的人工智能模型对第二事物图像判别的第二类别(s340)。在此，标注模块121可执行向经过初次学习的模型输入第二空间图像，比较第一类别和人工智能模型对第二事物图像判别的第二类别，第二类别与第一类别
相同的情况下保持第二类别的值，第二类别与第一类别不同的情况下，将第二类别的值修改为与第一类别相同的值的操作，更正经过初次学习的模型的错误并进行标注(s345)。即使第二空间图像从第一空间图像发生了变形，但各图像中包含的事物的类别仍然相同，因此可通过如上所述的方法更正经过初次学习的模型的错误以去除离群值数据。
[0089]
因此，学习模块125能够根据完成标注的第二空间图像进行对完成初次学习的人工智能模型的再学习生成对人工智能模型的加权值进行了二次学习的模型(s350)。具体来讲，学习模块125为了二次学习而向经过初次学习的人工智能模型输入标注的第二空间图像，对从第二空间图像导出边界框内第二事物图像的位置和从第二空间图像第二事物图像的第二类别之间的相关关系的人工智能模型的加权值进行二次学习，根据加权值生成根据所学习的相关关系表征空间图像中包含的事物图像的位置且判别事物图像的类别的模型。
[0090]
图5为标注第一空间图像中包含的事物图像的情况下生成存储有多个类别的集合的操作的例示图。
[0091]
参见图5，标注模块生成存储有表征事物信息的多个类别(例如，书籍、沙发、相框、窗帘、地毯等)的集合并存储到学习数据db，在s320步骤的标注时在第一空间图像内的第一事物图像的区域指定了用于表征第一事物图像(例如，图5的沙发)的边界框(bounding box)的情况下，输出存储于学习数据db的集合(例如，图5的右侧窗口)，从标注表征第一事物图像的第一类别的用户接收选择(例如，选择图5的右侧窗口沙发)，在包括第一事物图像的边界框区域标注第一类别以生成表征事物图像的学习数据。在此，边界框可被设置成每个边界框包括一个事物图像且事物图像的轮廓区域全部包含于边界框。
[0092]
以下结合图6至图9说明基于数据增强的事物分析模型学习装置100增强第一空间图像生成第二空间图像实施例。
[0093]
图6为根据通过变更第一空间图像中包含的像素信息来增强数据的实施例生成的第二空间图像的例示图。
[0094]
增强模块123可变形成第一空间图像的像素中亮的部分更亮且暗的部分更暗以增大对比度，或变形成第一空间图像的像素中亮的部分没那么亮且使暗的部分没那么暗以减小对比度，以此生成还能学习到可能根据不同的摄像机的性能或机型而对一个空间生成不同的图像的变量的第二空间图像。
[0095]
为此，增强模块123可对构成第一空间图像中包含的像素信息的rgb信息的(x，y，z)元素值，变更使得具有比预定的基准值更大的值的元素值具有更大的值，变更使得具有比基准值小的值的元素值具有更小的元素值，以此生成第二空间图像。
[0096]
例如，增强模块123可对第一空间图像的所有像素具有的像素信息采用以下数学式1生成像素信息发生变更的第二空间图像。
[0097]
[数学式1]
[0098]
dst(i)＝round(max(0，min(α*src(i)-β，255)))
[0099]
(src(i)：像素信息的变更前元素值(x，y，z)，
[0100]
α：常数，
[0101]
β：常数，
[0102]
dst(i)：像素信息的变更后元素值(x
′
，y
′
，z
′
))
[0103]
根据数学式1，α被设为大于1的值的情况下，可使第一空间图像的像素中亮的部分
更亮且使暗的部分更暗以增大对比度，α被设为大于0小于1的值的情况下，可以使第一空间图像的像素中亮的部分没那么亮且暗的部分没那么暗以减小对比度。
[0104]
并且，r、g、b的元素值通常具有0到255之间的值，因此可以将β设成通过α输出的元素值不远大于255，可使用min函数设成最大值不会大于255。
[0105]
并且，r、g、b的元素值通常具有0到255之间的值，因此可使用max函数使得通过β输出的元素值不小于0。
[0106]
并且，α被设为具有小数点的值的情况下，可使用round函数使得变更后的像素信息的元素值为整数。
[0107]
参见图6a，左侧为第一空间图像，右侧是设置α：2.5，β：330并采用数学式1的情况下的第二空间图像。能够确认图3a的右侧第二空间图像相比于第一空间图像，生成了变成亮的部分更亮且暗的部分更暗的对比度增大的新的学习数据。
[0108]
参见图6b，左侧为第一空间图像，右侧是设置α：0.8，β：50并采用数学式1的情况下的第二空间图像。能够确认图3b的右侧第二空间图像相比于第一空间图像，变成了亮的部分变得没那么亮且暗的部分没那么暗以减小对比度的新的学习数据。
[0109]
参见图6c，左侧为统一成一个色(r、g、b)＝(183，191，194)的第一空间图像，右侧为设置α：2.5，β：330采用数学式1的情况下的第二空间图像。通过图3c可确认一个像素信息根据数学式1变化的程度。
[0110]
图7a为根据在第一空间图像中包含的像素信息应用灰度来增强数据的实施例生成的第二空间图像的例示图。
[0111]
对空间图像的类别的判别受事物的配置、事物的图案(pattern)的影响较大，因此增强模块123可生成反映变量以便将颜色变得单调后更好地学习物体的配置与事物的图案的学习数据。
[0112]
为此，增强模块123可以如图7a的左侧图像所示，对第一空间图像的所有像素所具有的像素信息，利用以下数学式2生成像素信息具有单调颜色且呈现配置及图案的第二空间图像。
[0113]
[数学式2]
[0114]
y＝0.1667*r+0.5*g+0.3334*b
[0115]
(r：像素信息的rgb信息(x，y，z)中x，g：像素信息的rgb信息(x，y，z)中y，b：像素信息的rgb信息(x，y，z)中z，y：像素信息的变更后元素值(x
′
，y
′
，z
′
))
[0116]
并且，增强模块123可以如图7a的右侧图像所示，对通过以下数学式3增大第一空间图像的对比度后导出的元素值采用以下数学式4生成第一空间图像中包含的事物的配置及图案极其明显的第二空间图像。
[0117]
[数学式3]
[0118]
dst(i)＝round(max(0，min(α*src(i)-β，255)))
[0119]
(src(i)：像素信息的变更前元素值(x，y，z)，α：常数，β：常数，dst(i)：像素信息的变更后元素值(x
′
，y
′
，z
′
))
[0120]
[数学式4]
[0121]
y＝0.1667*r+0.5*g+0.3334*b
[0122]
(r：在数学式3求出的dst(i)的(x
′
，y
′
，z
′
)中x
′
，g：在数学式3求出的dst(i)的
(x
′
，y
′
，z
′
)中y
′
，b：在数学式3求出的dst(i)的(x
′
，y
′
，z
′
)中z
′
，y：像素信息的变更后元素值(x
″
，y
″
，z
″
))
[0123]
图7b为根据在第一空间图像中包含的像素信息的一部分添加噪声来增强数据的实施例生成的第二空间图像的例示图。
[0124]
增强模块123可生成用于学习当摄像机放大拍摄的情况下图像中产生噪声的情况的学习数据。为此，增强模块123可在第一空间图像中包含的像素信息的一部分添加噪声信息生成第二空间图像。例如，增强模块123可通过随机数发生算法生成任意的坐标信息，选择第一空间图像中包含的像素中部分坐标，对所选择的坐标的像素具有的元素值利用以下数学式5，对像素信息赋予利用随机数发生算法算出的随机数生成被添加了噪声信息的第二空间图像。
[0125]
[数学式5]
[0126]
dst(i)＝round(max(0，min(src(i)
±
n，255)))
[0127]
(src(i)：像素信息的变更前元素值(x，y，z)，
[0128]
n：随机数，dst(i)：像素信息的变更后元素值(x
′
，y
′
，z
′
))
[0129]
参见图7b可确认左侧为第一空间图像，右侧为采用数学式5添加了噪声的情况下的第二空间图像。
[0130]
图8为用于说明区分第一空间图像中包含的事物的轮廓区域且对非轮廓区域应用模糊生成第二空间图像的方法的例示图。
[0131]
增强模块123可通过以下实施例生成事物的轮廓揉搓般的第二空间图像以便学习摄像机对焦不佳的状态下拍摄到的图像。
[0132]
图8a是为了便于说明而假设包括横向五个x竖向五个矩阵形态的25个像素的第一空间图像并区分各像素区域的例示。在此，各像素具有r、g、b的元素值，但以r(red)的元素值为基准对实施例进行说明。图5a的各像素区域所示的数字表示r的元素值。
[0133]
图8a的情况下，对所有像素执行下述方式的运算，但为了便于说明而以正中央的像素为基准对运算进行说明。图8a的情况下，增强模块123能够计算以被执行运算的像素为中央的nxn区域(在图8a中假设n为3)中包含的像素中r元素值的最大值(r_max＝130)与r元素值的平均值(r_avg＝120)之差(r_max-r_avg＝10)，区分出导出的值小于预设值n的情况下的像素(判别为存在于事物的内侧区域的像素)与大于预设值n的情况下的像素(判别为存在于事物的轮廓区域的像素)，可以如图8b的右侧判别第一空间图像中包含的事物的轮廓。其中，增强模块123可以只对除轮廓区域以外的区域的像素应用高斯模糊算法生成如图8c的右侧图像所示的图像。另外，若以被执行运算的像素为基准的nxn区域有不存在像素的区域(例如，图像的轮廓侧)，则可以省略对该像素进行上述运算，进行模糊处理。
[0134]
如上，增强模块123能够对包含于第一空间图像的所有像素中每个像素进行上述运算。对被进行运算的像素而言，将中央包含该像素的nxn(n为3以上的奇数)矩阵大小中包含的多个像素选为核心区域，求出从作为包含于核心区域的多个像素的每个r、g、b的元素值中最大元素值的(r_max，g_max，b_max)中减去作为包含于核心区域的多个像素的每个r、g、b的元素平均值的(r_avg，g_avg，b_avg)的值(r_max-r_avg，g_max-g_avg，b_max-b_avg)，(r_max-r_avg，g_max-g_avg，b_max-b_avg)中至少任意一个元素值小于预设值n的情况下可对该像素采用高斯模糊算法生成第二空间图像。
[0135]
对包含于第一空间图像的所有像素执行如上运算的情况下，只有颜色差异大的轮廓区域的像素仍具有其像素信息，没有颜色差异的区域的像素被模糊处理，因此能够生成可学习摄像机对焦不佳的状态下拍摄的图像的第二空间图像。在此，模糊处理可采用高斯模糊算法，但不限于此，可采用各种模糊过滤器。
[0136]
参见图8b，左侧为第一空间图像，右侧为通过图8说明的实施例中区分为大于预设值n的情况和小于n的情况的像素生成的图像。图5b的右侧图像也是事物轮廓极其明显显示，因此可以出于明确识别事物的配置与图案的目的添加到学习数据使用。
[0137]
参见图8c，左侧为第一空间图像，右侧为上述图8的实施例中应用n＝7，n＝20的实施例，能够确认轮廓以外的区域被模糊处理的第二空间图像。
[0138]
并且，还可以将通过图5说明的实施例中对大于预设值n的情况的像素进行模糊处理产生与上述实施例相反的效果的第二空间图像添加到学习数据db 111。
[0139]
图9为根据在第一空间图像添加根据高斯正态分布的噪声信息来增强数据的实施例生成的第二空间图像的例示图。
[0140]
增强模块123能够生成用于学习焦点不在图像的特定部分的情况的学习数据。为此，增强模块123能够生成相当于第一空间图像中包含的所有像素的个数的遵循平均0及标准偏差100的标准高斯正态分布的随机数信息，对所有像素中每个像素加上各随机数信息生成被插入噪声信息的第二空间图像。
[0141]
上述本发明的实施例可通过多种方式实现。例如，本发明的实施例可通过硬件、固件、(firmware)、软件或它们结合等实现。
[0142]
通过硬件实现的情况下，本发明的实施例的方法可通过一个或多个asics(application specific integrated circuits，专用集成电路)、dsps(digital signal processors，数字信号处理器)、dspds(digital signal processing devices，数字信号处理器件)、plds(programmable logic devices，可编程逻辑器件)、fpgas(field programmable gate arrays，现场可编程门阵列)、处理器、控制器、微控制器、微处理器等实现。
[0143]
通过固件或软件实现的情况下，根据本发明的实施例的方法可以以执行以上说明的功能或操作的模块、过程或函数等方式实现。存储有软件代码等的计算机程序可存储于计算机可读存储介质或存储器单元，通过处理器驱动。存储器单元位于处理器内部或外部，可通过已经公知的各种方式与处理器收发数据。
[0144]
并且，本发明所附框图的各框与流程图的各步骤的组合还可通过计算机程序指令实现。这些计算机程序指令可搭载于通用计算机、专用计算机或其他可编程数据处理设备的编码处理器，因此通过计算机或其他可编程数据处理设备的编码处理器执行的该指令生成执行在框图的各框或流程图的各步骤说明的功能的手段。这些计算机程序指令还可以存储于为了通过特定方法实现功能而能够指向计算机或其他可编程数据处理设备的计算机可用或计算机可读存储器，因此存储于该计算机可用或计算机可读存储器的指令还可生产包括执行框图的各框或流程图的各步骤中说明的功能的指令手段的制造品目。计算机程序指令还可搭载于计算机或其他可编程数据处理设备上，因此在计算机或其他可编程数据处理设备上执行一系列操作步骤生成通过计算机执行的处理，计算机或其他可编程数据处理设备执行的指令可提供用于执行框图的各框及流程图的各步骤说明的功能的步骤。
[0145]
此外，各块或各步骤可以表示包括用于执行指定逻辑功能的一个或多个可执行指令的模块、段或代码的一部分。另外，需要注意的是在几种替代实施例中，在块或步骤提到的功能也可能脱离顺序发生。例如，连续示出的两个框或步骤实际上可实质性地同时执行，或者这些框或步骤时而可根据相应的功能按反向顺序执行。
[0146]
如上所述，本发明所属技术领域的普通技术人员应当理解本发明在不变更其技术思想或必要特征的前提下可以以其他具体方式实施。因此应理解以上记载的实施例为全面例示而不是进行限定。本发明的范围由所附权利要求范围示出而不是详细说明，应解释权利要求范围的意思及范围和从其等价概念导出的所有变更或变形的方式也包含于本发明的范围。