机器学习系统及其用于学习用户控制模式的方法与流程

相关申请的交叉引证

本申请基于并且要求于2016年8月31日向韩国知识产权局提交的韩国专利申请第10-2016-0111305号的优先权的权益，通过引证将其全部内容结合于此。

本公开内容涉及机器学习系统及其用于学习用户控制方式的方法，其根据系统中提前学习的用户控制方式通过重新定义各个学习参数的影响能够增加系统性能(计算能力)和效率。

背景技术：

机器学习系统是通过从外部提供的数据执行学习并且根据基于学习结果的输入估计输出的系统。

例如，在机器学习系统学习驾驶员的刮水器使用模式的情况下，因为驾驶员的刮水器使用模式判定的降雨量、照明度、温度和车辆速度不可知，所以对安装在车辆中的现有传感器中的刮水器系统的使用模式可具有影响的所有要素被用作学习参数。尽管特定用户可根据所有参数值灵敏地操纵刮水器系统，但是一些用户也可仅通过降雨量操纵刮水器系统。然而，所有参数在实现系统时不能普遍使用。

然而，当许多参数普遍使用时，在系统中代码长度或计算量增加，使得难以有效地实现该系统。

技术实现要素：

已经做出本公开内容，以解决在现有技术中存在的上述问题，同时完整地保留由现有技术所实现的优势。

本公开内容的一方面提供了机器学习系统及其用于学习用户控制模式的方法，其根据系统中的提前学习的用户控制方式通过重新定义各个学习参数的影响能够增加系统性能(计算能力)和效率。

根据本公开内容的示例性实施方式，一种机器学习系统，包括：检测器，通过安装在车辆中的两个以上传感器检测两个以上学习数据集；处理器，使用机器学习逻辑根据两个以上学习数据集输出用户控制方式并且根据所输出的用户控制方式控制车辆控制系统；以及存储器，其中存储两个以上学习数据集和用户控制方式，其中，处理器根据存储在存储器中的两个以上学习数据集估计用户控制方式，并且比较所估计的用户控制方式与存储在存储器中的用户控制方式之间的相似性以更新机器学习逻辑的学习参数。

两个以上传感器可包括雨量传感器(rainsensor)、亮度传感器、温度传感器和车速传感器。

机器学习系统可进一步包括用户接口，该用户接口允许用户生成用于选择车辆控制系统的控制方式的输入数据。

处理器可包括：估计逻辑，根据两个以上学习数据集通过机器学习方法估计车辆控制值；最终判定逻辑，根据车辆控制系统的控制方式将车辆控制值或用户输入判定为最终车辆控制值；以及参数优化逻辑，更新估计逻辑的学习参数。

估计逻辑可包括：两个以上第一子学习逻辑，具有两个输入并且根据两个输入使用人工神经网络的曲线拟合法估计输出；以及积分逻辑，将各个第一子学习逻辑的输出乘以对应的权重并且将相乘结果添加至彼此以输出车辆控制值。

参数优化逻辑可包括：两个以上第二子学习逻辑，使用存储在存储器中的学习数据集估计车辆控制值；以及相似性测量和权重判定逻辑，比较第二子学习逻辑的输出与存储在存储器中的最终车辆控制值之间的相似性并且根据比较结果判定估计逻辑中的各个子学习逻辑的权重。

参数优化逻辑可进一步包括重新学习逻辑，该重新学习逻辑使用存储在存储器中的学习数据集和最终车辆控制值执行第二子学习逻辑中的每一个的重新学习。

根据本公开内容的另一示例性实施方式，用于学习机器学习系统的用户控制方式的方法包括：通过安装在车辆中的两个以上传感器检测两个以上学习数据集；通过根据两个以上学习数据集使用机器学习逻辑输出用户控制方式来控制车辆控制系统；取样和存储两个以上学习数据集以及用户控制方式；根据所存储的两个以上学习数据集使用机器学习逻辑估计用户控制方式；比较所估计的用户控制方式与所存储的用户控制方式之间的相似性；根据相似性比较结果判定学习参数；并且通过学习参数更新机器学习逻辑的学习参数。

在两个以上学习数据集的检测中，可检测通过安装在车辆中的雨量传感器、亮度传感器、温度传感器和车速传感器所测量的传感器值。

车辆控制系统的控制可包括：确认车辆控制系统的控制方式是否为自动控制方式；当控制方式是自动控制方式时，确认用户输入是否存在；并且当用户输入不存在时，根据两个以上学习数据集估计车辆控制值并且根据所估计的车辆控制值控制车辆控制系统。

在确认车辆控制系统的控制方式是否为自动控制方式中，当控制方式是手动控制方式时，可根据用户输入控制车辆控制系统。

在确认是否存在用户输入中，当用户输入存在时，控制方式可从自动控制方式改变为手动控制方式，并且可根据用户输入控制车辆控制系统。

在估计用户控制方式中，可通过两个以上子学习逻辑估计两个以上学习数据集的车辆控制值。

学习参数可以是每个子学习逻辑的权重。

在比较相似性中，可使用互相关系数执行相似性的比较。

附图说明

通过结合附图的以下详细说明，本公开内容的上述以及其他目标、特征和优点将更加清晰可见。

图1是示出了根据本公开内容的示例性实施方式的机器学习系统的框图。

图2是示出了图1中示出的估计逻辑的框图。

图3是示出了图1中示出的参数优化逻辑的框图。

图4是示出了根据本公开内容的示例性实施方式的机器学习系统的估计过程的流程图。

图5是示出了根据本公开内容的示例性实施方式的机器学习系统的学习过程的流程图。

图6是示出了根据本公开内容的另一示例性实施方式的机器学习系统的框图。

具体实施方式

因为除非另有具体描述，本申请中描述的术语“包括”、“由......配置”、“具有”等意指包括相应部件，它们将意指包括其他部件而不排除其他部件。

本说明书中所描述的术语“部分”、“模块”等意指处理至少一个功能或操作的单元并且可通过硬件或软件或者硬件和软件的组合来实施。此外，除非在描述本公开内容的背景中或者与该背景清晰矛盾的本说明书中另有描述，否则术语“一个”、“一”、“所述”等可用作包括单数和复数的意义。

在下文中，将参照附图详细描述本公开内容的示例性实施方式。

图1是示出了根据本公开内容的示例性实施方式的机器学习系统的框图。在本示例性实施方式中，通过举例的方式将描述学习用户的车辆刮水器控制方式的情况。

机器学习系统(学习机器系统)100被安装在车辆中，并且使用机器学习方法训练车辆控制。根据本公开内容的机器学习系统100可学习用户控制方式以训练车辆控制。在此，车辆控制意指刮水器系统、自动照明系统、车窗系统等的系统控制。

机器学习系统100包括检测器110、用户接口120、存储器130和处理器140。

检测器110通过安装在车辆中的两个以上传感器检测(感测)学习数据集。检测器110通过安装在车辆中的传感器(诸如，雨量传感器、亮度传感器(自动光传感器)、温度传感器、车速传感器等)检测并收集学习数据集x1、x2、x3和x4。学习数据集包括降雨量、照明度、外部温度、内部温度、车辆速度等。即，学习数据集是通过各个传感器测量的传感器值。检测器110将以预定周期检测(取样)的学习数据集存储在存储器130中。

用户接口120允许用户对于车辆中的控制设备(车辆控制系统)的控制方式进行选择或者为车辆控制系统的控制生成输入数据。用户接口120可以由按钮、滚动轮、滚动开关等形成。

存储器130可将机器学习算法、子学习算法等存储在其中，并且可将机器学习系统100的输入数据和/或输出数据暂时存储在其中。

以下将描述的通过检测器110检测的传感器值(学习数据集)以及最终车辆控制值被存储在存储器130中。以定义的时间周期取样传感器值和最终车辆控制值。

存储器130可通过诸如闪速存储器、硬盘、安全数字(sd)卡、随机存取存储器(ram)、只读存储器(rom)、网络存储器等两个以上存储介质实现。

处理器140使用机器学习逻辑学习用户控制方式，并且基于所学习的用户控制方式执行车辆控制。

处理器140包括估计逻辑141、最终判定逻辑143和参数优化逻辑145。

估计逻辑141接收从检测器110输入的学习数据集x1、x2、x3和x4。估计逻辑141通过机器学习方法根据学习数据集估计车辆控制值y。例如，估计逻辑141通过机器学习算法分析降雨量、照明度、外部温度、车辆速度等以估计刮水器控制等级。

估计逻辑141基于提前学习的用户控制模式根据从检测器110输入的输入数据(学习数据集)来估计输出数据(车辆控制值)。

最终判定逻辑143将估计逻辑141的输出y和从用户接口120输入的用户输入v中的任一个判定为最终车辆控制值z。最终判定逻辑143根据用户选择的车辆控制系统的控制方式将估计逻辑141的输出y或用户接口120的输出v判定为最终车辆控制值z。在此，控制方式被分为手动控制方式和自动控制方式。

最终判定逻辑143将最终判定的最终车辆控制值z输出至车辆控制系统以允许车辆控制系统根据最终车辆控制值对控制目标进行控制。例如，车辆控制系统根据从最终判定逻辑143输出的刮水器控制等级运行刮水器。

此外，最终判定逻辑143将最终车辆控制值z存储在存储器130中。

参数优化逻辑145读取存储在存储器130中的学习数据集x1’、x2’、x3’和x4’以及最终车辆控制值z’。参数优化逻辑145从所存储的学习数据集x1’、x2’、x3’和x4’以及最终车辆控制值z’更新估计逻辑141的学习参数(学习数据集)以及权重w1、w2和w3。即，参数优化逻辑145评估学习参数(学习数据集)对用户控制方式的影响，并且根据评估结果判定权重。

图2是示出了图1中示出的估计逻辑141的框图。

估计逻辑141包括两个以上子学习逻辑ml1、ml2和ml3。估计逻辑141使从两个以上子学习逻辑输出的输出y1、y2和y3的权重w1、w2和w3的总和解模糊化以生成最终输出y。

在此，在各个子学习逻辑ml1、ml2和ml3由函数fmlx表示时，估计逻辑141可由诸如以下等式1的等式定义。

[等式1]

y1(t)＝fml1(x1(t)，x2(t))

y2(t)＝fml2(x1(t)，x3(t))

y3(t)＝fml3(x1(t)，x4(t))

y(t)＝f积分(w1*y1(t)，w2*y2(t)，w3*y3(t))

此处，t是时间。

在等式1中，各个子学习逻辑fmlx的输出y1、y2和y3是用于控制车辆控制系统(例如，刮水器系统)的控制级(一维值)，并且被输入数据x1、x2、x3和x4改变。

各个子学习逻辑ml1、ml2和ml3具有两个输入端。通过检测器110检测的两个学习数据集(传感器值)被输入至各个子学习逻辑ml1、ml2和ml3的输入端。各个子学习逻辑ml1、ml2和ml3根据输入数据(学习数据集)学习用户控制方式(输出数据)。

在这种情况下，使用人工神经网络(ann)的曲线拟合法可以用作学习方法。可替代地，当考虑到各个子学习逻辑ml1、ml2和ml3的输出是每个控制级(例如，0，1，2，3，……10)的概率时，模式识别方法可用作学习方法。

在各个子学习逻辑ml1、ml2和ml3的输出y1(t)、y2(t)和y3(t)具有不同估计值(分别为3.5、2和5)的情况下，积分逻辑(il)将子学习逻辑ml1、ml2和ml3的输出乘以满足w1+w2+w3＝1的权重w1、w2和w3，并且将相乘结果添加至彼此以生成最终结果y(t)。当子学习逻辑ml1、ml2和ml3的ann由针对从1至10的输出节点的概率而不是曲线拟合方案组成时，积分逻辑(il)需要以诸如模糊-or的方案进行配置。

图3是示出了图1中示出的参数优化逻辑145的框图。

参数优化逻辑145包括两个以上子学习逻辑ml1’、ml2’和ml3’，以及相似性测量和权重判定逻辑smwd。

此外，参数优化逻辑145可以可选择地包括重新学习逻辑rl。参数优化逻辑145的重新学习逻辑rl使用以预定时间间隔存储在存储器130中的输入和输出值x1、x2、x3、x4和z，执行各个子学习逻辑ml1’、ml2’和ml3’的重新学习。重新学习逻辑rl以加强学习方案执行重新学习，并且可以可选地执行重新学习。在不执行重新学习的情况下，参数优化逻辑145可利用提前学习而没有变化的结果。两个以上子学习逻辑ml1’、ml2’和ml3’读取从存储器130取样的两个以上学习数据集x1’、x2’、x3’和x4’以及最终车辆控制值z’。各个子学习逻辑ml1’、ml2’和ml3’通过机器学习方法为取样的两个以上学习数据集x1’、x2’、x3’和x4’估计车辆控制值y1’、y2’和y3’。

相似性测量和权重判定逻辑smwd比较从各个子学习逻辑ml1’、ml2’和ml3’输出的所估计的车辆控制值y1’、y2’和y3’与存储在存储器130中的数据z’之间的相似性。在此，使用z’(t)与y1’(t)之间的互相关系数判定相似性的比较。如由等式2所表示的，可定义z’(t)与y1’(t)之间的相似性r。

[等式2]

此处，n是存储样品的数量。

相似性r具有大于或等于-1并且小于或等于1的范围，两个信号具有随着相似性r变得接近于1它们彼此相似的形式，随着相似性r变得接近于0两个信号之间没有关系，并且随着相似性r接近于-1两个信号具有相反的形式。

相似性测量和权重判定逻辑smwd根据相似性比较结果针对学习参数判定权重。例如，权重w1_new可由以下等式3所表示的进行定义。

[等式3]

w1_new＝r(z’，y1’)/r(z’，y1’)+r(z’，y2’)+r(z’，y3’))

在此，当r(z’，y1’)具有0以下的值时，将0带入r(z’，y1’)以计算等式3，并且如以上所述的方案以相同方案计算权重w2_new和w3_new。

此外，参数优化逻辑145将fmlx和wx更新为重新学习的fmlx’和wx_new。

图4是示出了根据本公开内容的示例性实施方式的机器学习系统的估计过程的流程图。估计过程是根据输出(其是使用所学逻辑的输入而输出的)来控制车辆系统的过程。

机器学习系统的处理器140确认车辆控制系统的控制方式是否为自动控制方式(s110)。在此，车辆控制系统可以是安装在车辆中的刮水器系统、自动照明系统、车窗系统等。

当控制方式是自动控制方式时，处理器140确认是否存在用户输入(s120)。处理器140确认是否存在来自用户接口120的数据输入。

在存在用户输入的情况下，处理器140将控制方式从自动控制方式改变为手动控制方式(s130)。

处理器140依据用户输入v(t)根据最终控制值z(t)控制车辆控制系统(s140)。即，处理器140根据用户输入执行手动控制。

处理器140以预定(预定义的)时间间隔将通过检测器110检测的学习数据集x1、x2、x3和x4以及最终车辆控制值z(t)存储在存储器130中，同时执行车辆控制系统的控制(s160)。处理器140以预定周期取样机器学习系统的输入数据x1、x2、x3和x4以及输出数据z(t)并且将所取样的数据存储在存储器130中。

同时，当在s110中控制方式不是自动控制方式时，处理器140执行手动控制(s130)。即，在控制方式是手动控制方式的情况下，处理器140认为用户输入是最终控制值，并且根据最终控制值控制车辆控制系统。

同时，在s120中不存在用户输入的情况下，处理器140执行自动控制(s150)。处理器140通过机器学习方法将对应于从检测器110输入的学习数据集的车辆控制值输出为最终车辆控制值，以执行车辆控制。换言之，处理器140通过机器学习算法分析从检测器110输入的学习数据集，并且根据分析结果估计车辆控制值。在控制方式是自动控制方式并且不存在用户输入的情况下，处理器140将所估计的车辆控制值输出为最终车辆控制值以控制车辆控制系统。

图5是示出了根据本公开内容的示例性实施方式的机器学习系统的学习过程的流程图。学习过程是在通过估计过程累计足够的数据情况下重新学习各个子学习逻辑并且将重新学习结果应用至机器学习系统的过程。

处理器140使用所存储的学习数据集和最终控制值重新学习各个子学习逻辑(s210)。处理器140使用以预定周期取样并且存储在存储器130中的学习数据集和最终车辆控制值执行针对各个子学习逻辑的重新学习。根据系统的性能(计算能力)可以可选地执行重新学习过程。

处理器140比较子学习逻辑ml1’、ml2’和ml3’的输出数据与存储在存储器130中的数据之间的相似性(s220)。各个子学习逻辑ml1’、ml2’和ml3’接收存储并且取样的两个以上学习数据集作为输入，并且根据输入的学习数据集估计输出数据(车辆控制值)。处理器140比较所估计的输出数据y1’、y2’和y3’与存储并且取样的最终车辆控制值z’之间的相似性。

处理器140根据相似性比较结果判定各个子学习逻辑的权重(s230)。在这种情况下，各个子学习逻辑的权重的总和(w1_new+w2_new+w3_new)是1。

处理器140通过所判定的权重更新学习参数(s240)。处理器140通过从参数优化逻辑145输出的所判定的权重更新估计逻辑141的参数。

图6是示出了根据本公开内容的另一示例性实施方式的机器学习系统的框图。

如图6中所示，机器学习系统包括安装在车辆中的学习装置200以及位于远处的服务器300。学习装置200和服务器300通过无线通信在其间发送和接收信息(数据)。

学习装置200包括通信模块210、检测器220、用户接口230、存储器240和处理器250。

通信模块210执行与服务器300的无线通信。作为无线通信技术，可以使用移动通信、无线局域网(wlan)(wifi)、无线宽带(wibro)等。

检测器220检测来自安装在车辆中的两个以上传感器的传感器值(学习数据集)。两个以上传感器可包括雨量传感器、亮度传感器、温度传感器和车速传感器等。检测器220将所检测的传感器值存储在存储器240中。

用户接口230允许用户选择车辆控制系统的控制方式或者根据用于车辆控制系统的控制(车辆控制)的用户输入生成控制命令。

存储器240将用于对学习装置200的运行进行控制的机器学习算法和程序存储在其中。存储器240将学习装置200的输入和输出数据暂时存储在其中。存储器240可通过诸如闪速存储器、硬盘、安全数字(sd)卡、随机存取存储器(ram)、只读存储器(rom)、网络存储器等两个以上存储介质实现。

处理器250包括估计逻辑251和最终判定逻辑253。

处理器250的估计逻辑251通过机器学习算法使用从检测器220输出的传感器值估计车辆控制值。估计逻辑251根据输入的学习数据集估计车辆控制值。

最终判定逻辑253根据车辆控制系统的控制方式将用户输入和从估计逻辑251输出的所估计的车辆控制值中的任一个作为最终车辆控制值。当控制方式是自动控制方式时，最终判定逻辑253将所估计的车辆控制值(其是估计逻辑251的输出)判定为最终车辆控制值。同时，当控制方式是手动控制方式时，最终判定逻辑253将用户输入判定为最终车辆控制值。

处理器250根据从最终判定逻辑253输出的最终车辆控制值(最终判定)控制车辆控制系统。在这种情况下，处理器250将最终车辆控制值存储在存储器240中。

服务器300包括通信模块310、参数优化逻辑320和存储器330。

通信模块310执行与学习装置200的通信模块210的无线通信。作为无线通信技术，可以使用移动通信、无线局域网(wlan)(wifi)、无线宽带(wibro)等。

服务器300通过通信模块310接收从学习装置200发送的经取样的学习数据集和最终车辆控制值，并且将学习结果发送至学习装置200。

参数优化逻辑320通过处理器执行，并且使用取样的学习数据集和最终车辆控制值执行各个子学习逻辑ml1’、ml2’和ml3’的学习。参数优化逻辑320将学习结果提供至学习装置200以允许更新学习装置200的估计逻辑251的学习参数。

参数优化逻辑320根据从学习装置200提供的取样的学习数据集和取样的最终车辆控制值比较各个子学习逻辑的输出之间的相似性。参数优化逻辑320根据相似性比较结果判定各个子学习逻辑的权重。此外，参数优化逻辑320将作为学习结果(更新的学习参数)的判定的权重提供至学习装置200。在这种情况下，参数优化逻辑320为估计逻辑251的各个子学习逻辑提供包括优化逻辑的代码(程序)。学习装置200的估计逻辑251接收并重新编程包括优化逻辑的代码。学习装置200的估计逻辑251接收更新的学习参数以优化各个子学习逻辑。

存储器330将机器学习算法存储在其中，并且将参数优化逻辑320的输入和输出数据暂时地存储在其中。

存储器330可通过诸如闪速存储器、硬盘、安全数字(sd)卡、随机存取存储器(ram)、只读存储器(rom)、网络存储器等两个以上存储介质实现。

尽管已经描述了配置本公开内容的示例性实施方式的所有部件彼此结合为一个部件或者彼此结合并操作为一个部件，但是本公开内容不必局限于以上提及的示例性实施方式。即，在不背离本公开范围的前提下，还可将所有部件选择性地彼此结合且操作为一个或多个部件。另外，尽管所有部件中的每一个可通过一个独立硬件实施，但是作为选择性地彼此结合的各个部件中的一些或者全部可以通过计算机程序实施，计算机程序具有在一个或多个硬件中执行彼此结合的一些或所有功能的程序模块。本公开内容所属领域的技术人员可以容易地推理出配置计算机程序的代码和代码段。计算机程序被存储在计算机可读介质中并且通过计算机来读取并且实行，从而使其可以实施本公开内容的示例性实施方式。

如上所述，在本公开内容中，因为各个学习参数的影响根据提前学习的系统中的用户控制方式被重新定义，所以可增加系统性能(计算能力)和效率。

此外，根据本公开内容，因为对用户控制方式具有影响的学习数据集被判定并应用至系统，所以可以提供用户专用机器学习系统，并且可增加系统性能(计算能力)和效率。

进一步地，当根据本公开内容的机器学习系统中的各个逻辑被标准化为描画各个用户的学习参数时，可以类推对特定系统的每个区域、每个年龄或每个性别的用户控制方式具有影响的元件，并且在开发新系统时可以使用这些元件开发优化逻辑和系统。

进一步地，根据本公开内容，在适于用户的特征之前优化的逻辑被应用于难以应用机器学习逻辑的系统，从而使提供用户专用化机器学习系统成为可能。

在上文中，尽管已参考示例性实施方式和附图描述了本公开内容，但是本公开内容不限于此，而是在不背离所附权利要求书中要求保护的本公开内容的精神和范围的前提下，可由本公开内容所属领域的技术人员作出各种修改和改变。

附图中各元件的符号

110：检测器

120：用户接口

130：存储器

141：估计逻辑

143：最终判定逻辑

145：参数优化逻辑

130：存储器

s110：控制方式是否为自动控制方式？

s120：是否存在用户输入？

s130：改变模式(从自动控制方式至手动控制方式)

s140：执行手动控制z(t)<-v(t)

s150：执行自动控制z(t)<-v(t)

s160：存储学习数据集和最终车辆控制值

s210：使用所存储的数据重新学习

s220：比较所存储的数据与子学习逻辑的输出之间的相似性

s230：判定各个子学习逻辑的权重

s240：更新参数

210：通信模块

220：检测器

230：用户接口

240：存储器

251：估计逻辑

253：最终判定逻辑

310：通信模块

320：参数优化逻辑

330：存储器