数据处理系统及数据处理方法与流程

1.本发明是关于一种处理系统，特别是关于一种数据处理系统及数据处理方法。


背景技术：

2.一般而言，机器学习的数据训练步骤完成后，开发者需要手动的将参数汇出，并将参数放置在预测数据处理的程序可以存取得到的位置，才能够加载机器学习参数到机器学习模型中。当参数有异动的时候，需要再次手动汇出新的参数，并手动的停止预测数据处理程序，然后重载新的参数，才能作后续的数据预测，这方式对设计机器学习预测的系统相当的不方便。
3.因此，如何简化机器学习预测的处理流程，以快速且准确地处理更新或被调整过的参数，已成为本领域需解决的问题之一。


技术实现要素：

4.为了解决上述的问题，本公开内容之一态样提供了一种数据处理系统，包含储存装置、机器学习训练模块、机器学习参数储存模块以及预测数据处理模块。储存装置用以提供储存空间。机器学习训练模块用以产生机器学习参数，并取得参数储存代码。其中，参数储存代码对应于储存空间。机器学习参数储存模块用以接收机器学习参数及参数储存代码，并依据参数储存代码，将机器学习参数储存到储存空间。当机器学习参数被更改时，机器学习参数储存模块传送事件通知。预测数据处理模块用以接收事件通知，依据事件通知传送加载要求，以向机器学习参数储存模块要求更改后的机器学习参数。其中，机器学习参数储存模块接收到加载要求后，从参数储存代码对应的储存空间下载更改后的机器学习参数，并传送更改后的机器学习参数到预测数据处理模块。
5.为了解决上述的问题，本公开内容之另一态样提供了一种数据处理方法，包含：产生机器学习参数，并取得参数储存代码；其中，参数储存代码对应于储存空间；接收机器学习参数及参数储存代码，并依据参数储存代码，将机器学习参数储存到储存空间，当机器学习参数被更改时，产生事件通知；以及依据事件通知产生加载要求，加载要求用以要求更改后的机器学习参数；其中，在产生加载要求后，从参数储存代码对应的储存空间下载更改后的机器学习参数。
6.由上述可知，藉由本案的数据处理系统及数据处理方法，预测数据处理模块与机器学习参数储存模块可以通过共享参数储存代码以得知机器学习参数对应的储存空间，并且在机器学习参数异动后，通过事件通知的机制，使预测数据处理模块重载异动后的新的或更改后的机器学习参数，以更新用以预测新的数据的机器学习参数，即使机器学习参数更新频繁，也能自动储存并加载最新版的机器学习参数，使预测数据处理模块使用最新版的机器学习参数进行后续应用，因此，藉由案的数据处理系统及数据处理方法可达到简化机器学习预测的处理流程的功效。
附图说明
7.图1是依照本发明一实施例绘示一种数据处理系统的框图。
8.图2是根据本发明之一实施例绘示一种数据处理方法的流程图。
9.图3是根据本发明之一实施例绘示一种数据处理方法的示意图。
具体实施方式
10.以下说明系为完成发明的较佳实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。
11.必须了解的是，使用于本说明书中的“包含”、“包括”等词，用以表示存在特定的技术特征、数值、方法步骤、作业处理、组件以及/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、组件、元件，或以上的任意组合。
12.权利要求中使用如“第一”、“第二”、“第三”等词用来修饰权利要求中的组件，并非用来表示之间具有优先权顺序，先行关系，或者是一个组件先于另一个组件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的组件。
13.请参照第1及2图，图1是依照本发明实施例绘示一种数据处理系统100的框图。图2是根据本发明之一实施例绘示一种数据处理方法200的流程图。
14.如图1所示，数据处理系统100适用于电子装置上，电子装置例如为计算机、手机、平板或其它具有运算功能的装置。在实施例中，数据处理系统100包含机器学习训练模块110、机器学习参数储存模块120、预测数据处理模块130及储存装置150。在实施例中，数据处理系统100还包含参数注册模块140。
15.在实施例中，储存装置150用以提供储存空间，储存装置150可被实作为只读存储器、闪存、软盘、硬盘、光盘、随身碟、磁带、可由网络存取的数据库或本领域技术人员可轻易思及具有相同功能的储存媒体。
16.在实施例中，机器学习训练模块110、机器学习参数储存模块120、预测数据处理模块130及参数注册模块140各自或一并可由体积电路如微控制单元(micro controller)、微处理器(microprocessor)、数字信号处理器(digital signal processor)、特殊应用集成电路(application specific integrated circuit，asic)或逻辑电路来实施。
17.在实施例中，机器学习训练模块110、机器学习参数储存模块120、预测数据处理模块130及参数注册模块140可以由容器(container)虚拟化技术实现，容器虚拟化技术属于操作系统层虚拟化，主要依赖操作系统内核(kernel)虚拟化的支持，让多个使用者空间列项(user-space instance)可以在主机操作系统(host operating system)的内核中各自独立运行，每个乘载使用者空间列项的资源空间称为容器，主机内核本身也具管理功能，使各容器之间隔离运行，使得每个容器之间的交互影响最小化。因此每个容器中所执行的程序所使用的运算、储存、记忆、网络等资源，就像是个别专用的一样。在实施例中，机器学习训练模块110、机器学习参数储存模块120、预测数据处理模块130及参数注册模块140是由一或多个的容器(每个容器可用以执行特定的程序)所组成。关于容器虚拟化技术的应用属于已知技术，例如已知的docker容器技术、coreos rkt(rocket)容器技术，此些已知技术为实现本发明的一种实施方式，故此处不赘述之。
18.在步骤210中，机器学习训练模块110产生机器学习参数，并取得参数储存代码；其
中，参数储存代码对应于储存空间。
19.在实施例中，机器学习训练模块110可以包含神经网络模型，例如卷积神经网络(convolutional neural network，cnn)、递归神经网络(recurrent neural network，rnn)、生成对抗网络(generative adversarial network，gan)
…
等等，神经网络模型可以应用已知的模型实现。
20.在实施例中，通过输入大量的历史数据(或训练数据)到机器学习训练模块110中，机器学习训练模块110通过神经网络模型运算出机器学习参数，机器学习参数可包含隐藏层数、数以百计的各层参数、运行历史数据的次数、学习速度
…
等等参数。
21.在实施例中，机器学习参数为一个数据参数模型。
22.例如，使用者欲分析某一只股票的股价历史数据，此股价历史数据的数据量巨大，难以由人工计算出精准的股票参数模型，因此将此只股票的股价历史数据输入机器学习训练模块110，机器学习训练模块110中的神经网络模型藉由大量的股价历史数据进行训练，以输出关于此档股价的机器学习参数，机器学习参数可以视为股票预测模型，也可以被储存为一档案。机器学习参数可用以预测此只股票在未来某时点的股价。在实施例中，机器学习训练模块110可从网页下载、文件夹下载或其他输入方式取得此只股票的股价历史数据。
23.在实施例中，参数注册模块140在第一次接收到机器学习训练模块110所发出的机器学习参数后，会启动注册程序，产生对应此机器学习参数的参数储存代码，换句话说，参数注册模块140会将此机器学习参数与参数储存代码绑定。在实施例中，参数注册模块140可以随机数生成参数储存代码，或是依照接收次序产生参数储存代码(例如接收到的第一组机器学习参数对应到参数储存代码为1，接收到的第二组机器学习参数对应到参数储存代码为2)。
24.在实施例中，参数注册模块140接收到机器学习参数后，传送空间规划要求到机器学习参数储存模块120，促使机器学习参数储存模块120规划储存空间，用以储存机器学习参数；其中，机器学习参数储存模块120收到空间规划要求后，促使储存服务155(如图3所示)建立储存空间，参数注册模块140再将参数储存代码对应到此储存空间。
25.在实施例中，参数注册模块140产生此储存空间及参数储存代码之间的对应关系，并将参数储存码传送到机器学习训练模块110及预测数据处理模块130。
26.在实施例中，机器学习参数储存模块120收到空间规划要求后，促使储存服务155呼叫kubernetes的应用程序编程接口(application programming interface，api)以要求永续性磁盘区宣告(persistent volume claim，pvc)，通过pvc动态布建一永续性磁盘区(persistent volume，pv)资源，此pv资源作为储存空间。其中，kubernetes是用于自动部署、扩展和管理容器化(containerized)应用程序的开源系统，用以提供跨主机集群的自动部署、扩展以及运行应用程序容器的平台，可动态的建立储存空间，让机器学习参数可以有一个的存放位置，不需要先行设定好位置。kubernetes中的pv资源可用于管理丛集中持久可用的储存空间，pv资源也可以搭配使用网络档案管理系统(network file system，nfs)等其他类型的储存空间，pv资源的生命周期是由kubernetes代管，pv资源可以动态布建；使用者不需要手动建立和删除辅助储存空间。kubernetes中的pvc是向pv资源提出的请求和要求。pvc对象会请求pv资源的特定大小、存取模式及配置文件。如果符合该项请求的pv资源存在或可供布建，则pvc会系结至该pv资源。由于kubernetes为已知技术，故此处不赘述
之。
27.在实施例中，储存服务155可以通过kubernetes、云端硬盘或其他已知方式建立储存空间。
28.在步骤220中，机器学习参数储存模块120接收机器学习参数及参数储存代码，并依据参数储存代码，将机器学习参数储存到储存空间，当此机器学习参数被更改时，机器学习参数储存模块120传送事件通知。
29.在实施例中，机器学习参数储存模块120会将对应到相同参数储存代码的机器学习参数作比对，例如，机器学习参数储存模块120先收到第一版本的机器学习参数，后收到第二版本的机器学习参数(例如，机器学习参数储存模块110收集到更多股价历史数据，产生更精准的机器学习参数)，机器学习参数储存模块120会比对第一版本的机器学习参数与第二版本的机器学习参数是否相同，若不同，则代表第二版本的机器学习参数有更被更改(更新、调整或异常都视为更改)，机器学习参数储存模块120传送事件通知到预测数据处理模块130。
30.在步骤230中，预测数据处理模块130用以接收事件通知，依据事件通知传送加载要求，以向机器学习参数储存模块120要求更改后的机器学习参数；其中，机器学习参数储存模块120接收到加载要求后，从参数储存代码对应的储存空间下载更改后的机器学习参数，并传送更改后的机器学习参数到预测数据处理模块130。
31.在实施例中，预测数据处理模块130依据事件通知产生加载要求，并将加载要求传送到机器学习参数储存模块120，加载要求用以要求机器学习参数储存模块120下载更改后的机器学习参数。
32.在实施例中，预测数据处理模块130取得更改后的机器学习参数可作其他应用，例如将新的数据通过更改后的机器学习参数进行分析或运算，以得到更准确的预测结果。
33.由此，预测数据处理模块130与机器学习参数储存模块120，可以通过共享参数储存代码以得知机器学习参数对应的储存空间，并且在机器学习参数异动后，通过事件通知的机制，使预测数据处理模块130重载异动后的新的或更改后的机器学习参数，以更新用以预测新的数据的机器学习参数。
34.图3是根据本发明之一实施例绘示一种数据处理方法300的示意图。
35.在步骤s1中，参数注册模块140接收机器学习参数。在实施例中，参数注册模块140接收机器学习参数后，传送空间规划要求到机器学习参数储存模块120。
36.在步骤s2中，机器学习参数储存模块120依据空间规划要求进行空间规划，并传送建立储存空间讯息到储存服务155。在实施例中，机器学习参数储存模块120收到空间规划要求后，传送建立储存空间讯息，以促使储存服务155建立储存空间。
37.在步骤s3中，储存服务155建立储存空间。
38.在实施例中，在步骤s2后可依序或同时或乱序执行步骤s3及s4。
39.在步骤s4中，参数注册模块140产生参数储存代码。
40.在实施例中，参数注册模块140产生此储存空间及参数储存代码之间的对应关系，并将参数储存码传送到机器学习训练模块110及预测数据处理模块130。
41.在步骤s5中，机器学习训练模块110设定参数储存码。
42.在步骤s6中，预测数据处理模块130设定参数储存码。
43.在实施例中，在步骤s4后可依序或同时或乱序执行步骤s3及s4。在执行完步骤s5～s6后，完成依据机器学习参数设定参数储存代码及储存空间的对应关系。在实施例中，步骤s1～s6可视为数据处理系统100的初始环境设定。
44.在步骤s7中，机器学习训练模块110产生机器学习参数。
45.在步骤s8中，机器学习参数储存模块120储存机器学习参数到对应的储存空间。
46.在实施例中，步骤s1的机器学习参数(例如称为第一版本的机器学习参数)与步骤s7所述的机器学习参数(例如称为第二版本的机器学习参数)的内容可能相同也可能不同，因此，在步骤s8中，机器学习参数储存模块120接收机器学习参数(即第二版本的机器学习参数)及其参数储存代码，当机器学习参数储存模块120比对出第一版的机器学习参数与第二版的机器学习参数对应到同一参数储存代码时，机器学习参数储存模块120进而比对第一版本的机器学习参数与第二版本的机器学习参数是否相同，若不同，则判断第二版本的机器学习参数被更改，将第二版本的机器学习参数视为更改后的机器学习参数，机器学习参数储存模块120传送事件通知(包含更改信息)到预测数据处理模块130，并将储存第二版本的机器学习参数到对应的储存空间(可以是覆盖第一版本的机器学习参数，或是当储存空间足够时，第二版本的机器学习参数与第一版本的机器学习参数并存于储存空间)。
47.若机器学习参数储存模块120比对第一版本的机器学习参数与第二版本的机器学习参数相同，则将储存第二版本的机器学习参数到对应的储存空间(可以是覆盖第一版本的机器学习参数，或是当储存空间足够时，第二版本的机器学习参数与第一版本的机器学习参数并存于储存空间，于一些例子中，由于两个版本的机器学习参数相同，机器学习参数储存模块120可不进行储存第二版本的机器学习参数)，并传送事件通知(包含未更改信息)到预测数据处理模块130。
48.在步骤s9中，预测数据处理模块130接收事件通知，依据事件通知传送加载要求到机器学习参数储存模块120。
49.在实施例中，预测数据处理模块130可由接收到的事件通知，可以从事件通知得知数据处理系统100中有新的(更改后的)机器学习参数可作运算，因此传送加载要求到机器学习参数储存模块120。
50.在步骤s10中，机器学习参数储存模块120收到加载要求后，由对应参数储存代码的储存空间下载更改后的机器学习参数。
51.在实施例中，机器学习参数储存模块120将更改后的机器学习参数传送到预测数据处理模块130。
52.在步骤s11中，预测数据处理模块130加载更改后的机器学习参数。
53.在实施例中，预测数据处理模块130可以将新的数据通过更改后的机器学习参数进行分析或运算，以得到更准确的预测结果。
54.由上述可知，藉由本案的数据处理系统及数据处理方法，预测数据处理模块与机器学习参数储存模块可以通过共享参数储存代码以得知机器学习参数对应的储存空间，并且在机器学习参数异动后，通过事件通知的机制，使预测数据处理模块重载异动后的新的或更改后的机器学习参数，以更新用以预测新的数据的机器学习参数，即使机器学习参数更新频繁，也能自动储存并加载最新版的机器学习参数，使预测数据处理模块使用最新版的机器学习参数进行后续应用，因此，藉由案的数据处理系统及数据处理方法可达到简化
机器学习预测的处理流程的功效。
55.【符号说明】
56.100：数据处理系统
57.110：机器学习训练模块
58.120：机器学习参数储存模块
59.130：预测数据处理模块
60.140：参数注册模块
61.150：储存装置
62.200,300：数据处理方法
63.210～230,s1～s11：步骤
64.155：储存服务