一种网络数据处理方法和装置的制造方法
【技术领域】
[0001]本发明涉及通讯领域，特别涉及一种网络数据处理方法和装置。
【背景技术】
[0002]随着计算机技术和网络的不断发展，现如今已越来越多的需要对网络上的各种数据进行处理。
[0003]相关技术中，往往利用数据爬取技术从网络获取数据，然后基于获取到的数据进行手动分析处理，但是这种分析处理数据的方式往往效率不高。因而，需要一种对数据高效处理的方式。
【发明内容】
[0004]本发明实施例提供一种网络数据处理方法和装置，以提高网络数据处理的效率。
[0005]第一方面，提供一种网络数据处理的方法，所述方法包括:
[0006]获取网络上的数据；
[0007]根据获取的所述数据，采用自学习的方式生成数据处理模型；
[0008]利用所述数据处理模型对数据进行处理。
[0009]可选地，在一个实施例中，所述数据包括项目代码和/或项目名称，
[0010]所述获取网络上的数据包括:获取网络上与项目代码和/或项目名称有关的所有记录，所述记录包含所述项目代码和/或所述项目名称；
[0011]所述根据获取的数据，采用自学习的方式生成数据处理模型包括:从获取的所有记录中选取预定数目的记录形成训练集，根据所述训练集中的记录，采用自学习的方式生成数据处理模型；
[0012]所述利用所述数据处理模型对数据进行处理包括:利用所述数据处理模型对获取的记录进行处理。
[0013]可选地，所述根据所述训练集中的记录，采用自学习的方式生成数据处理模型可包括:
[0014]将所述训练集中的每一条记录转换成向量表示；
[0015]利用所述向量表示通过卷积神经网络生成数据处理模型。
[0016]可选地，在本发明的一个实施例中，所述项目为股票，所述利用所述数据处理模型对后续获取的记录进行处理包括:
[0017]利用所述数据处理模型对获取的记录进行处理，以得到每一条记录的预测值；
[0018]对得到的所有预测值计算平均值，以得到股票的平均预测值；
[0019]基于所述平均预测值，确定所述股票的涨跌。
[0020]可选地，所述预测值的范围为-1到1，所述基于所述平均预测值，确定所述股票的涨跌包括:
[0021]如果所述平均预测值大于0，则确定所述股票的趋势为涨；
[0022]如果所述平均预测值小于0，则确定所述股票的趋势为跌。
[0023]第二方面，提供一种网络数据处理的装置，所述装置包括:
[0024]获取模块，用于获取网络上的数据；
[0025]生成模块，用于根据所述获取模块获取的所述数据，采用自学习的方式生成数据处理模型；
[0026]处理模块，用于利用生成模块生成的所述数据处理模型对数据进行处理。
[0027]可选地，在本发明的一个实施例中，所述数据包括项目代码和/或项目名称，
[0028]所述获取模块具体用于:获取网络上预定数目的记录，以形成训练集，所述记录包含所述项目代码和/或所述项目名称；
[0029]所述生成模块具体用于:根据所述训练集中的记录，采用自学习的方式生成数据处理模型；
[0030]所述处理模块具体用于:利用所述数据处理模型对后续获取的记录进行处理。
[0031]可选地，所述生成模块具体用于:
[0032]将所述训练集中的每一条记录转换成向量表示；
[0033]利用所述向量表示通过卷积神经网络生成数据处理模型。
[0034]可选地，在本发明的一个实施例中，所述项目为股票，所述处理模块具体用于:
[0035]利用所述数据处理模型对后续获取的记录进行处理，以得到每一条记录的预测值；
[0036]对得到的所有预测值计算平均值，以得到股票的平均预测值；
[0037]基于所述平均预测值，确定所述股票的涨跌。
[0038]可选地，所述预测值的范围为-1到1，所述处理模块具体用于:
[0039]如果所述平均预测值大于0，则确定所述股票的趋势为涨；
[0040]如果所述平均预测值小于0，则确定所述股票的趋势为跌。
[0041]本发明实施例提供的网络数据处理的方法和装置，在得到网络数据后，基于获取得到的数据，采用自学习的方式来生成数据处理模型，这样一来，后续即可生成的数据处理模型来对数据进行处理，实现了数据处理的自动化，提高了数据处理的效率。
【附图说明】
[0042]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]图1是本发明实施例提供的网络数据处理的方法的流程图；
[0044]图2是本发明实施例提供的网络数据处理的装置的结构框图。
【具体实施方式】
[0045]为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
[0046]图1是本发明实施例提供的一种网络数据处理的方法。参照图1，本发明实施例提供的网络数据处理的方法可包括:
[0047]11、获取网络上的数据。
[0048]其中，所述数据可以为用户需要进行处理分析的任何类型的数据，例如像股票名称、股票代码之类的与股票有关的数据，与商品价格有关的数据等等。需要了解的是，下文说明在针对与股票有关的数据描述时，该说明也可以适用于与商品价格有关的数据，或视使用情况而定，也可以适用于其他类型的数据。
[0049]本发明实施例中的所述数据可以为存在于网络社区的文字数据，例如，网友的评论和发帖等等。
[0050]所述获取网络上的数据可以利用爬取技术来完成。一种具体的获取数据的方式为:内存中维持一个队列来存放URL，同时新建线程池，线程池中的线程不断读取队列中的URL，并利用HTTP请求拉取该URL下的页面内容，在得到页面内容后，解析该页面内容，并将该页面内容的URL添加到所述队列中，之后继续对该页面内容中的文字进行解析，并存入数据库。
[0051]12、根据获取的所述数据，采用自学习的方式生成数据处理模型。
[0052]13、利用所述数据处理模型对数据进行处理。
[0053]本发明实施例提供的网络数据处理的方法，在得到网络数据后，基于获取得到的数据，采用自学习的方式来生成数据处理模型，这样一来，后续即可生成的数据处理模型来对数据进行处理，实现了数据处理的自动化，提高了数据处理的效率。
[0054]可选地，在本发明的一个实施例中，所述数据可包括项目代码和/或项目名称，所述项目可以为股票，也可以为商品等。即在获取数据时可以获取包含股票代码和/或股票名称的记录，也可以获取包含商品名称和/或商品代码的记录。其中，记录的数目可以预先进行设置。步骤11中所述获取网络上的数据可包括:获取网络上与项目代码和/或项目名称有关的所有记录，所述记录包含所述项目代码和/或所述项目名称。
[0055]相应地，步骤12中，所述根据获取的数据，采用自学习的方式生成数据处理模型包括:从获取的所有记录中选取预定数目的记录形成训练集，根据所述训练集中的记录，采用自学习的方式生成数据处理模型。
[0056]相应地，步骤13中，所述利用所述数据处理模型对数据进行处理包括:利用所述数据处理模型对获取的记录进行处理。
[0057]在本发明实施例中可以选取一定数目的记录组成训练集，该数目可以视情况来选定，而当记录较少时，可以选取较少数目的记录组成训练集；当记录较多时，可选取相对较多数目的记录组成训练集。一旦训练集选取好后，即可根据这个训练集采用自学习的方式来生成数据处理模型。如此一来，用相对较少的记录即可形成数据处理模型，而一旦数据处理模型形成后，即可对后续得到的记录进行自动处理，提高了数据处理的效率。
[0058]可选地，在本发明实施例中，根据所述训练集中的记录，采用自学习的方式生成数据处理模型可包括:
[0059]将所述训练集中的每一条记录转换成向量表示；
[0060]利用所述向量表示通过卷积神经网络生成数据处理模型。
[0061]本发明实施例利用特征提取和卷积神经网络相结合的方式来生成数据处理模型，能够保证生成的数据处理模型能以较高准确性的数据进行处理。
[0062]可选地，在获取的数据为股票代码和/或股票名称时，所述利用所述数据处理模型对获取的记录进行处理可包括:
[0063]利用所述数据处理模型对获取的记录进行处理，以得到每一条记录的预测值；
[0064]对得到的所有预测值计算平均值，以得到股票的平均预测值；
[0065]基于所述平均预测值，确定所述股票的涨跌。
[0066]由于平均值能够更好地反映预测值的整体情况，本发明实施例采用对预测值求平均值的方式可以保证对股票的预测更精准。
[0067]可选地，在本发明实施例中够可以对预测值设置一个范围，该范围可根据需要来设置。一种常见的方式是将所述预测值的范围设置为-1到I。此时，所述基于所述平均预测值，确定所述股票的涨跌可包括:
[0068]如果所述平均预测值大于0，则确定所述股票的趋势为涨；
[0069]如果所述平均预测值小于0，则确定所述股票的趋势为跌。
[0070]本发明实施例以非常直观的方式来对股票的趋势进行显示，可以方便用户判断股票的走势，提高用户体验。
[0071]为更好地理解本发明的技术方案，下面以获取的数据