基于云平台大数据的大数据处理方法及装置与流程

1.本发明涉及大数据技术领域，更具体地说，它涉及基于云平台大数据的大数据处理方法。


背景技术：

2.云计算平台也称为云平台，是指基于硬件资源和软件资源的服务，提供计算、网络和存储能力。云计算平台可以划分为3类：以数据存储为主的存储型云平台，以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台。
3.随着云时代的来临，大数据(big data)也吸引了越来越多的关注。分析师团队认为，大数据(big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像mapreduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
4.大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(mpp)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
5.大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力。
6.图像处理(image processing)，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。图像处理技术一般包括图像压缩，增强和复原，匹配、描述和识别3个部分。
7.从图像中抽取某些有用的度量、数据或信息。目的是得到某种数值结果，而不是产生另一个图像。图像分析的内容和模式识别、人工智能的研究领域有交叉，但图像分析与典型的模式识别有所区别。图像分析不限于把图像中的特定区域按固定数目的类别加以分类，它主要是提供关于被分析图像的一种描述。为此，既要利用模式识别技术，又要利用关于图像内容的知识库，即人工智能中关于知识表达方面的内容。图像分析需要用图像分割方法抽取出图像的特征，然后对图像进行符号化的描述。这种描述不仅能对图像中是否存在某一特定对象作出回答，还能对图像内容作出详细描述。
8.数字图像处理，分析与机器视觉是认知科学与计算机科学中的一个令人兴奋和活跃的分支，在人的感知，识别和理解中，形状是一个非常重要的参数，而链编码就是以此概念延伸的一种形状描述方法；
9.链码(又称为freeman码)是用曲线起始点的坐标和边界点方向代码来描述曲线或边界的方法，常被用来在图像处理、计算机图形学、模式识别等领域中表示曲线和区域边
界；
10.对于利用freeman链码的方式描述图像的曲线或边界需要刻画曲线边界以及转码的过程，所需处理的数据量较大，因而导致耗时较长，尤其是刻画曲线边界的过程占据大部分耗时；
11.图像数据一直占据大数据平台的数据库的主要部分，如何优化对于图像数据的处理是需要解决的问题。


技术实现要素：

12.本发明提供一种优化对于图像数据的处理的基于云平台大数据的大数据处理方法，解决相关技术中的技术问题。
13.根据本发明的一个方面，提供了一种基于云平台大数据的大数据处理方法，包括以下步骤：
14.采集图像数据，所述图像数据至少包括原始图像和图像相关信息，原始图像是由图像传感器采集的原始图像；
15.对所述采集的原始图像按照预定的策略分别分配到服务器以及客户端进行处理；
16.预定的策略由协同单元控制，预定的策略是：
17.服务器生成第一数据表用于存储原始图像，生成第二数据表用于存储图像相关信息；
18.协同单元建立第三数据表用于存储原始图像，建立第四数据表用于存储图像相关信息；
19.客户端建立第五数据表于存储原始图像，建立第六数据表用于存储图像相关信息；
20.其中第五数据表、第六数据表的物理空间大小是固定的；
21.第一预定条件是：第三数据表的数据量大于第五数据表的物理空间；
22.第二预定条件是：第四数据表的数据量大于第六数据表的物理空间；
23.第三预定条件是：第三数据表的数据量大于第五数据表的物理空间的60％且小于第五数据表的物理空间的100％；
24.第四预定条件是：第四数据表的数据量大于第六数据表的物理空间的60％且小于第五数据表的物理空间的100％；
25.第五预定条件是：第三数据表的数据量大于第五数据表的物理空间的30％且小于第五数据表的物理空间的60％；
26.第六预定条件是：第四数据表的数据量大于第六数据表的物理空间的30％且小于第五数据表的物理空间的60％；
27.第七预定条件是：第三数据表的数据量小于第五数据表的物理空间的30％；
28.第八预定条件是：第四数据表的数据量小于第六数据表的物理空间的30％。
29.同时满足第一预定条件和第二预定条件时，原始图像和图像相关信息均分配到服务器进行处理；
30.同时满足第一预定条件和第四预定条件时，原始图像分配到服务器进行处理，图像相关信息部分分配到服务器进行处理，部分分配到客户端进行处理；
31.同时满足第一预定条件和第六预定条件时，原始图像分配到服务器进行处理，图像相关信息分配到客户端进行处理；
32.同时满足第一预定条件和第八预定条件时，原始图像部分分配到服务器进行处理，部分分配到客户端进行处理，图像相关信息分配到客户端进行处理；
33.同时满足第二预定条件和第三预定条件时，图像相关信息分配到服务器进行处理，原始图像部分分配到服务器进行处理，部分分配到客户端进行处理；
34.同时满足第二预定条件和第五预定条件时，图像相关信息分配到服务器进行处理，原始图像分配到客户端进行处理；
35.同时满足第二预定条件和第七预定条件时，图像相关信息部分分配到服务器进行处理，部分分配到客户端进行处理，原始图像分配到客户端进行处理。
36.进一步地，所述第一数据表、第二数据表、第三数据表、第四数据表是一个以上的数据表的集合，客户端的第五数据表映射一个第三数据表，第六数据表映射一个第四数据表。
37.进一步地，服务器以及客户端对采集的原始图像进行处理的方法，包括：
38.将采集的原始图像置于二维的识别区域内；
39.图像的边缘的像素点连接构成闭合边界，相邻的两个像素点的中心连线作为定长线段，以闭合边界的一个像素点作为原点，以原点为起始点在闭合边界的像素点之间刻画出连续的曲线，定长线段的走向对应指向符获得一个数码，定长线段对应指向符获得的数码按顺序排列构成链码；
40.以原点为起始点沿顺时针在闭合边界的像素点之间刻画出连续的曲线，满足第一预定条件时终止；
41.以原点为起始点沿逆时针在闭合边界的像素点之间刻画出连续的曲线，满足第一预定条件时终止；
42.所述第一预定条件是：以原点为起始点沿顺时针在闭合边界的像素点之间刻画出连续的曲线和以原点为起始点沿逆时针在闭合边界的像素点之间刻画出连续的曲线构成闭合曲线；
43.以原点为起始点沿顺时针在闭合边界的像素点之间刻画出连续的曲线对应指第一向符获得第一链码；
44.以原点为起始点沿逆时针在闭合边界的像素点之间刻画出连续的曲线对应指第二向符获得第二链码；
45.第一链码和第二链码组合得到图像边界完整链码。
46.进一步地，所述第一链码和第二链码组合是先将第二链码倒序，之后拼接到第一链码的末端。
47.进一步地，所述第一指向符和第二指向符相互中心对称。
48.根据本发明的一个方面，提供了一种基于云平台大数据的大数据处理装置，包括：
49.数据采集单元，其用于采集包含原始图像以及图像相关信息的图像数据；
50.协同单元，其用于将图像数据按照预定的策略分别分配到服务器以及客户端进行处理；
51.服务器，其用于处理以及存储图像数据；
52.大数据平台，其用于提供用户交互功能。
53.进一步地，所述数据采集单元至少包括用于采集原始图像的原始图像采集模块以及用于采集图像相关信息的采集模块。
54.进一步地，所述服务器至少包括用于生成第一数据表和第二数据表用于存储图像数据的数据库、用于处理图像相关信息的相关信息处理单元，用于对原始图像进行预处理的原始图像预处理单元和用于处理原始图像获得链码的链码生成单元。
55.进一步地，所述大数据平台，其至少包括用于提供用户交互功能的人机交互单元和用于向客户端发送图像数据的数据暂存单元；
56.其中人机交互单元提供功能模块用于用户操作，操作包括检索等；
57.数据暂存单元暂时存储用户检索获得的图像数据以及协同单元分配到客户端处理的数据。
58.本发明的有益效果在于：
59.本发明通过合理策略将图像数据分配到云平台的服务器以及连接服务器的若干个客户端进行处理，最大化图像数据处理资源的利用，结合双路径的图像边界处理方法，能够提高图像处理速度。
附图说明
60.图1是本发明实施例的基于云平台大数据的大数据处理方法的流程图一；
61.图2是本发明实施例的基于云平台大数据的大数据处理方法的流程图二；
62.图3是本发明实施例的以原点为起始点沿顺时针和逆时针在闭合边界的像素点之间刻画出连续的曲线的示意图；
63.图4是本发明实施例的第一指向符的示意图；
64.图5是本发明实施例的第二指向符的示意图；
65.图6是本发明实施例的仅沿顺时针在闭合边界的像素点之间刻画出连续的曲线的示意图；
66.图7是本发明实施例的基于云平台大数据的大数据处理装置的模块示意图；
67.图8是本发明实施例的协同单元的模块示意图；
68.图9是本发明实施例的服务器的模块示意图；
69.图10是本发明实施例的大数据平台的模块示意图。
70.图中：基于云平台大数据的大数据处理装置100、数据采集单元110、协同单元120、服务器130、数据库131、相关信息处理单元132、原始图像预处理单元133、链码生成单元134、大数据平台140、人机交互单元141、数据暂存单元142、索引训练数据库143、机器学习单元144。
具体实施方式
71.现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本说明书内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或
者添加各种过程或组件。例如，所描述的方法可以按照与所描述的顺序不同的顺序来执行，以及各个步骤可以被添加、省略或者组合。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。
72.在本实施例中提供了基于云平台大数据的大数据处理方法，如图1所示是根据本发明的基于云平台大数据的大数据处理方法的流程示意图，如图1所示，该基于云平台大数据的大数据处理方法，包括以下步骤：
73.s1、采集图像数据，所述图像数据至少包括原始图像和图像相关信息，原始图像是由图像传感器采集的原始图像；
74.相关信息可以是拍摄地、拍摄者、拍摄时间、曝光度等信息的集合；
75.s2、对所述采集的原始图像按照预定的策略分别分配到服务器以及客户端进行处理；
76.预定的策略由协同单元控制，预定的策略是：
77.s3、服务器生成第一数据表用于存储原始图像，生成第二数据表用于存储图像相关信息；
78.s4、协同单元建立第三数据表用于存储原始图像，建立第四数据表用于存储图像相关信息；
79.s5、客户端建立第五数据表于存储原始图像，建立第六数据表用于存储图像相关信息；
80.其中第五数据表、第六数据表的物理空间大小是固定的。综合客户端的存储和处理能力确定。
81.其中第一数据表、第二数据表、第三数据表、第四数据表可以是一个以上的数据表的集合，客户端的第五数据表映射一个第三数据表，第六数据表映射一个第四数据表。
82.第一预定条件是：第三数据表的数据量大于第五数据表的物理空间；
83.第二预定条件是：第四数据表的数据量大于第六数据表的物理空间；
84.第三预定条件是：第三数据表的数据量大于第五数据表的物理空间的60％且小于第五数据表的物理空间的100％；
85.第四预定条件是：第四数据表的数据量大于第六数据表的物理空间的60％且小于第五数据表的物理空间的100％；
86.第五预定条件是：第三数据表的数据量大于第五数据表的物理空间的30％且小于第五数据表的物理空间的60％；
87.第六预定条件是：第四数据表的数据量大于第六数据表的物理空间的30％且小于第五数据表的物理空间的60％；
88.第七预定条件是：第三数据表的数据量小于第五数据表的物理空间的30％；
89.第八预定条件是：第四数据表的数据量小于第六数据表的物理空间的30％。
90.s6、同时满足第一预定条件和第二预定条件时，原始图像和图像相关信息均分配到服务器进行处理；
91.s7、同时满足第一预定条件和第四预定条件时，原始图像分配到服务器进行处理，图像相关信息部分分配到服务器进行处理，部分分配到客户端进行处理；
92.s8、同时满足第一预定条件和第六预定条件时，原始图像分配到服务器进行处理，
图像相关信息分配到客户端进行处理；
93.s9、同时满足第一预定条件和第八预定条件时，原始图像部分分配到服务器进行处理，部分分配到客户端进行处理，图像相关信息分配到客户端进行处理；
94.s10、同时满足第二预定条件和第三预定条件时，图像相关信息分配到服务器进行处理，原始图像部分分配到服务器进行处理，部分分配到客户端进行处理；
95.s11、同时满足第二预定条件和第五预定条件时，图像相关信息分配到服务器进行处理，原始图像分配到客户端进行处理；
96.s12、同时满足第二预定条件和第七预定条件时，图像相关信息部分分配到服务器进行处理，部分分配到客户端进行处理，原始图像分配到客户端进行处理。
97.基于以上的策略最大化的利用客户端的处理能力，降低服务器的运行负荷，并且能够保证数据处理的效率。
98.为了在上述的基础上提高数据处理速度，本实施例提供一种服务器以及客户端对采集的原始图像进行处理的方法，包括：
99.将采集的原始图像置于二维的识别区域内；
100.此步骤是为了将图像置于一个二维的识别区域内进行识别，该识别区域内具有对应于像素点的识别点作为图像的背景，处理时识别点与图像像素点的重合，图像的变化使其像素点位无法被轻易的识别，基于已经被记忆的识别区域的识别点能够映射对应的图像的像素点，通过识别点的表达来表达图像的像素点；
101.图像的边缘的像素点连接构成闭合边界，相邻的两个像素点的中心连线作为定长线段，以闭合边界的一个像素点作为原点，以原点为起始点在闭合边界的像素点之间刻画出连续的曲线，定长线段的走向对应指向符获得一个数码，定长线段对应指向符获得的数码按顺序排列构成链码；
102.以原点为起始点沿顺时针在闭合边界的像素点之间刻画出连续的曲线，满足第一预定条件时终止；
103.以原点为起始点沿逆时针在闭合边界的像素点之间刻画出连续的曲线，满足第一预定条件时终止；
104.所述第一预定条件是：以原点为起始点沿顺时针在闭合边界的像素点之间刻画出连续的曲线和以原点为起始点沿逆时针在闭合边界的像素点之间刻画出连续的曲线构成闭合曲线；
105.以原点为起始点沿顺时针在闭合边界的像素点之间刻画出连续的曲线对应指第一向符获得第一链码；
106.以原点为起始点沿逆时针在闭合边界的像素点之间刻画出连续的曲线对应指第二向符获得第二链码；
107.第一链码和第二链码组合得到图像边界完整链码；
108.第一指向符和第二指向符相互中心对称；
109.在本实施例中，识别点在识别区域内存在固定的坐标。
110.如图3所示，以原点为起始点沿顺时针在闭合边界的像素点之间刻画出连续的曲线对应指向符获得第一链码为434202；
111.以原点为起始点沿逆时针在闭合边界的像素点之间刻画出连续的曲线对应指向
符获得第二链码为6760；
112.将第二链码倒序之后与第一链码组合的完整链码为4342020676；
113.如图4所示为第一指向符，如图5所示为第二指向符，第一指向符和第二指向符相互中心对称；
114.从上述过程来看，第一链码和第二链码组合得到图像边界完整链码包括：将第二链码倒序，之后组合到第一链码的末端。
115.如图6所示，与仅沿顺时针在闭合边界的像素点之间刻画出连续的曲线对应指向符获得的链码为4342020676，与上述的完整链码完全一致；
116.更进一步的，如下表1所示为以不同的起点s1、s2、s3进行双向和单向刻画得到的链码结果对比；
117.表1
[0118] 双向顺时针双向逆时针单向顺时针s11234876512345678s28123765481234567s34567321845678123
[0119]
从上表可以看出，无论是从哪个点作为起点，均能够得到与单向刻画相同的链码，能够缩短近50％的链码编码时间，尤其适用于高频率的图像识别场景，例如高速公路车辆识别等。
[0120]
上述的方法提供了两条互不冲突同时进行的路径进行图像处理，能够更为快速的获得图像的边界链码；
[0121]
如图7
‑
10基于本实施例的基于云平台大数据的大数据处理方法，本实施例提供基于云平台大数据的大数据处理装置100，包括：
[0122]
数据采集单元110，其用于采集包含原始图像以及图像相关信息的图像数据；
[0123]
协同单元120，其用于将图像数据按照预定的策略分别分配到服务器130以及客户端进行处理；
[0124]
服务器130，其用于处理以及存储图像数据；
[0125]
大数据平台140，其用于提供用户交互功能；
[0126]
其中数据采集单元110至少包括用于采集原始图像的原始图像采集模块以及用于采集图像相关信息的采集模块；
[0127]
协同单元120至少包括用于生成第三数据表和第四数据表用于存储图像数据的协同数据库121和用于分配图像数据的分配单元122；
[0128]
服务器130至少包括用于生成第一数据表和第二数据表用于存储图像数据的数据库131、用于处理图像相关信息的相关信息处理单元132，用于对原始图像进行预处理的原始图像预处理单元133和用于处理原始图像获得链码的链码生成单元134；
[0129]
大数据平台140，其至少包括用于提供用户交互功能的人机交互单元141和用于向客户端发送图像数据的数据暂存单元142；
[0130]
其中人机交互单元141提供功能模块用于用户操作，操作包括检索等；
[0131]
数据暂存单元142暂时存储用户检索获得的图像数据以及协同单元120分配到客户端处理的数据；
[0132]
作为一种优化的选择，大数据平台140还包括用于存储关键词索引的索引训练数据库143以及用于索引训练的机器学习单元144；机器学习单元144的索引训练包括记录用户检索的关键词以及选取的检索结果中的目标图像数据，根据检索关键词时选取的图像数据的概率，建立关键词与图像数据之间的映射；
[0133]
检索关键词时选取的图像数据的概率具体是，对于a图像数据以及a关键词，检索a关键词的次数为n，检索a关键词时选取a图像数据的总次数为m，检索a关键词时选取的a图像数据的概率为n/m，概率超过阈值则建立关键词与图像数据之间的映射。
[0134]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本实施例各个实施例的方法。
[0135]
上面结合附图对本实施例的实施例进行了描述，但是本实施例并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本实施例的启示下，在不脱离本实施例宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本实施例的保护之内。