专利名称：：一种数据处理方法和装置的制作方法
技术领域：
：本发明涉及一种数据处理技术，尤其涉及一种数据处理方法和装置。
背景技术：
：以关系数据库存储POI(PointofInterest，兴趣点)相关数据是当今行业内各公司所推崇的存储方法。在现有技术中，一个POI所包括的所有信息(如名称、地址、电话等)是以一行记录的形式存储在数据库中的。然而，随着信息技术的不断发展，POI数据的来源、及生产工艺趋于多元化，其可信程度、信息字段丰富程度各有不同；在不同的应用领域当中，对数据的可信程度要求也是不同的。例如在车载导航设备中，所有的字段信息都必须是现场采集或电话核实采集得来的，其他的如网络黄页数据则不能应用于车载导航设备。而网络地图当中，则不需要数据有如此高的可信度，相对的，需要数据的字段信息尽量丰富、更新速度尽量快捷。由此可见，在导航领域，目前行业内不仅关心POI信息本身，而且还需要关心POI的生产工艺及时效。下面介绍现有技术中的几种数据更新方法。一、在数据库中存储POI的所有自然属性如名称、地址、坐标等。在多工艺生产数据的情况下，需要针对不同的生产工艺，建立独立的数据表，以达到不同工艺生产数据的区分。此种方法会造成大量不一致的数据副本。而且，各种生产工艺的数据产品不能得到有机的结合，其间会有大量的重复劳动。POI数据版本管理繁琐、复杂。二、针对每行POI记录，辅以生产工艺、生产时间字段。当POI信息入库时，在行记录中插入由上层程序给出的生产工艺、生产时间。当POI信息更新时，同时更新行记录的生产工艺、生产时间。提取数据时，行记录的生产工艺、生产时间作为所有字段的属性描述信息。存储POI的表结构如表1所示表1poiidNameAddressTelephoneOpoptimeB100N0000R川仪大酒店碚峡路130号023-68864560A2009-2-21其中，op表示生产工艺，optime表示生产时间。该方法虽然记录了POI的生产工艺、生产时间，但是，这些描述只精确到行级(即整条Ρ0Ι)，在POI数据生产过程中经常出现一条数据不同字段通过许多不同工艺进行生产，单纯对行级记录描述不能精确描述每个字段的生产工艺、生产时间。导致数据描述不准确，甚至严重影响数据产品的质量。三、为解决技术二的缺点，针对所有POI信息，在数据库中记录其每一个字段的生产时间、生产工艺。表结构如下所示表24当POI信息入库时，上层程序明确给出每一个字段的生产工艺、生产时间，插入相应的描述字段。当POI信息更新时，上层程序明确给出每一个字段的生产工艺、生产时间，更新相应的描述字段。提取数据时，行记录每个字段的生产工艺、生产时间作为该字段的属性描述信息。在这种技术中，为兼容不同种类POI数据的存储，其数据表的设计本身就存在一定的冗余，针对单条POI记录，其有效信息字段可能很少，而为每一个字段建立相应的描述信息字段，则会造成大量的资源浪费，而且还会导致数据表本身读、写效率降低。综上所述，在现有技术的导航领域中，为了确保POI数据的准确性，就需要增加信息存储量，这样就会在造成大量的资源浪费的同时，而且还会导致数据表本身读、写效率降低。
发明内容本发明的实施例提供了一种数据处理方法和装置，可解决现有技术中资源浪费及数据表读、写效率降低的问题。本发明的实施例提供了一种数据处理方法，该方法包括捕获兴趣点信息，所述兴趣点信息包括生产时间、生产工艺和至少一个兴趣点的字段信息；判断兴趣点的字段信息是否包含兴趣点标识，若是，则根据该兴趣点标识更新基础数据表和字段描述信息表，否则，为该条兴趣点信息分配兴趣点标识，并将该条兴趣点信息插入基础数据表中，所述基础数据表包括所有的兴趣点字段、及初始操作时间和初始生产工艺，所述字段描述信息表包括字段名称、生产时间和生产工艺。本发明实施例还公开了一种数据处理装置，该装置包括基础数据表，用于存储所有的兴趣点字段、及初始操作时间和初始生产工艺；字段描述信息表，用于存储字段名称、生产时间和生产工艺；捕获单元，用于捕获兴趣点信息，所述兴趣点信息包括生产时间、生产工艺和至少一个兴趣点的字段信息；判断单元，用于判断兴趣点的字段信息是否包含兴趣点标识，若是，启动第一处理单元；否则，启动第二处理单元；第一处理单元，所述第一处理单元包括第一更新单元，用于根据该兴趣点标识更新基础数据表，和第二更新单元，用于根据该兴趣点标识更新字段描述信息表，第二处理单元，为该条兴趣点信息分配兴趣点标识，并将该条兴趣点信息插入基础数据表中。本发明的实施例通过采用了字段描述信息表，在字段描述信息表中以行级数据形式，描述POI列级信息的方法，在不改变POI基础信息表的前提下，保存POI所有有效字段的描述信息，从而解决了POI数据多工艺融合生产过程当中同一POI各字段信息生产工艺不同、可信度不同难于精确查询、跟踪、分析、统计的问题。另外，由于本发明采用增量形式记录字段描述信息，并以行级描述、列级描述相结合的方式，在达成精确描述的前提下，大量节省了存储空间，提高了读、写效率。图1示出了本发明实施例的基础数据表与字段描述信息表之间的关系；图2示出了本发明实施例的存储数据的方法；图3示出了本发明实施例的查找数据的方法；图4示出了本发明实施例的数据处理装置。具体实施例方式为了便于本领域一般技术人员理解和实现本发明，现结合附图描绘本发明的实施例。实施例一本实施例提供了一种数据处理方法，该方法通过以关系数据库存储POI信息，在数据库中建立以POI为记录单位的基础数据表及以POI字段描述信息为记录单位的字段描述信息表，为基础数据表建立POI记录更新监控单元，将基础信息表更新过程中各字段的生产时间和生产工艺描述信息记录到字段描述信息表中。图1示出了基础数据表和字段描述信息表之间的关系。在图1中，基础数据表包括如下字段所有POI信息、初始生产工艺、初始生产时间、POIID(Ρ0Ι标识，是表中唯一的标识)，其中，POI信息包括P0IID、名称、地址和电话等；字段描述信息表包括POIID(Ρ0Ι标识，是表中唯一的标识)、字段前值、字段后值、字段名称、生产工艺、生产时间字段。如图2所示，本实施例的数据处理方法包括如下步骤步骤21、建立POI基础数据表，该基础数据表包括如下字段所有POI信息、初始生产工艺、初始生产时间、POIID(Ρ0Ι标识，是表中唯一的标识)。步骤22、建立POI字段描述信息表，该字段描述信息表包括POIID(Ρ0Ι标识，是表中唯一的标识)、字段名称、生产工艺、生产时间字段。步骤23、P0I记录更新监控单元获取预入库POI数据描述信息，该预入库POI数据描述信息包括所有POI信息其中部分字段的值、生产工艺和I生产时间。步骤24、判断POI数据描述信息是否包含POIID,如果是，则进入步骤25，否则，进入步骤26。步骤25、为该POI数据描述信息分配唯一的POIID，将数据所有有效字段信息、生产工艺、生产时间插入基础数据表，表明本条数据所包含所有字段的生产工艺、生产时间为行级生产工艺字段、生产时间字段所记录值，然后结束本过程。步骤26、对基础数据表进行更新。即，判断基础数据表是否存在该条POI(Ρ0ΙID相同)的POI(字段名相同)信息，若是，则更新该POI信息，但不更新生产工艺和生产时间，6否则，将该POI信息插入基础数据表中。步骤27、POI记录更新监控单元捕获更新操作所需更新的字段信息及本次操作的时间及生产工艺。步骤28、针对每一个需要更新字段，判断字段描述信息表是否存在该条POI(Ρ0ΙID相同)的该字段(字段名相同)描述信息。如果是进入步骤290，如果否，进入步骤291。步骤290、用新的生产工艺、生产时间替换字段描述信息表中原有字段描述信息。步骤291、将新的生产工艺、生产时间插入字段描述信息表以建立新的POI字段描述信息。步骤292、本条POI数据描述信息是否还包含其它有效字段信息，若是，返回步骤27，否则，结束本过程。如图3所示，下面描述查询目标POI目标字段描述信息的过程。步骤30、获得POI标识，根据POI标识检索字段描述信息表。即，根据POI标识判断字段描述信息表中是否存在目标POI目标字段描述信息，如果是，则进入步骤31，否则，进入步骤32。步骤31、提取字段描述信息表中该POI字段生产工艺描述值、生产时间值，作为该POI字段的生产工艺、生产时间。步骤32、提取基础信息表中该POI生产工艺描述值、生产时间值，作为该POI字段的生产工艺、生产时间。通过上述步骤，实现了以基础数据表存储的POI数据为基础，满足多工艺融合生产需求的POI字段级信息存储。上述步骤21所述POI基础数据表，以POI为单位，存储POI所有业务信息及行级描述信息。如图1所示，POI基础数据表包括如下字段POIID，POI全局唯一标示。POI名称、地址、电话等约40项POI基础业务信息。生产工艺，第一次入库POI生产工艺标示。生产时间，第一次入库POI生产时间。上述步骤22中，POI字段描述信息表以POI字段为单位，记录POI字段描述信息。如图1所示，POI字段描述信息表包括如下字段POIID，POI全局唯一标识。字段名称，所记录POI字段的名称，其取值范围为POI基础数据表所有业务字段名。字段前值，该POI字段更新前，POI基础数据表中该字段所保存的值。字段后值，该POI字段更新后，POI基础数据表中该字段所保存的值。生产工艺，该POI字段当前值的生产工艺标识。生产时间，该POI字段当前值生产时间。在上述步骤C中，POI记录更新监控单元是以数据库触发器形式实现的，其整个工作过程如图2所示。当一条新的POI进入系统时，例如一条由网络中获得的POI信息名称川仪大酒店地址碚峡路130号电话023_68864560系统首先会为其分配一个全局唯一的POIID:B100N0000R，并根据其插入时所调用的接口，得知该POI生产工艺为“网络上传”，在插入操作时，其OP为“A”。insertintotabIeA(poiid,name,address,telephone,op,optime)Values(‘B100N0000R，，川仪大酒店’，，碚峡路130号，，，‘023-68864560，，，A，，，2009-2-21，)(注0p生产工艺标示；optime生产时间)此时该条POI在数据库中存储形式如表3所示表3而后，通过“外业核实”的方式，得知该条POI“名称”，“地址”均准确无误。则核实结果入库时会采用如下语句。UpdatetabIeASetName=‘川仪大酒店，，address=‘賠峡路130号，，op=‘6，，optime=‘2009-2-22’Wherepoiid=iB100N0000R，在这种情况下，如果没有“Ρ0Ι记录更新监控单元”的协助工作，或不采用本发明中所提出的“以行级记录描述列级字段”的方式，那么，在数据库中将呈现如表4所示的情况表4可见，此时数据库中所表示的意义为，该条POI名称、地址、电话均为2009年2月22日经“外业核实”生产的，然而，在实际生产过程中，电话并未经过“外业核实”，应该是“网络上传”的，其可信程度较“外业核实”要低，而在数据库中无法表示这一情况，造成了数据的不准确，甚至可以称之为错误，其后果在导航行业内是非常严重的。如果为每一个字段都建立相应的描述，则仅描述OP、OPTIME,就要将基础信息表扩大到三倍，对于每个有数十个信息字段的POI来讲，上百个字段会严重影响表的读、写速度。因此，本发明采用单独建表，在表中“以行的形式描述列级字段”，并且只记录发生变化的字段，即“更新部分”会有效的节省空间开销。为达成以上目的，本发明中使用了POI记录更新监控单元POI记录更新监控单元是作用于POI基础数据表的行级触发器，在对POI基础数据表进行更新操作之前被触发。其工作流程为判断是否更新了0Ρ、0ΡΤΙΜΕ，如果否，则停止更新，并向上层抛出异常，如果是则继续执行。获得本次更新的0P，并存入变量v_op，其在触发器中的表现形式为v_op:=:new.opο获得本次更新的0ΡΤΙΜΕ，并存入变量ν—optime，其在触发器中的表现形式为ν—optime=:new.Optime0保持原基础信息表行级记录0P，OPTIME不变，其在触发器中的表现形式为new.op=old.op,new.optime=:old.op0判断所有业务信息字段是否被更新，以下以Name(名称)字段为例判断在更新操作中，是否更新了该字段updating('NAME')=true如果否则进入下一个字段的判断，如果是则记录字段的更新信息。对于之前所述的实例，在接收到如前所述的更新操作命令时，更新信息的过程为判断该Ρ0Γ名称’字段描述信息是否存在，即检索字段描述信息表中是否存在POIID为‘B100N0000R’，字段名称为‘NAME’的记录，此时，在字段描述信息表中，并不存在这样一条记录，信息更新监控单元会执行如下操作insertintotab1eA_update_log(poiid,fieldname,op,optime,oldvalue,newvalue)values(‘B100N0000R，，'NAME'，‘6，，‘2009-2—22，，old.NAME，new.NAME)同理，对于“地址”字段也会进行上述的判断、描述信息插入操作，其在信息跟新记录表中的表现形式如表5所示表5而基础信息表中的记录情况，仍与表3所示相同。当作业人员从网上获取了一条新的POI名称川仪大酒店地址碚峡路131号电话023_68864560经判定，与之前入库POI为同一条，按一定规则处理后，发出如下更新操作UpdatetabIeASetName=‘川仪大酒店，，address=‘賠峡路130/131号，，telephone=，023-68864560，，op=',optime=‘2009-3-1，Wherepoiid=‘B100N0000R，其更新过程为判断该POI‘名称’字段描述信息是否存在，即检索字段描述信息表中是否存在POIID为‘B100N0000R，，字段名称为‘NAME，的记录，“存在”，判断其前后值是否发生变化，“否”，则不进行字段描述信息表的操作。判断该Ρ0Γ名称’字段描述信息是否存在，即检索字段描述信息表中是否存在POIID为‘B100N0000R，，字段名称为‘ADDRESS，的记录，“存在”，判断其前后值是否发生变化，“是”，则对字段描述信息表改行记录进行更新操作UpdatetableA_update_logset0ρ=‘Α，，optime=，2009-3—1，，οldvalue=:old.NAME,newvalue=:new.NAMEWherepoiid=，B100N0000R，andfieldname=，ADDRESS，此时基础信息表内记录如表6所示表6130/131号Γ信息字段描述信息表如表7所示表7本发明在应用过程中，POI字段描述信息，即生产工艺、生产时间提取过程如图3所示。以POIID为iBlOONOOOOR'的‘NAME，，‘TELEPHONE，字段为例，其步骤为检索字段描述信息表中是否存在POIID为‘B100N0000R，、fieldname为‘NAME，的记录，由于字段描述信息表中存在该记录，则提取该记录的‘op’，‘optime’作为字段描述，即生产工艺为“6(外业核实)”，生产时间“2009-2-22”。检索字段描述信息表中是否存在POIID为‘B100N0000R，、fieldname为‘TELEPHONE，的记录，由于字段描述信息表中没有该记录，则到基础数据表中提取POI信息，检索到POIID为‘B100N0000R，的行记录的‘op’，‘optime’作为‘TELEPHONE’字段的描述，即生产工艺为“A(网页上传)”，生产时间“2009-2-21”。本发明由于采用了字段描述信息表，在字段描述信息表中以行级数据形式，描述POI列级信息的方法，在不改变POI基础信息表的前提下，保存POI所有有效字段的描述信息，从而解决了POI数据多工艺融合生产过程当中同一POI各字段信息生产工艺不同、可信度不同难于精确查询、跟踪、分析、统计的问题。另外，由于本发明采用增量形式记录字段描述信息，并以行级描述、列级描述相结合的方式，在达成精确描述的前提下，大量节省了存储空间，提高了读、写效率。实施例二如图4所示，本实施例公开了一种数据处理装置，包括基础数据表，用于存储所有的POI字段、及初始操作时间和初始生产工艺；字段描述信息表，用于存储字段名称、生产时间和生产工艺；捕获单元，用于捕获POI信息，所述POI信息包括生产时间、生产工艺和至少一个POI的字段信息；判断单元，用于判断POI的字段信息是否包含POI标识，若是，启动第一处理单元；否则，启动第二处理单元；第一处理单元，所述第一处理单元包括第一更新单元，用于根据该POI标识更新基础数据表，和第二更新单元，用于根据该POI标识更新字段描述信息表，第二处理单元，为该条POI信息分配POI标识，并将该条POI信息插入基础数据表中。所述第一更新单元具体包括第一判断单元，用于判断基础数据表是否存在该条POI信息，若是，启动更新单元，否则，启动第一插入单元；更新单元，用于更新该POI信息，但不更新生产工艺和生产时间；第一插入单元，用于将该POI信息插入基础数据表中。所述第二更新元包括第二判断单元，用于针对每一个更新字段，判断字段描述信息表是否存在该条POI信息的该字段描述信息，若是，启动替换单元；否则，启动第二插入单元；替换单元，用于用新的生产工艺、生产时间替换字段描述信息表中原有字段描述信息；第二插入单元，用于将新的生产工艺、生产时间插入字段描述信息表以建立新的POI字段描述信息。所述装置还包括检索单元，用于检索POI信息，所述检索单元包括获得单元，用于获得POI标识；第三判断单元，用于判断字段描述信息表中是否存在目标POI目标字段描述信息，如果是，启动第一提取单元；否则，启动第二提取单元；第一提取单元，用于提取字段描述信息表中该POI字段生产工艺描述值、生产时间值；第二提取单元，用于提取基础信息表中该POI生产工艺描述值、生产时间值。上述单元的工作原理可参照实施例一的描述。虽然通过实施例描绘了本发明，但本领域普通技术人员知道，在不脱离本发明的精神和实质的情况下，就可使本发明有许多变形和变化，本发明的范围由所附的权利要求来限定。权利要求一种数据处理方法，其特征在于，包括捕获兴趣点信息，所述兴趣点信息包括生产时间、生产工艺和至少一个兴趣点的字段信息；判断兴趣点的字段信息是否包含兴趣点标识，若是，则根据该兴趣点标识更新基础数据表和字段描述信息表，否则，为该条兴趣点信息分配兴趣点标识，并将该条兴趣点信息插入基础数据表中，所述基础数据表包括所有的兴趣点字段、及初始操作时间和初始生产工艺，所述字段描述信息表包括字段名称、生产时间和生产工艺。2.根据权利要求1所述的方法，其特征在于，所述根据该兴趣点标识更新基础数据表具体包括判断基础数据表是否存在该条兴趣点信息，若是，则更新该兴趣点信息，但不更新生产工艺和生产时间，否则，将该兴趣点信息插入基础数据表中。3.根据权利要求1所述的方法，其特征在于，所述根据该兴趣点标识对字段描述信息表进行更新具体包括针对每一个更新字段，判断字段描述信息表是否存在该条兴趣点信息的该字段描述信息，若是，用新的生产工艺、生产时间替换字段描述信息表中原有字段描述信息，否则，将新的生产工艺、生产时间插入字段描述信息表以建立新的兴趣点字段描述信息。4.根据权利要求1所述的方法，其特征在于，所述方法还包括检索兴趣点信息，所述检索兴趣点信息包括如下步骤获得兴趣点标识，根据兴趣点标识判断字段描述信息表中是否存在目标兴趣点目标字段描述信息，如果是，则提取字段描述信息表中该兴趣点字段生产工艺描述值、生产时间值；否则，提取基础信息表中该兴趣点生产工艺描述值、生产时间值。5.一种数据处理装置，其特征在于，包括基础数据表，用于存储所有的兴趣点字段、及初始操作时间和初始生产工艺；字段描述信息表，用于存储字段名称、生产时间和生产工艺；捕获单元，用于捕获兴趣点信息，所述兴趣点信息包括生产时间、生产工艺和至少一个兴趣点的字段信息；判断单元，用于判断兴趣点的字段信息是否包含兴趣点标识，若是，启动第一处理单元；否则，启动第二处理单元；第一处理单元，所述第一处理单元包括第一更新单元，用于根据该兴趣点标识更新基础数据表，和第二更新单元，用于根据该兴趣点标识更新字段描述信息表，第二处理单元，为该条兴趣点信息分配兴趣点标识，并将该条兴趣点信息插入基础数据表中。6.根据权利要求5所述的装置，其特征在于，所述第一更新单元具体包括第一判断单元，用于判断基础数据表是否存在该条兴趣点信息，若是，启动更新单元，否则，启动第一插入单元；更新单元，用于更新该兴趣点信息，但不更新生产工艺和生产时间；第一插入单元，用于将该兴趣点信息插入基础数据表中。7.根据权利要求5所述的装置，其特征在于，所述第二更新元包括第二判断单元，用于针对每一个更新字段，判断字段描述信息表是否存在该条兴趣点信息的该字段描述信息，若是，启动替换单元；否则，启动第二插入单元；替换单元，用于用新的生产工艺、生产时间替换字段描述信息表中原有字段描述信息；第二插入单元，用于将新的生产工艺、生产时间插入字段描述信息表以建立新的兴趣点字段描述信息。8.根据权利要求5所述的装置，其特征在于，所述装置还包括检索单元，用于检索兴趣点信息，所述检索单元包括获得单元，用于获得兴趣点标识；第三判断单元，用于判断字段描述信息表中是否存在目标兴趣点目标字段描述信息，如果是，启动第一提取单元；否则，启动第二提取单元；第一提取单元，用于提取字段描述信息表中该兴趣点字段生产工艺描述值、生产时间值；第二提取单元，用于提取基础信息表中该兴趣点生产工艺描述值、生产时间值。全文摘要本发明的实施例提供了一种数据处理方法和装置，可解决现有技术中资源浪费及数据表读、写效率降低的问题。所述方法包括捕获兴趣点信息，所述兴趣点信息包括生产时间、生产工艺和至少一个兴趣点的字段信息；判断兴趣点的字段信息是否包含兴趣点标识，若是，则根据该兴趣点标识更新基础数据表和字段描述信息表，否则，为该条兴趣点信息分配兴趣点标识，并将该条兴趣点信息插入基础数据表中，所述基础数据表包括所有的兴趣点字段、及初始操作时间和初始生产工艺，所述字段描述信息表包括字段名称、生产时间和生产工艺。本发明的实施例通过采用字段描述信息表，可提高信息可信度。文档编号G06F17/30GK101882135SQ200910083430公开日2010年11月10日申请日期2009年5月4日优先权日2009年5月4日发明者宫琦,王涛申请人:高德软件有限公司