一种需求单状态迁移驱动自动化的数据供需调度方法与流程

1.本发明涉及大数据处理技术，特别是一种需求单状态迁移驱动自动化的数据供需调度方法。


背景技术：

2.在大数据时代，政府部门会根据自己职能及业务场景需要，向其他部门采集各类数据。例如公安（需求方）办理户籍登记事项需要民政（提供方）提供婚姻登记信息；民政（需求方）办理当前婚姻状况需要由公安和卫健委（提供方）分别提供出生信息和死亡信息等。基于业务场景要求，需要进行编目，接入，质检、融合加工、交换等操作，用于保证数据的质量。其中户籍办理的场景，由单个部门提供数据；统计当前婚姻状况的场景，由多个部门提供数据，并由管理方进行融合加工后提供。
3.在省、直辖市级别的大数据中心，会对厅局委办采集的数据进行归集，对归集的数据进行融合加工，将数据归集到大数据局的目录下，并以目录形式提供服务。在业务处理时，需要考虑的各业务阶段所对应的自动化供需调度情况，如下：1. 【编目】由提供方触发，包括目录和字段的编制2. 【接入】由提供方触发，涉及数据的上传接入3. 【质检】由提供方触发，涉及对提供数据的质量稽查4. 【融合加工】由管理方触发，涉及对提供数据的融合加工处理5. 【交换】由管理方触发，根据需求方提出的提供方式和更新频率等要求进行共享交换由于需求方的业务场景复杂多变，对于需求方来说，其数据来源可能涉及单个部门或者多个部门。从而为了业务的顺利开展，需要归集上述部门的数据，根据业务数据来源情况，判定需求单状态如何迁移，最后由统一的出口进行数据提供。
4.现有技术无法通过线上的业务流程控制，通过合并计算的方式得到需求方所需的融合数据。


技术实现要素：

5.针对现有技术中存在的问题，本发明提供了一种需求单状态迁移驱动自动化的数据供需调度方法，能动态方便快速的明确需求方的业务状况，在跟踪业务变化时能快速的根据需求单状态得到需要驱动的实施流程，减少了不必要的人工判断以及需求单的拆分，大大提高了实施过程的精确性和可操作性。
6.本发明的目的通过以下技术方案实现。
7.一种需求单状态迁移驱动自动化的数据供需调度方法，步骤包括：1）需求方提交需求单，经过管理方审核、审批后，会根据需求数据中的字段来源部门，拆分字段至多个部门，并由相应的提供方进行责任确认，责任确认完成由提供方根据拆分后的数据进行自动化供需调度；
2）拆分后的所有提供方均完成自动化的数据调度处理后，通过需求单在“待责任确认”阶段，拆分的提供方数量，如果拆分后数据来源为单个提供方，判定一下阶段的状态；3）拆分后的所有提供方均完成自动化的数据调度处理后，通过需求单在“待责任确认”阶段，拆分的提供方数量，如果拆分后数据来源为多个提供方，判定一下阶段的状态。
8.步骤1）的规则如下：进入提供方数据调度处理，此时状态为“待编目”，在提供方进行编目操作后，需求单状态自动迁移至“待接入”，后续操作为“接入”；当前需求单状态为“待接入”，在提供方进行接入操作后，需求单状态自动迁移至“待质检”，后续操作为“质检”；当前需求单状态为“待质检”，在提供方进行质检操作后，此时将根据需求单责任确认阶段拆分的提供方数量，进行后续的数据自动化调度处理流程。
9.步骤2）的规则如下：如果当前需求单状态为“待确认可用”，由需求方进行确认可用操作，需求单状态自动迁移至“待交换”，后续操作为“交换”；当前需求单状态为“待交换”，在管理方进行交换操作后，需求单状态自动迁移至“待需求接收”，后续操作为“需求接收”；当前需求单状态为“待需求接收”，在需求方进行需求接收操作后，需求单状态自动迁移完成，整体流程结束。
10.步骤3）的规则如下：进入管理方数据调度处理，此时状态为“待编目”，在管理方进行编目操作后，需求单状态自动迁移至“待融合加工”，后续操作为“融合加工”；当前需求单状态为“待融合加工”，在管理方进行融合加工操作后，需求单状态自动迁移至“待接入”，后续操作为“接入”；当前需求单状态为“待接入”，在管理方进行接入操作后，需求单状态自动迁移至“待质检”，后续操作为“质检”；当前需求单状态为“待质检”，在管理方进行质检操作后，需求单状态自动迁移至“待确认可用”，后续操作为“确认可用”；如果当前需求单状态为“待确认可用”，由需求方进行确认可用操作，需求单状态自动迁移至“待交换”，后续操作为“交换”；当前需求单状态为“待交换”，在管理方进行交换操作后，需求单状态自动迁移至“待需求接收”，后续操作为“需求接收”；当前需求单状态为“待需求接收”，在需求方进行需求接收操作后，需求单状态迁移完成，整体流程结束。
11.编目：指在提供方的目录系统中进行目录和字段的发布；接入：表示将数据接入对应目录下；质检：已完成接入数据的质量稽查的状态；融合加工：将多个部门数据，进行数据的融合加工处理；交换：将提供方实施的数据，进行共享交换，以需求方要求的提供方式提供数据。
12.相比于现有技术，本发明的优点在于：1.端到端的全链路管道：由业务流程控制需要处理的实施步骤，避免人工理解繁琐的业务实施过程。
13.2.自动化能力：根据提供方所需提供的的信息表和字段信息，自动进行编目，减少人工处理的工作量，包括接入、质检等自动化数据供需调度步骤。
14.3.业务逻辑直观易理解，开发人员能够极为直观的理解需求单触发的业务状况的迁移特点，进行开发实现和维护。
附图说明
15.图1为本发明需求单的状态用状态机迁移图。
16.图2为状态机迁移的条件说明表。
17.图3为公安办理死亡登记所需数据信息表。
18.图4为明确信息项的数据名称和数源部门表。
19.图5为死亡信息表。
20.图6为婚姻信息表1。
21.图7为婚姻信息表2。
22.图8为死亡登记信息。
具体实施方式
23.下面结合说明书附图和具体的实施例，对本发明作详细描述。
24.以需求单为中心，控制基于需求单状态的流程实施以及迁移。需求单流程涉及的数据自动化调度操作有编目、接入、质检、融合加工，共享。为了更好的进行自动化调度，将上述操作进行分层，如下：总共简化为四个主操作，包括编目、接入、质检，交换。其中如果是跨部门的需求申请又包含融合加工这一操作。
25.1、编目：指在提供方的目录系统中进行目录和字段的发布；2、接入：表示将数据接入对应目录下；3、质检：已完成接入数据的质量稽查的状态；4、融合加工：将多个部门数据，进行数据的融合加工处理；5、交换：将提供方实施的数据，进行共享交换，以需求方要求的提供方式提供数据；将上述需求单的状态用状态机迁移图，如图1所示。
26.状态机迁移的条件说明如下表如图2所示。
27.围绕需求单状态迁移的事件，对其自动化数据供需调度进行记录。这些事件包括提供方数据调度处理、管理方数据调度处理两个事件，会自动化完成数据供需调度。具体状态迁移过程如下：1、需求方提交需求单，经过管理方审核、审批后，会根据需求数据中的字段来源部门，拆分字段至多个部门，并由相应的提供方进行责任确认，责任确认完成由提供方根据拆分后的数据进行自动化供需调度。规则如下所示：a.1进入提供方数据调度处理，此时状态为“待编目”，在提供方进行编目操作后，需求单状态自动迁移至“待接入”，后续操作为“接入”；a.2当前需求单状态为“待接入”，在提供方进行接入操作后，需求单状态自动迁移至“待质检”，后续操作为“质检”；a.3当前需求单状态为“待质检”，在提供方进行质检操作后，此时将根据需求单责
任确认阶段拆分的提供方数量，进行后续的数据自动化调度处理流程。
28.2、拆分后的所有提供方均完成自动化的数据调度处理后，通过需求单在“待责任确认”阶段，拆分的提供方数量，判定一下阶段的状态。如果拆分后数据来源为单个提供方，规则如下所示：a.1如果当前需求单状态为“待确认可用”，由需求方进行确认可用操作，需求单状态自动迁移至“待交换”，后续操作为“交换”；a.2当前需求单状态为“待交换”，在管理方进行交换操作后，需求单状态自动迁移至“待需求接收”，后续操作为“需求接收”；a.3当前需求单状态为“待需求接收”，在需求方进行需求接收操作后，需求单状态自动迁移完成，整体流程结束。
29.3、拆分后的所有提供方均完成自动化的数据调度处理后，通过需求单在“待责任确认”阶段，拆分的提供方数量，判定一下阶段的状态。如果拆分后数据来源为多个提供方，规则如下所示：a.1进入管理方数据调度处理，此时状态为“待编目”，在管理方进行编目操作后，需求单状态自动迁移至“待融合加工”，后续操作为“融合加工”；a.2当前需求单状态为“待融合加工”，在管理方进行融合加工操作后，需求单状态自动迁移至“待接入”，后续操作为“接入”；a.3当前需求单状态为“待接入”，在管理方进行接入操作后，需求单状态自动迁移至“待质检”，后续操作为“质检”；a.3当前需求单状态为“待质检”，在管理方进行质检操作后，需求单状态自动迁移至“待确认可用”，后续操作为“确认可用”；a.4如果当前需求单状态为“待确认可用”，由需求方进行确认可用操作，需求单状态自动迁移至“待交换”，后续操作为“交换”；a.5当前需求单状态为“待交换”，在管理方进行交换操作后，需求单状态自动迁移至“待需求接收”，后续操作为“需求接收”；a.6当前需求单状态为“待需求接收”，在需求方进行需求接收操作后，需求单状态迁移完成，整体流程结束。
30.公安办理死亡登记，需要提供以下所需数据信息内容，具体如图3所述。
31.需求方进行需求提交，自动化进行数据供需调度，步骤如下：1、公安提出办理死亡登记的需求，明确需求方所需表、字段信息、提供方以及提供方式等信息后。提交由管理方进行审核校正，明确信息项的数据名称和数源部门，数据信息内容如图4所示。
32.2、在责任确认阶段，将字段和数据名称拆分至对应数源部门，规则如下所示：a.1 将“死亡登记”需求中的信息表及字段，根据“数源部门”进行自动拆分，拆分成民政和卫健委的两张输入表信息，并进入提供方的自动化数据供需调度。拆分数据内容如下：1、死亡信息，其字段包括：出生日期、死亡时间、死亡日期，提供方为卫健委（图5）2、婚姻信息，其字段包括：性别、婚姻状况，提供方为民政（图6）3、完成拆分后，进行提供方的自动化数据供需调度，操作步骤如下所示：
a.1需求单状态为“待编目”，拆分后的数据提供方（民政和卫健委）需要根据拆分至当前部门的数据表和字段信息，点击编目按钮，通过目录系统自动进行编目操作，完成编目后，目录中的信息项根据提供方实际情况决定，单必须包括需求方所需信息项，并由目录系统自动返回对应目录编码以及目录名称，需求单状态迁移为“待接入”。编目信息如下；3、死亡信息，其字段包括：公民身份号码、姓名、性别、出生日期、死亡时间，提供方为卫健委（图5）4、婚姻信息，其字段包括：公民身份号码、姓名、国籍、婚姻、死亡日期，提供方为民政（图7）a.2需求单状态为“待接入”，提供方根据编目返回的目录编码，点击接入按钮，通过目录系统自动进行接入操作，将目录系统对应数据资源接入至编目的目录下，完成接入后由目录系统自动返回资源编码及资源名称，需求单状态迁移为“待质检”；a.3需求单状态为“待质检”，提供方根据编目返回的资源编码和资源名称，点击质检按钮，通过质检系统自动对相应的数据资源进行质检操作，完成质检后由质检系统自动返回质检报告，并进入管理方的自动化数据供需调度；4、完成提供方的自动化数据供需调度后，将进行管理方的自动化数据供需调度，操作步骤如下所示：a.1需求单状态为“待编目”，由管理方根据需求方提出的数据表和字段信息，点击编目按钮，通过目录系统自动进行编目操作，完成编目后由目录系统自动返回对应目录编码以及目录名称，需求单状态迁移为“待融合加工”；5、死亡登记信息，其字段包括：公民身份号码、姓名、性别、出生日期、死亡日期、死亡时间、婚姻状况。提供方为大数据局，编目信息如图8所示；a.2需求单状态为“待融合加工”，管理方需要根据融合方案信息，包括加工逻辑、数据范围等，点击融合加工按钮，通过加工系统自动进行加工操作，将提供方的资源融合加工成新的资源，完成融合加工后自动返回资源编码及资源名称，需求单状态迁移为“待接入”；a.3需求单状态为“待接入”，管理方根据编目返回的目录编码，点击接入按钮，通过目录系统自动进行接入操作，将目录系统对应数据资源接入至编目的目录下，完成接入后由目录系统自动返回资源编码及资源名称，需求单状态迁移为“待质检”；a.4需求单状态为“待质检”，管理方根据编目返回的资源编码和资源名称，点击质检按钮，通过质检系统自动对相应的数据资源进行质检操作，完成质检后由质检系统自动返回质检报告，此时需求单状态迁移为“待需求确认”；a.5需求单状态为“待需求确认”，需求方根据管理方编目的目录信息，包括提供方式、更新频率等，点击需求确认按钮，通过目录系统自动进行数据申请操作，完成需求确认后由管理方进行交换，此时需求单状态迁移为“待交换”；a.6需求单状态为“待交换”，管理方根据编目和接入的信息，包括目录信息、数据资源信息以及提供方式等，完成交换操作后提供交换后的申请接口、密钥等信息，点击交换按钮，通过共享交换平台自动进行数据申请操作，完成交换操作后由共享交换平台返回申请接口、密钥等信息，此时需求单状态迁移为“待需求接收”；a.7需求单状态为“待需求接收”，需求方根据管理方交换操作返回的申请接口、密
钥等信息，进行需求接收操作，完成需求接收操作后，数据供需调度结束，需求单状态迁移完成；逐条处理完毕上述“死亡登记信息”、“婚姻信息”、“死亡信息”三个数据表中的所有记录后，则公安（需求方）能得到
ꢀ“
死亡登记信息”的完整数据信息，自动化数据供需调度结束。