专利名称：用于提供统一的数据交换和存储格式的方法和系统的制作方法
背景领域所公开的实施例一般涉及通信系统，尤其涉及为数据交换和数据存储协议提供统一格式的方法和系统。
背景网络中现有的数据交换格式与现有的数据存储格式大大不同；因此，由数据客户机接收的数据在被存储前必须经重新格式化。或者为小数据尺寸或者为大数据尺寸优化了现有的数据交换格式和磁盘存储格式，但不是为两者都优化。当前的数据存储格式缺乏使其有助于通过网络连接稳健地交换实时、大小变化的数据所必要的特征，而当前的网络协议缺乏稳健地保存数据所必要的特征。
因此，本领域中需要一种统一格式，它适用于数据交换和存储两者，从而使统一格式会导致效能成本划算的实现、与其它工具兼容、并且编码可再使用。还需要用于有效数据压缩/解压的统一数据交换和存储格式，从而降低硬件和/或软件运行成本。
概述这里公开的实施例通过在包括数据客户机和数据管理器的网络中提供用于格式化数据的方法和系统，从而解决了上述需求。所述方法和系统提供了一种统一数据格式，它具有头部部分、记录部分和尾部部分，使得数据格式可应用于数据交换和数据存储两者。
在本发明另一方面，数据客户机装置包括用于通过网络连接从数据管理器接收数据的接收机、以及用于向存储单元发送数据的发射机，从而使通过网络连接接收到的数据与被发送到存储单元的数据具有相同的格式。
在本发明另一方面，用于在网络中格式化数据的数据结构包括头部部分、记录部分和尾部部分，使得数据结构既可用于数据交换协议又可用于数据存储协议。
附图简述
图1示出用于实现数据交换协议的示例性网络接口的表示；图2示出示例性数据结构的表示；图3示出示例性全部数据格式的表示；图4A和4B示出示例性记录格式的表示；图5示出总数据格式的示例性头部的表示；图6示出示例性记录格式的表示；以及图7示出工作在图1中的数据客户机和数据管理器的示例性实施例的框图表示。
详细描述图1示出通过连接106和108，在数据管理器102和数据客户机104之间的示例性网络接口的表示。数据管理器102可以包括网络元件，比如Web服务器或接入网络(AN)。数据管理器102可以与数据源进行通信，数据源比如调制解调器组合控制器(MPC)110、调制解调器组合收发机(MPT)112以及/或者接入终端(AT)114。数据客户机104可以包括客户机终端，比如个人电脑、HDR分析工具(HAT)、或者把来自数据管理器102的数据结合到其自身数据中的另一数据服务器。
在一实施例中，数据管理器102和数据客户机104之间的数据通信可以由两个协议控制用于数据控制的数据管理器协议(DMP)、以及用于数据传递和存储的二进制数据交换格式(BDEF)。DMP协议可以包括数据管理器控制协议(DMCP)和数据管理器发现协议(DMDP)，这在待批的专利申请中详细讨论。
数据管理器协议DMP协议是为了简便实现和调试而设计的。设计目标包括具有基本指令和无状态的服务器连接。当立即完成所有事件时，指令“全力以赴地”做几件事情，指令不可能被完成到一半、被散布或者被中断。无状态的服务器把每个请求视为独立的处理，与任何前面的请求无关。这简化了服务器设计，因为它不需要分配存储器处理进行中的对话，或者如果客户机在处理当中停息而担心释放存储器。指令和应答可以是美国信息交换标准码(ASCII)，并且可以选择它们的格式使机器分析容易实现。
数据管理器控制协议(DMCP)
例如，数据管理器102可以支持用于通过双向连接106发送和接收DMCP指令的DMCP协议。双向连接106可以包括TCP或用户数据报协议(UDP)连接。数据管理器102可以为端口1880上的DMCP指令使用TCP连接。然而，如果数据管理器102支持下面定义的DMDP协议，它也会支持其它端口上的DMCP协议。
二进制数据交换格式(BDEF)统一的数据交换和存储格式有利地导致有效的实现、与其它网络组件兼容、以及编码可再使用。这种数据格式适用于会在实时到来的可变大小的大体积数据。图1示出一示例性网络，其中通过网络连接108交换的数据和被保存在存储单元116中的数据具有统一格式，例如BDEF。数据客户机104可以通过网络连接108从数据管理器102接收数据，并且通过连接118向存储单元116发送数据。在一实施例中，网络连接108上的数据交换格式和存储单元116中的数据存储格式是统一的。
在一实施例中，这一统一格式可包括总格式和记录格式。总格式既可以被视为文件格式，它可以定义数据存储格式，也可以被视为网络格式，它可以网络上的数据交换格式。
图2示出按照一个实施例的统一数据格式的示例性数据结构。文件202的总格式可以包括头部部分204、记录部分206和尾部部分208。在一实施例中，总格式202可能仅有记录部分。记录部分206内记录的记录格式还可以包括记录头部210、记录正文212以及记录尾部214。
图3示出BDEF格式的示例性详细总格式。行302到322对应于头部部分204，行324到332对应于记录部分206，行334到336对应于尾部部分208。下面描述这些行中的一些行OVERALL_FORMAT_ID 302标识出基本总格式。在一实施例中，基本总格式是普通的二进制记录格式(GBRF)。任何文件浏览器或编辑器都可用于检验文件的前面四个字节，即OVERALL_FORMAT_ID 302，用于确定基本总格式，例如GBRF。如图3所示，如果文件是GBRF格式的文件，则应把相应的ID值设为GBRF的ASCII字符。
OVERALL_FORMAT_VERSION 304指定了文件所基于的基本总格式的版本，例如GBRF。
RECORD_FORMAT_TYPE 306和RECORD_FORMAT_VERSION 308分别指定了记录格式类型(例如BDEF)及其版本(例如2)。“0x0002”中的前缀“0x”表示2的十六进制表示。
OVERALL_FORMAT_OPTIONS 310指定了格式选项。在一实施例中，16位的两比特可以指定任选字段，其它位可以为将来格式选项而保留，即被设为0。
EOR_SENTINEL 312和EOS_SENTINEL 314字段分别指定了记录末端和流末端所使用的标记值。EOR_SENTINEL 312指示记录的末端，EOS_SENTINEL 314指示总格式的末端。这些值可以不固定，使得可以把GBRF格式的文件容易地嵌入其它GBRF格式文件的记录中，从而提供了递归的文件结构。
TOTAL_RECORD_SIZE 316、FIRST_RECORD_BYTE 318和LAST_RECORD_BYTE 320字段可用于其中记录不是以字节顺序而是被绕回的流。在记录在固定大小的缓冲器内本地缓冲且数据量很可能大于缓冲器大小的情况下，记录绕回是有用的。因此，绕回的记录仅仅保持适合文件的最近记录，例如FIFO队列。
END_OF_HEADE 322在分析器分析了头部信息后可被用作简单数据完整性校验。
流末端的CRC字段334提供了应用级的数据完整性校验。如果文件被绕回，则以时间顺序计算CRC。数据分析器必须支持该特征，但是应用程序写入者可能有不实现它的选项。
END_OF_STREAM 336提供了另一数据完整性校验。它可用于校验非可靠的传输、用于确定实时传输中的末端、以及用于GBRF递归格式中的数据完整性校验。
示例1下面的例子示出没有选项的头部，它要求19个十六进制字节来实现，例如“4742 52 46 00 42 44 45 46 00 01 02 00 00 FA CE DE AD CO DE”。
参照图5，组成的字节定义如下字节0到3定义了OVERALL_FORMAT_ID 302，例如GBRF字节4定义了OVERALL_FORMAT_VERSION 304字节5到8定义了RECORD_FORMAT_TYPE 306，例如BDEF字节9到10定义了RECORD_FORMAT_VERSION 308字节11到12定义了OVERALL_FORMAT_OPTIONS 310，例如无选项字节13到14以及15到16分别定义了EOR_SENTINEL 312和EOR_SENTINEL 312字节17到18定义了END_OF_HEATHER 322CRC选项被启用的相同头部也要求19个十六进制字节，例如“47 42 52 46 0042 44 45 46 00 01 02 00 01 FA CE DE AD CO DE”，其后在字节11-12定义了OVERALL_FORMAT_OPTION 310，例如B0＝1，表示CRC存在。没有CRC选项的尾部会要求两个十六进制字节“DE AD”。
图4A和4B示出按照一个实施例的示例性BDEF记录格式。行402到434对应于记录头部210，行436到440对应于记录正文212，行444到446对应于记录尾部214。下面描述这些字段中的一些字段。
REC_SIZE_SIZE 402，它大大简化了实现，提供了为REC_SIZE 404分配的位数。数据分析器可以快速地读取一字节来确定完成REC_SIZE 404需要多少字节。一旦分析器读取了全部REC_SIZE 404并且将其解码，分析器就有效地分配存储器。
使用REC_SIZE_SIZE 402便于跳过一记录。写入记录的应用可能已经获悉数据大小，因此写记录也变得简单。然而，如果记录写入者对32位字的最高2位进行硬编码并且即使对较小值使用30位的字，则应用程序写入者在写入可变REC_SIZE的数据时可能无须担心REC_SIZE_SIZE字段402。因此，这里公开的记录格式是最佳灵活的，并且不要求额外的实现代价。
还可以在EOR_SENTINEL 312(图3)中指定END_OF_RECORD 444，这是记录写入者会使用的。
数据管理器(发生器)和数据客户机(用户)都会先验地获悉不同记录正文(BODY)字段的定义，因为它们可能被定义并被映射到一定的REC_TYPE值。BODY定义也可以由某些协议确定或从已保存的特殊记录中确定。然而，数据用户不明确得知的RECORD_TYPE值可以被视为好像BODY定义是一个整数字字段，具有可用于BODY字段的无论多少位。通过把未知的RECORD_TYPE值视为任意大小的字，数据发生器可以快速地定义并实现新数据类型，使得它们自动地适用于现有的数据用户。
在一实施例中，BDEF流可以包含数据类型摘要记录作为第一记录，从而节约了属性名和定义的成对的REC_TYPE值，属性名和定义是随时间变化的。
示例2在一示例性实施例中，其中TIME＝0x123456789AB，CARD_ip＝0xABCDEF01，定义数据源，AT_IP＝0x12345678，定义数据目标，REC_TYPE＝0x2，而4字节的正文由字符0、1、2和3组成，记录格式会要求22个十六进制的字节，例如“15 02 11 2345 67 89 AB AB CD EF 01 12 34 56 78 30 31 32 33 FA CE”。
参照图6，下面描述了组成的字节和/或位
字节0的前两位，定义REC_SIZE_SIZE 402，例如0字节0的后六位，定义REC_SIZE 404，例如6，表示要求21个字节来定义其余的记录格式字节1的第一位定义了REC_FORMAT 406，例如6字节1的第二位定义了REC_TYPE_SIZE 408，例如0，表示要求6个字节来定义REC_TYPE 410字节1的后六位定义了REC_TYPE 410，例如2字节2-7定义了DATA_TIME_STAMP 414字节8-11定义了DATA_CARD_IP 416，定义了数据源IP地址字节12-15定义了DATA_AT_IP 418，定义了数据目标IP地址字节16-19定义了数据字符字节20-21定义了END_OF_RECORD 446图7说明了运行在图1中的数据客户机104和数据管理器102的示例性实施例，数据客户机104如蜂窝电话或个人数字助理(PDA)。图7中的系统包括用于发送和接收数据的天线702。天线702耦合到天线共用器704，天线共用器704把接收路径与发送路径隔开。天线共用器704耦合到接收电路706，形成接收机路径，还耦合到放大器708和发送电路710，形成发射机路径。放大器708还耦合到控制放大器708的功率控制调整单元712。放大器708从发送电路710接收传输信号。经由天线702接收到的信号被提供给功率控制单元712，后者可以实现一闭环功率控制方案。功率控制单元712耦合到通信总线714。通信总线714在图7中的其它模块中间提供公共连接。通信总线714进一步耦合到存储器单元716。存储器716为了可用于数据客户机104和数据管理器102的多种操作和功能而保存计算机可读指令。处理器718执行存储器714中保存的指令。
这里专门使用单词“示例性”意指“充当示例、实例或说明”。这里描述为“示例性”的任何实施例都不必被理解为比其它实施例更为优选或有利。
本领域的技术人员可以理解，信息和信号可以用多种不同技术和工艺中的任一种来表示。例如，上述说明中可能涉及的数据、指令、命令、信息、信号、比特、码元和码片可以用电压、电流、电磁波、磁场或其粒子、光场或其粒子或它们的任意组合来表示。
本领域的技术人员能进一步理解，结合这里所公开的实施例所描述的各种说明性的逻辑块、模块和算法步骤可以作为电子硬件、计算机软件或两者的组合来实现。为了清楚说明硬件和软件间的互换性，各种说明性的组件、框图、模块、电路和步骤一般按照其功能性进行了阐述。这些功能性究竟作为硬件或软件来实现取决于整个系统所采用的特定的应用程序和设计。技术人员可以认识到在这些情况下硬件和软件的交互性，以及怎样最好地实现每个特定应用程序的所述功能。技术人员可能以对于每个特定应用不同的方式来实现所述功能，但这种实现决定不应被解释为造成背离本发明的范围。
结合这里所描述的实施例来描述的各种说明性的逻辑块、模块和算法步骤的实现或执行可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGA)或其它可编程逻辑器件、离散门或晶体管逻辑、离散硬件组件或者为执行这里所述功能而设计的任意组合。通用处理器可能是微处理器，然而或者，处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器也可能用计算设备的组合来实现，如，DSP和微处理器的组合、多个微处理器、结合DSP内核的一个或多个微处理器或者任意其它这种配置。
结合这里所公开实施例描述的方法或算法的步骤可能直接包含在硬件中、由处理器执行的软件模块中或在两者当中。软件模块可能驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM或本领域中已知的任何其它形式的存储媒质中。示例性存储媒质与处理器耦合，使得处理器可以从存储媒质读取信息，或把信息写入存储媒质。或者，存储媒质可以与终端处理器整合。处理器和存储媒质可能驻留在ASIC中。ASIC可能驻留在用户中。或者，处理器和存储媒质可能作为离散组件驻留在用户终端中。
上述优选实施例的描述使本领域的技术人员能制造或使用本发明。这些实施例的各种修改对于本领域的技术人员来说是显而易见的，这里定义的一般原理可以被应用于其它实施例中而不使用创造能力。因此，本发明并不限于这里示出的实施例，而要符合与这里揭示的原理和新颖特征一致的最宽泛的范围。
权利要求
1.一种用于在网络中交换数据的装置，包括接收机，用于通过网络连接从数据发生器接收数据；以及发射机，用于向存储单元发送数据，其中通过网络连接接收到的数据和被保存在存储单元中的数据具有相同的格式。
2.如权利要求1所述的装置，其特征在于，所述数据包括记录部分。
3.如权利要求1所述的装置，其特征在于，所述数据包括头部部分、记录部分和尾部部分。
4.如权利要求3所述的装置，其特征在于，记录部分中的记录包括记录部分、记录正文和记录尾部。
5.如权利要求1所述的装置，其特征在于，所述网络包括无线网络。
6.如权利要求1所述的装置，其特征在于，所述网络包括光学网络。
7.一种在网络中格式化数据的方法，包括提供数据的头部部分；提供数据的记录部分；以及提供数据的尾部部分，使得数据可应用于数据交换和数据存储。
8.如权利要求7所述的方法，还为记录部分中的记录提供了记录头部、记录正文和记录尾部。
9.如权利要求7所述的方法，还提供了标识数据格式的信息。
10.如权利要求7所述的方法，还提供了标识数据版本的信息。
11.如权利要求7所述的方法，还提供了标识记录格式类型的信息。
12.如权利要求7所述的方法，还提供了标识记录格式版本的信息。
13.如权利要求7所述的方法，还提供了标识数据选项的信息。
14.如权利要求7所述的方法，还提供了标识数据末端的信息。
15.如权利要求7所述的方法，还提供了标识记录部分大小的信息。
16.如权利要求7所述的方法，还提供了标识记录部分中的第一记录的信息。
17.如权利要求7所述的方法，还提供了标识记录部分中的最后一记录的信息。
18.如权利要求7所述的方法，还提供了标识头部部分末端的信息。
19.如权利要求7所述的方法，还提供了有关CRC的信息。
20.如权利要求7所述的方法，还提供了标识记录部分中记录大小的信息。
21.如权利要求7所述的方法，还提供了记录部分中记录的大小。
22.如权利要求7所述的方法，还提供了标识记录部分中记录格式的信息。
23.如权利要求7所述的方法，还提供了标识记录部分中记录类型的大小的信息。
24.如权利要求23所述的方法，还提供了记录部分中记录的记录类型。
25.如权利要求7所述的方法，还提供了标识数据格式的信息。
26.如权利要求7所述的方法，还提供了标识数据的时标。
27.如权利要求7所述的方法，还提供了标识网络中数据子系统的源的信息。
28.如权利要求7所述的方法，还提供了标识网络中数据接入终端的目标的信息。
29.如权利要求7所述的方法，还提供了标识网络中子系统的扇区的信息。
30.如权利要求7所述的方法，还提供了标识记录部分中记录的CRC的信息。
31.如权利要求7所述的方法，还提供了标识记录部分中记录的末端的信息。
32.一种在网络中格式化数据的装置，包括用于提供头部部分的装置；用于提供记录部分的装置；以及用于提供尾部部分的装置，使得数据可用于数据交换和数据存储两者。
33.一种采用在网络中格式化数据的方法的计算机可读媒质，所述方法包括提供头部部分；提供记录部分；以及提供尾部部分，使得数据可用于数据交换和数据存储两者。
34.一种在网络中格式化数据的装置，包括存储器单元；与存储器单元通信上耦合的数字信号处理器(DSP)，所述DSP单元能够提供头部部分；提供记录部分；以及提供尾部部分，使得数据可用于数据交换和数据存储两者。
35.一种在包括数据客户机和数据管理器的网络中处理数据的方法，包括在数据客户机处通过网络连接从数据管理器接收数据；以及把数据保存在存储单元中，其中通过网络连接接收到的数据和被保存在存储单元内的数据具有相同的格式。
36.一种计算机可读媒质，其采用在包括数据客户机和数据管理器的网络中处理数据的一种方法，所述方法包括在数据客户机处通过网络连接从数据管理器接收数据；以及把数据保存在存储单元中，其中通过网络连接接收到的数据和被保存在存储单元内的数据具有相同的格式。
37.一种在包括数据客户机和数据管理器的网络中处理数据的装置，包括用于在数据客户机处通过网络连接从数据管理器接收数据的装置；以及用于把数据保存在存储单元中的装置，其中通过网络连接接收到的数据和被保存在存储单元内的数据具有相同的格式。
38.一种在包括数据客户机和数据管理器的网络中处理数据的装置，包括存储器单元；以及与存储器单元通信上耦合的数字信号处理器(DSP)，所述DSP单元能够在数据客户机处通过网络连接从数据管理器接收数据；以及把数据保存在存储单元中，其中通过网络连接接收到的数据和被保存在存储单元内的数据具有相同的格式。
39.一种在网络中格式化数据的数据结构，所述数据结构包括数据的头部部分；数据的记录部分；以及数据的尾部部分，使得数据可用于数据交换和数据存储两者。
40.如权利要求39所述的数据结构，还包括记录部分的记录头部、记录正文和记录尾部。
全文摘要
给出了一种方法和系统，它为网络中的数据交换和数据存储协议均提供了统一格式。统一的数据格式为有效协议的接收、分析、解码和存储实时数据的变化尺寸作出了准备。
文档编号G06F13/12GK1611050SQ02822124
公开日2005年4月27日 申请日期2002年9月24日 优先权日2001年9月27日
发明者G·G·麦克格拉斯 申请人:高通股份有限公司