专利名称：多媒体邮件客户端、多媒体邮件服务器和多媒体邮件系统的制作方法
技术领域：
本发明涉及通信技术领域，具体而言，涉及一种多媒体邮件客户端、一种多媒体邮件服务器和一种多媒体邮件系统。
背景技术：
电子邮件服务是目前互联网中使用最频繁的服务之一，它为互联网用户之间发送和接收信息提供了一种快捷、廉价的现代化通讯手段。最早的电子邮件系统诞生于上个世纪七十年代，是美国国防部资助的阿帕网研究计划中的一个意外收获。由于参加项目的科学家们在不同的地方做着不同的工作，但缺乏有效的手段分享各自的研究成果。他们迫切需要一种能够借助网络在不同计算机之间传递数据的方法。为阿帕网工作的麻省理工学院博士Ray Tomlinson把一个可以在不同的电脑网络之间进行拷贝的软件和一个仅用于单机 通讯的软件进行合并，命名为SNDMSG(即SendMessage)。他在阿帕网上给自己发送了第一封电子邮件，这是人类历史上第一封电子邮件，自此电子邮件诞生了。但是，整个七十年代电子邮件处于沉寂状态，主要是因为当时使用阿帕网的人太少，同时网络传输速度也仅能达到2. 8Kbps。电子邮件的兴起是在上个世纪八十年代。到八十年代中期，个人电脑兴起，电子邮件开始在电脑迷以及大学生中广泛传播开来；到九十年代中期，随着计算机技术的发展，出现了功能强大的互联网，自此电子邮件被广为使用。当前，全球广泛采用的电子邮件系统都是发送文本文件加各种格式的附件。用户书写邮件要靠键盘输入或手写输入设备。电子邮件的附件中可以存放一些非文本性的文件，如图片、音频或视频等多媒体信息。随着带宽的增加和存储设备成本的降低，越来越多的电子邮件系统能够提供大容量的存储，支持大尺寸的附件。但电子邮件传输文本的本质并没有改变。邮件中附件的使用率越来越高，其中相当一部分附件承载的内容为多媒体信息。这些多媒体信息一般是通过其它的多媒体应用程序和设备获取的，被作为附件绑定在邮件中的。目前用户对电子邮件的需求不仅仅局限于发送文本信息，而是有更多的多媒体需求。新型的多媒体邮件不在是将多媒体信息当作邮件的附件进行传输，而是作为邮件的主体，其地位取代现有电子邮件中的文本。很显然现有的电子邮件系统是无法提供这样的功能的。因此，需要一种新的用于收发邮件的技术方案，能够将音视频等多媒体文件作为邮件的主体进行发送和接收，并实现多媒体文件的获取以及阅读，满足用户的多媒体需求。
发明内容
本发明所要解决的技术问题在于，提供一种新的用于收发邮件的技术方案，能够将音视频等多媒体文件作为邮件的主体进行发送和接收，并实现多媒体文件的获取以及阅读，满足用户的多媒体需求。有鉴于此，本发明提供一种多媒体邮件客户端，包括多媒体获取模块，采集外部信息并生成第一多媒体内容；多媒体邮件发送模块，将所述第一多媒体内容发送到多媒体邮件服务器；多媒体邮件接收模块，从所述多媒体邮件服务器接收第二多媒体内容；多媒体邮件阅读模块，对所述第二多媒体内容进行展现；多媒体处理模块，在所述第一多媒体内容被发送前，根据发送需求对所述第一多媒体内容进行处理，和/或在所述第二多媒体内容被展现前，根据接收需求对所述第二多媒体内容进行处理。在该技术方案中，将多媒体内容作为邮件主体，实现了对多媒体内容的处理，保证处理后的多媒体内容更符合发送和接收阅读的需求，这是传统邮件系统所无法做到的。在上述技术方案中，优选地，所述多媒体处理模块根据网络状况、特定应用的需求和/或安全性，来对所述第一多媒体内容和/或所述第二多媒体内容进行处理。在该技术方案中，对多媒体内容进行处理一般包括上述列举的几个方面为了网络传输速率考虑而进行压缩、为了特殊应用的需求而转换格式、为了安全需要进行加密处理，而其他任何类型的处理方式也都适用，可根据实际需要来选择。在上述技术方案中，优选地，所述多媒体获取模块包括音频获取模块，采集声音信息并生成音频数据，以作为所述第一多媒体内容；和/或视频获取模块，采集图像信息并生成视频数据，以作为所述第一多媒体内容。在该技术方案中，多媒体的内容一般包括音频和视频文件，可以采用摄像头、麦克风等，作为相应的采集模块，来完成音视频数据的采集。在上述技术方案中，优选地,还包括第一智能分析模块，对所述第一多媒体内容中的音频数据进行识别，并根据识别出的语音，为所述第一多媒体内容中的视频数据添加字幕，和/或生成文本内容，并由所述多媒体邮件发送模块发送。在该技术方案中，由于音视频数据可能会存在用户较难识别的问题，所以本方案预先对音视频数据进行处理，生成字幕或文本内容等辅助用户了解邮件中的音视频数据。在上述技术方案中，优选地，所述多媒体处理模块包括音频编码模块，在所述第一多媒体内容被发送前，对所述第一多媒体内容中的音频数据进行编码处理；和/或视频编码模块，在所述第一多媒体内容被发送前，对所述第一多媒体内容中的视频数据进行编码处理。在该技术方案中，为了便于音视频数据在发送时的需要，有必要对其进行编码处理，将其处理为适合发送的格式后，再完成发送。在上述技术方案中，优选地，还包括第二智能分析模块，分析出所述第一多媒体内容中的音频数据和/或视频数据的编码信息，提供给所述音频编码模块和/或视频编码模块来进行编码处理。在该技术方案中，为了提高编码处理的效率，可以预先生成音视频数据的编码信息。在上述技术方案中，优选地，所述多媒体邮件发送模块采用封装方式，将所述第一多媒体内容的全部或部分发送到所述多媒体邮件服务器。在该技术方案中，采用何种封装方式、以采用一次还是多次发送，都是可以灵活确定的，以保证最终顺利完成邮件的发送。在上述技术方案中，优选地，所述多媒体邮件接收模块在接收所述第二多媒体内容之前，根据网络状况和/或本地硬件性能确定所需格式，并要求所述多媒体邮件服务器以所述所需格式发送所述第二多媒体内容。在该技术方案中，如果用户采用移动终端接收多媒体内容，则由于移动终端计算能力较低、网络传输能力较差，则可以请求服务器以体积较小、易于解码的格式，或是仅发送音视频文件中的音频，将多媒体内容发送到用户终端。在上述技术方案中，优选地，所述多媒体邮件接收模块根据所需格式，为用户提供 邮件阅读方式参考，并在得到用户对所述阅读方式参考的认可后，要求所述多媒体邮件服务器按所述所需格式发送所述第二多媒体内容。在该技术方案中，在向服务器发出格式请求之前，可以将格式相应的阅读方式发送给用户参考，在用户决定采用该种阅读方式后再发送格式请求。在上述技术方案中，优选地，所述多媒体处理模块包括音频解码模块，在所述第二多媒体内容被展现前，对所述第二多媒体内容中的音频数据进行解码处理；和/或视频编码模块，在所述第二多媒体内容被展现前，对所述第二多媒体内容中的视频数据进行解码处理。在该技术方案中，为了便于音视频数据在接收阅读时的需要，有必要对其进行编码处理，将其处理为适合发送的格式后，再完成发送。在上述技术方案中，优选地，所述多媒体邮件阅读模块包括音频邮件阅读模块，展现所述第二多媒体内容中的音频数据；和/或 视频邮件阅读模块，展现所述第二多媒体内容中的视频数据。在该技术方案中，可以提供给用户的不同方式，例如，在用户当前不方便观看视频时，则可以仅选择播放音频数据。在上述技术方案中，优选地，所述多媒体邮件接收模块还接收与所述第二多媒体内容相关的文本内容，所述多媒体邮件阅读模块还包括文本邮件阅读模块，展现所述文本内容。在该技术方案中，可以兼容文本邮件的发送，可以通过文本内容了解与其相关的多媒体内容。在上述技术方案中，优选地,还包括多媒体编辑模块，在所述第一多媒体内容被发送前，对所述第一多媒体内容进行一种或多种方式的编辑。在该技术方案中，由于直接米集的多媒体内容可能存在格式各样的问题，例如，音频数据音量太大，视频数据长度更长，用户可以根据需要预先对其进行编辑。本发明还提供一种多媒体邮件服务器，包括多媒体邮件接收模块，接收第一多媒体邮件客户端发送的多媒体内容；多媒体处理模块，根据第二多媒体邮件客户端的需求、网路状况和/或本地硬件性能，对所述多媒体内容进行处理；多媒体邮件发送模块，将所述多媒体内容发送给第二多媒体邮件客户端。在该技术方案中，可以根据接收方的具体情况，对多媒体内容进行处理，以合理的格式将多媒体内容发送到接收方，这是传统邮件系统所不能做到的。在上述技术方案中，优选地，所述多媒体处理模块包括音频处理模块，对所述多媒体内容中的音频数据进行格式转换；视频处理模块，对所述多媒体内容中的视频数据进行格式转换。在该技术方案中，多媒体内容主要包括音视频数据，本方案重要提供了针对音视频数据进行格式转换的方案。本发明还提供一种多媒体邮件系统，包括如上述的多媒体邮件客户端，以及如上述的多媒体邮件服务器。在该技术方案中，将多媒体邮件客户端和多媒体邮件服务器结合到一起，能够良好地完成多媒体邮件的收发阅读，满足用户的多媒体需求。根据以上技术方案，本发明提供了一种多媒体邮件客户端、一种多媒体邮件服务器和一种多媒体邮件系统，完全颠覆了传统电子邮件系统的邮件书写和阅读方式，不再需要通过键盘输入方式来完成邮件的书写，以多媒体形式传递电子邮件内容，同时提供相应的多媒体邮件阅读方式，本发明的技术方案是基于网络和终端设备自适应的，即可以依据网络状况和终端设备的能力自适应地为用户提供不同形式的电子邮件。
图I是根据本发明的一个实施例的多媒体邮件客户端的框图；图2是根据本发明的一个实施例的多媒体邮件服务器的框图；图3是根据本发明的一个实施例的多媒体邮件系统的框图；图4是根据本发明的一个实施例的多媒体邮件系统的结构图；图5是现有提供音视频电子邮件功能的电子邮件系统的用户界面图；图6是根据本发明的一个实施例的多媒体邮件系统的具体结构图。
具体实施例方式为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式
对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。图I是根据本发明的一个实施例的多媒体邮件客户端的框图。如图I所示，本发明提供一种多媒体邮件客户端100，包括多媒体获取模块102，采集外部信息并生成第一多媒体内容；多媒体邮件发送模块104，将所述第一多媒体内容发送到多媒体邮件服务器；多媒体邮件接收模块106，从所述多媒体邮件服务器接收第二多媒体内容；多媒体邮件阅读模块108，对所述第二多媒体内容进行展现；多媒体处理模块110，在所述第一多媒体内容被发送前，根据发送需求对所述第一多媒体内容进行处理，和/或在所述第二多媒体内容被展现前，根据接收需求对所述第二多媒体内容进行处理。在该技术方案中，将多媒体内容作为邮件主体，实现了对多媒体内容的处理，保证处理后的多媒体内容更符合发送和接收阅读的需求，这是传统邮件系统所无法做到的。在上述技术方案中，所述多媒体处理模块110根据网络状况、特定应用的需求和/或安全性，来对所述第一多媒体内容和/或所述第二多媒体内容进行处理。在该技术方案中，对多媒体内容进行处理一般包括上述列举的几个方面为了网络传输速率考虑而进行压缩、为了特殊应用的需求而转换格式、为了安全需要进行加密处理，而其他任何类型的处理方式也都适用，可根据实际需要来选择。在上述技术方案中，所述多媒体获取模块102包括音频获取模块1022，采集声音信息并生成音频数据，以作为所述第一多媒体内容；和/或视频获取模块1024，采集图像信息并生成视频数据，以作为所述第一多媒体内容。在该技术方案中，多媒体的内容一般包括音频和视频文件，可以采用摄像头、麦克风等，作为相应的采集模块，来完成音视频数据的米集。在上述技术方案中，还包括第一智能分析模块112，对所述第一多媒体内容中的音频数据进行识别，并根据识别出的语音，为所述第一多媒体内容中的视频数据添加字幕，和/或生成文本内容，并由所述多媒体邮件发送模块104发送。在该技术方案中，由于音视频数据可能会存在用户较难识别的问题，所以本方案预先对音视频数据进行处理，生成字幕或文本内容等辅助用户了解邮件中的音视频数据。、
在上述技术方案中，所述多媒体处理模块110包括音频编码模块1102，在所述第一多媒体内容被发送前，对所述第一多媒体内容中的音频数据进行编码处理；和/或视频编码模块1104，在所述第一多媒体内容被发送前，对所述第一多媒体内容中的视频数据进行编码处理。在该技术方案中，为了便于音视频数据在发送时的需要，有必要对其进行编码处理，将其处理为适合发送的格式后，再完成发送。在上述技术方案中，还包括第二智能分析模块114，分析出所述第一多媒体内容中的音频数据和/或视频数据的编码信息，提供给所述音频编码模块1102和/或视频编码模块1104来进行编码处理。在该技术方案中，为了提高编码处理的效率，可以预先生成音视频数据的编码信息。在上述技术方案中，所述多媒体邮件发送模块104采用封装方式，将所述第一多媒体内容的全部或部分发送到所述多媒体邮件服务器。在该技术方案中，采用何种封装方式、以采用一次还是多次发送，都是可以灵活确定的，以保证最终顺利完成邮件的发送。在上述技术方案中，所述多媒体邮件接收模块106在接收所述第二多媒体内容之前，根据网络状况和/或本地硬件性能确定所需格式，并要求所述多媒体邮件服务器以所述所需格式发送所述第二多媒体内容。在该技术方案中，如果用户采用移动终端接收多媒体内容，则由于移动终端计算能力较低、网络传输能力较差，则可以请求服务器以体积较小、易于解码的格式，或是仅发送音视频文件中的音频，将多媒体内容发送到用户终端。在上述技术方案中，所述多媒体邮件接收模块106根据所需格式，为用户提供邮件阅读方式参考，并在得到用户对所述阅读方式参考的认可后，要求所述多媒体邮件服务器按所述所需格式发送所述第二多媒体内容。在该技术方案中，在向服务器发出格式请求之前，可以将格式相应的阅读方式发送给用户参考，在用户决定采用该种阅读方式后再发送格式请求。在上述技术方案中，所述多媒体处理模块110包括音频解码模块1106，在所述第二多媒体内容被展现前，对所述第二多媒体内容中的音频数据进行解码处理；和/或视频编码模块1108，在所述第二多媒体内容被展现前，对所述第二多媒体内容中的视频数据进行解码处理。在该技术方案中，为了便于音视频数据在接收阅读时的需要，有必要对其进行 编码处理，将其处理为适合发送的格式后，再完成发送。在上述技术方案中，所述多媒体邮件阅读模块108包括音频邮件阅读模块1082，展现所述第二多媒体内容中的音频数据；和/或视频邮件阅读模块1084，展现所述第二多媒体内容中的视频数据。在该技术方案中，可以提供给用户的不同方式，例如，在用户当前不方便观看视频时，则可以仅选择播放音频数据。在上述技术方案中，所述多媒体邮件接收模块106还接收与所述第二多媒体内容相关的文本内容，所述多媒体邮件阅读模块108还包括文本邮件阅读模块1086，展现所述文本内容。在该技术方案中，可以兼容文本邮件的发送，可以通过文本内容了解与其相关的多媒体内容。在上述技术方案中，还包括多媒体编辑模块116,在所述第一多媒体内容被发送前，对所述第一多媒体内容进行一种或多种方式的编辑。在该技术方案中，由于直接采集的多媒体内容可能存在格式各样的问题，例如，音频数据音量太大，视频数据长度更长，用户可以根据需要预先对其进行编辑。
图2是根据本发明的一个实施例的多媒体邮件服务器的框图。如图2所示，本发明还提供一种多媒体邮件服务器200，包括多媒体邮件接收模块202，接收第一多媒体邮件客户端发送的多媒体内容；多媒体处理模块204，根据第二多媒体邮件客户端的需求、网路状况和/或本地硬件性能，对所述多媒体内容进行处理；多媒体邮件发送模块206，将所述多媒体内容发送给第二多媒体邮件客户端。在该技术方案中，可以根据接收方的具体情况，对多媒体内容进行处理，以合理的格式将多媒体内容发送到接收方，这是传统邮件系统所不能做到的。在上述技术方案中，所述多媒体处理模块204包括音频处理模块2042，对所述多媒体内容中的音频数据进行格式转换；视频处理模块2044，对所述多媒体内容中 的视频数据进行格式转换。在该技术方案中，多媒体内容主要包括音视频数据，本方案重要提供了针对音视频数据进行格式转换的方案。图3是根据本发明的一个实施例的多媒体邮件系统的框图。如图3所示，本发明还提供一种多媒体邮件系统300，包括如上述的多媒体邮件客户端100，以及如上述的多媒体邮件服务器200。在该技术方案中，将多媒体邮件客户端和多媒体邮件服务器结合到一起，能够良好地完成多媒体邮件的收发阅读，满足用户的多媒体需求。图4是根据本发明的一个实施例的多媒体邮件系统的结构图。 本发明的一个实施例中，给出了一个全新的交互式多媒体电子邮件系统的设计。它能够提供完全不同于现有电子邮件系统的，基于多媒体的邮件书写、发送和阅读方式。本实施例中提供的多媒体电子邮件系统采用统一的邮件输入方式，通过一次输入智能生成多种邮件格式以满足不同网络状况和终端状态的需求。此外，本文的多媒体电子邮件系统是完全兼容现有的电子邮件系统的，可以与现有的电子邮件系统进行无障碍的通信，即用户可以通过多媒体电子邮件系统接收和发送传统的电子邮件。传统的电子邮件系统对音视频的支持方式只有一种——通过附件方式用户之间可以相互传送多媒体文件。随着网络带宽资源的增加和人们对多媒体应用需求的增加，多媒体应用的场景也越来越广阔，现有的一些电子邮件系统开始加大对多媒体的支持，通过为用户提供大尺寸的附件来增强邮件系统对多媒体的支持力度。但是用户无法像撰写和阅读文本邮件那样自然的输入、浏览以及修改这些作为附件存在的多媒体内容。本实施例中的多媒体电子邮件系统的设计便是基于这种考虑出发，围绕多媒体设计全新的电子邮件系统，为用户提供全新的交互式多媒体电子邮件体验，具体如图4所示。图4给出了多媒体电子邮件系统的结构图。系统主要由多媒体邮件客户端400和多媒体邮件服务器402 (图4中示出两个客户端和两个服务器，本实施例中仅取客户端A和服务器A进行描述，另一个客户端B和服务器B的组成也基本相同)组成。多媒体邮件客户端400为用户提供多媒体电子邮件系统所需的多媒体邮件撰写、多媒体邮件发送、多媒体邮件接收以及多媒体邮件浏览的相关功能。同时，它保持与多媒体邮件服务器的通信，保障用户的多媒体邮件的顺利发送。多媒体获取模块404、多媒体编辑模块406、多媒体智能分析模块408、多媒体处理模块410和多媒体邮件发送模块412共同组成了多媒体邮件客户端的发送组件。多媒体邮件智能接收模块414、多媒体处理模块410和多媒体邮件阅读模块416共同组成了多媒体邮件客户端的邮件接收模块。
多媒体获取模块404为用户提供多媒体获取功能。多媒体电子邮件系统提供了完全不同于现有的电子邮件系统的邮件撰写方式。目前的电子邮件撰写方式是通过键盘或手写设备以文字为主的方式输入。而多媒体电子邮件系统采用了全新的邮件撰写方式，通过多媒体采集装置完成邮件的撰写。传统的以文本输入为撰写方式的电子邮件系统中，邮件在撰写过程中是可以重编辑的。对电子邮件系统和用户而言邮件的编辑功能是十分重要的功能。所以在本实施例中，多媒体电子邮件系统的设计中充分考虑到了邮件编辑功能的重要性。所以，系统中提供了多媒体编辑模块406。此模块为用户提供对多媒体邮件的编辑能力。用户通过此模块可以有效的编辑录入的多媒体内容。多媒体编辑模块406是可选模块，用户可以根据需要选择是否编辑录入的多媒体内容。多媒体智能分析模块408提供多媒体邮件的智能分析功能。其中包括语音的自动识别，文本邮件的自动生成，字幕生成，音视频的预处理等功能。多媒体处理模块410提供多媒体内容的相关处理功能。多媒体内容可能不能直接被放到网上进行传输，在传输之前需要进行特定的处理以满足网络传输的需要；多媒体内容根据特定应用的需求可能需要进行某些特殊处理和转换；出于安全考虑多媒体内容可能需要进行加密处理；这些类似的需求都是由多媒体处理模块410满足的。多媒体处理模块410是多媒体邮件发送和接收都需要的。但是对多媒体邮件的发送和接收而言，多媒体处理模块410提供的功能可以是不一样的，这是由发送和接收的不同需求导致的。多媒体邮件发送模块412负责将多媒体邮件发送至多媒体邮件服务器402。多媒体邮件智能接收模块414负责从多媒体服务器402接收多媒体邮件。考虑到多媒体内容相较于传统的文本内容尺寸相当较大，需要更多的传输带宽，所以在接收多媒体邮件时需要考虑客户端400所处的网络环境的不同和客户端硬件设备的多媒体能力的不同，多媒体电子邮件系统要有能力适应这种不同。因而，多媒体邮件智能接收模块414具有与多媒体邮件服务器402交互的能力。它能够将客户端的具体状况和用户的需求告知多媒体邮件服务器402，以便根据这些信息发送相应形式的邮件。多媒体邮件阅读模块416提供各种形式的多媒体内容的显示和浏览功能。多媒体邮件服务器402不同于现有的电子邮件服务器。它是针对多媒体应用增加了相应的多媒体处理功能。传统的电子邮件系统以文本为主体传送电子邮件，不附带或附带一个或多个大小不等的附件。用户在浏览邮件时(如通过浏览器)文本信息可以很快的 传递到客户端400，用户可以较快的得知邮件的内容。而附件中的内容则根据用户的选择，当用户选取附件时，附件才被下载到客户端400。这是现有电子邮件系统的一个重要特点，保证用户能够尽可能快的浏览邮件内容。之所以能够实现这一点是因为文本信息所需要的带宽很小，当用户在浏览邮件时，文本内容很快被传送到客户端400，而附件并未被传送至客户端400，只是附件的相关信息被传送至客户端400。为了能够在多媒体电子邮件系统中实现用户对多媒体邮件的快速浏览，多媒体邮件服务器402需要具有特殊的多媒体处理功能。当用户所处的网络带宽受限，或用户所使用的终端计算能力受限不能运行较复杂的多媒体数据时，多媒体邮件服务器402能够根据相关信息对多媒体邮件进行处理，生成需要较少网络带宽的、并且能被用户终端运行的、内容完全等价于原始多媒体邮件的替代的多媒体邮件。这个替代的多媒体邮件能够保证较快的传送到客户端400，使用户能够像浏览传统的文本邮件那样在较短时间内就能够浏览多媒体邮件。同时，原始的多媒体邮件仍被保存在多媒体邮件服务器402上。图5是现有提供音视频电子邮件功能的电子邮件系统的用户界面图。图6是根据本发明的一个实施例的多媒体邮件系统的具体结构图。在本发明的不同实施例中，多媒体电子邮件系统根据所采用的多媒体类型不同可以实例化为不同类型的多媒体电子邮件系统。本实施例中，将以音视频电子邮件系统来说明如何构建一个具体的多媒体电子邮件系统。音视频电子邮件系统能够提供完全不同于现有电子邮件系统的，基于音视频的邮件书写、发送和阅读方式。本发明提供的音视频电子邮件系统采用统一的邮件输入方式，通过一次输入智能生成多种邮件格式以满足不同网络状况和终端状态的需求。此外，本文的音视频电子邮件系统是完全兼容现有的电子邮件系统的，可以与现有的电子邮件系统进行无障碍的通信，即用户可以通过音视频电子邮件系统接收和发送传统的电子邮件。 如图5所示，传统的电子邮件系统对音视频的支持方式只有一种——通过附件方式用户之间可以相互传送音视频文件。随着网络带宽资源的增加和人们对视频应用需求的增加，视频应用的场景也越来越广阔，现有的一些电子邮件系统开始加大对音视频的支持。为了避免重新设计电子邮件系统，同时能够让用户体验音视频邮件，一些现有的电子邮件系统进行了功能扩展，推出了具有音视频功能的电子邮件系统，将音视频获取和音视频浏览功能集成到邮件客户端。音视频文件依然是以附件的形式随邮件发送，用户可以直接在邮件客户端浏览音视频文件。这种具有扩展音视频功能的电子邮件系统只是将音视频采集和浏览的功能集成到邮件客户端，并未根本改变现有电子邮件系统中以文本为邮件主体，其它内容以附件形式传输的模式。它只是在用户选择音视频邮件时，不允许用户输入文本信息，而是直接录制音视频内容。它发送的音视频邮件是文本内容为空的带音视频附件的传统邮件。用户阅读音视频邮件时邮件客户端自动打开音视频邮件中的音视频附件。这种具有扩展音视频功能的电子邮件系统的邮件服务器仍然是传统的邮件服务器。邮件客户端发送的音视频邮件仍然被邮件服务器作为传统邮件的附件看待，即邮件服务器不对它做任何针对音视频的相关处理。对邮件服务器而言，这种音视频邮件中的音视频信息与其它邮件中的附件无任何区别，即邮件服务器并不去识别音视频邮件的存在，也不会针对音视频邮件进行任何特殊处理。本实施例中的音视频电子邮件系统是以音视频作为邮件系统的基本媒介，即以音视频替代传统邮件系统中的文本。一个电子邮件系统需要提供给用户邮件撰写、编辑、发送和接收的功能。传统的电子邮件系统以文本作为基本媒介，为用户提供了文本输入、文本编辑和文本邮件的发送和接收功能，构成了一个完备的电子邮件系统。用户无法像编辑文本邮件那样编辑音视频邮件。本实施例中的音视频电子邮件系统的系统设计完全以音视频作为基本媒介，提供对音视频邮件的撰写、编辑、发送和接收功能，即在本实施例中的音视频电子邮件系统中，音视频就如同现有的电子邮件系统中的文本。现有的具有音视频功能的电子邮件系统不支持音视频的编辑功能，用户无法编辑录入的音视频数据，只能简单地录制一段音视频然后打包发送。而本实施例的音视频电子邮件系统提供的音视频编辑功能使得其成为真正意义上的音视频电子邮件系统。音视频内容不再以附件的形式发送，它们作为电子邮件的主体存在。音视频电子邮件系统的电子邮件发送和接收要充分考虑音视频数据的属性，需要提供音视频的处理功能，能够依据不同的终端处理能力以及网络环境对用户发送的音视频邮件中的音视频进行特定的处理。具体来说，文本信息和音视频多媒体信息有着本质的区别文本信息存储容量小，所需传输带宽小；音视频信息相较与文本信息所需存储空间大，所需的传输带宽大。这种区别导致对邮件服务器的要求不同。当用户浏览阅读邮件时，邮件内容从服务器端传至客户端。由于文本内容所需带宽小，所以现有的电子邮件系统在用户浏览邮件时，文本内容可以很快被传送到客户端显示给用户看；而邮件中尺寸较大的附件等内容则可以通过下载方式传送到客户端，对时间要求一般不强，完全依赖于附件大小和网络状况。现有的具有音视频扩展功能的电子邮件系统利用传统电子邮件系统中附件功能传送音视频信息，当用户在线阅读音视频邮件时，音视频附件被下载到用户本地，下载时完全没有考虑用户所处的网络环境。当邮件较大，用户所处网络带宽有限是，用户需要较长时间才能阅读音视频邮件，无法满足用户尽快阅读音视频邮件的需求。这是基于现有电子邮件系统进行功能扩充以支持音视频邮件的这种系统解决方案所不能克服的一个缺陷。本实施例中的音视频邮件服务器能够根据用户所处的网络环境和用户的需求自适应的调整音视频邮件，保证用户能够尽快的浏览音视频邮件内容。图6给出了音视频电子邮件系统的结构图。系统主要由音视频邮件客户端600和音视频邮件服务器602 (图6中示出两个客户端和两个服务器，本实施例中仅取客户端A和服务器A进行描述，另一个客户端B和服务器B的组成也基本相同)组成。音视频邮件客户端600为用户提供音视频电子邮件系统所需的全部邮件撰写、邮件发送、邮件接收以及邮件浏览的相关功能。同时，它保持与音视频邮件服务器602的通信，保障用户邮件的顺利发送。音视频获取模块604、音视频编辑模块606、智能分析模块608、音视频编码模块610和邮件发送模块612共同组成了音视频邮件客户端600的发送组件。邮件智能接收模块614、音视频解码模块616、音视频邮件阅读模块618、音频邮件阅读模块620和文本邮件阅读模块622共同组成了音视频邮件客户端600的邮件接收组件。音视频获取模块604为用户提供音视频获取功能。音视频电子邮件系统提供了完全不同于现有的电子邮件系统的邮件撰写方式。目前的电子邮件撰写方式是通过键盘或手写设备以文字为主的方式输入。而音视频电子邮件系统采用了全新的邮件撰写方式，通过音视频采集装置完成邮件的撰写。当开始撰写邮件时，用户无需在进行键盘输入操作，只需要面向音视频采集装置，以口述加肢体表情语言等能够呈现在音视频中的方式将需要传递给收件人的信息表述清楚完整，即可完成邮件的撰写工作。传统的以文本输入为撰写方式的电子邮件系统中，邮件在撰写过程中是可以重编辑的。对电子邮件系统和用户而言邮件的编辑功能是十分重要的功能。所以在本发明的音视频电子邮件系统的设计中充分考虑到了邮件编辑功能的重要性。所以，系统中提供了音视频编辑模块606。此模块606为用户提供对音视频邮件的编辑能力。用户通过此模块606可以有效的编辑录入的音视频。用户编辑完成的音视频邮件被传送至下一个功能模块，智能分析模块608。音视频编辑模块606是可选模块，用户可以根据需要选择是否编辑录入的音视频。也就是说，用户可以不经过音视频编辑模块606直接将录入的音视频进行发送。此外，音视频编辑模块606可以进行特定的功能扩展，如加入某些音视频特效等，如同传统的文本电子邮件中用户可以选择大字体，可以选择不同字体颜色或加入某些特定的图形等来强调或表达某些信息。此功能模块606虽为可选模块，其可选性是对用户而言的，对音视频邮件系统来说它是必备模块。智能分析模块608提供音视频邮件的智能分析功能。其中包括语音的自动识别，文本邮件的自动生成，字幕生成，音视频的预处理等功能。通过语音自动识别将输入的语音信息转化成文本信息，进而生成传统的文本格式的邮件。同时音视频信息可以被打包作为文本格式邮件的附件存在。语音自动识别的文本信息被自动转化成字幕文件，作为编码信息被传送到下一个模块。为了达到节省带宽的目的，智能分析模块608还完成音视频的预分析功能，为音视频编码提供有效的先验知识，提高音视频的编码效率。智能分析模块608输出中的文本内容直接被送入邮件发送模块612 ;而其它信息，视频、音频和编码信息则被送入音视频编码模块610。智能分析模块608同样具有扩展功能，可以加入其它音频和视频的智能分析工具。音视频编码模块610提供音视频编码功能，即将输入的音视频源数据进行编码处理，生成相应的音频流和视频流。这里的音视频压缩可以采用现有的音频、视频压缩技术，如MPEG2、H. 264、SVC、MVC、VCU AVS, VP8、MP3、AAC等；也可以采用下一代的音视频编码标 准，如HEVC等。邮件发送模块612负责将输入的视频流、音频流和文本信息等发送至音视频邮件服务器602。所有的输入信息被封装到特定的容器中，如MP4，然后传送至音视频邮件服务器602。此处，采不采用封装格式或采用何种封装格式是可选的。各种输入信息可以全部，也可以部分的被传送至音视频邮件服务器602。这个选择是由用户做出的。例如，当用户只选择发送传统文本邮件时，音视频邮件就与现有的电子邮件无异了 ；此外，如果用户要通过音视频电子邮件系统向传统的电子邮件服务器发送邮件时，音视频电子邮件系统将自动发送与现有电子邮件系统兼容的文本邮件，音频和视频作为附件由用户决定是否随邮件一起发送。所以，音视频电子邮件系统是兼容现有的电子邮件系统的，是可以与现有的电子邮件系统互通的。智能接收模块614提供从音视频邮件服务器602接收音视频邮件的功能。它能够与音视频邮件服务器602进行交互，为音视频服务器602提供客户端信息。由于客户端600的采用的硬件设备不同，以及所处的网络不同，会导致对音视频的接收和解码能力的不同。此外，不同的用户在不同状况下对需要阅读何种形式的邮件有着不同的需求。根据这些条件智能邮件接收模块614 —方面可以根据网络状况和本地硬件性能为用户提供最佳的邮件阅读方式的参考；另一方面可以根据用户的选择与音视频邮件服务器602进行交互提出相应的需求。智能接收模块614能够使用户根据自己的需求选择性接收不同形式的邮件，为用户提供了极高的邮件阅读的灵活性。根据用户的选择智能接收模块614将接收到的不同形式的邮件分别发送到音视频解码模块618和文本邮件阅读模块622。音视频解码模块616提供音视频解码功能。如果用户选择接收音频或音视频邮件，发送到客户端600的音频或音视频邮件将被送至音视频解码模块616进行解码。解码后的音频或音视频被各自送至音频邮件阅读模块620和音视频邮件阅读模块618。文本邮件阅读模块622提供传统的文本邮件的阅读功能。如果用户选择只接收文本邮件，或邮件是从传统的邮件服务器发送过来的，用户就需要通过文本邮件阅读模块622解析邮件内容。音频邮件阅读模块620是在用户选择只阅读音频邮件时，为用户提供音频邮件阅读功能。在某些特定场景下，受所处环境条件限制(如开车时)，用户不方便观看邮件，音频邮件将是用户的一个最佳选择。音频邮件阅读模块620还提供音频增强功能。音 视频邮件阅读模块618提供音视频邮件阅读功能。它将受到的音视频邮件展现给用户。它不仅提供音视频展现功能，还提供音视频增强功能，增加音视频的清晰度等。用户界面624提供用户与音视频邮件客户端交互的界面。依据平台不同和用户所使用的客户端不同，用户界面624有不同的呈现形式。但是都能够为用户提供所有的音视频邮件客户端提供的所有功能。音视频邮件服务器602有别于现有的邮件服务器，它完全兼容现有的邮件服务器，即它完全提供现有的邮件服务器的功能。此外，它还提供面向多媒体的扩展功能，以支持音视频邮件的接收和发送。它支持现有电子邮件协议，能够与传统邮件服务器互发电子邮件。它能够为音视频邮件客户端提供目标邮件系统的类型，传统邮件系统或音视频邮件系统，为客户端发送相应类型邮件提供帮助。此外，它还提供多媒体服务功能，如音视频格式转换等。例如，用户A发送的音视频邮件需要接收终端用户B有较强的计算解码能力。但是用户B目前只能通过移动终端接收邮件。用户B可以选择只接收文本邮件或音频邮件，这样可以节省网络流量，同时不要求接收终端具有太强的计算能力。但是，用户B十分想要接收音视频邮件，通过与智能接收模块的交互，依据用户B当前的接收终端的计算能力和所处的网络状况，音视频邮件服务器602可以将原始的音视频文件中的音视频进行转码，生成用户B当前接收终端计算能力和网络带宽能够承受的与原始音视频邮件对等音视频邮件。为用户B提供一个新的暂时的备选方案。用户B可以通过阅读此对等音视频邮件，满足流畅阅读音视频邮件的需求，同时又能够节省带宽降低网络资费。在用户B有条件时，如有功能更强大的接收终端(如PC)时，可以再阅读原始的音视频邮件。综上所述，本发明提供了一种多媒体邮件客户端、一种多媒体邮件服务器和一种多媒体邮件系统，完全颠覆了传统电子邮件系统的邮件书写和阅读方式，不再需要通过键盘输入方式来完成邮件的书写，以多媒体形式传递电子邮件内容，同时提供相应的多媒体邮件阅读方式，本发明的技术方案是基于网络和终端设备自适应的，即可以依据网络状况和终端设备的能力自适应地为用户提供不同形式的电子邮件。在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种多媒体邮件客户端，其特征在于，包括 多媒体获取模块，采集外部信息并生成第一多媒体内容； 多媒体邮件发送模块，将所述第一多媒体内容发送到多媒体邮件服务器； 多媒体邮件接收模块，从所述多媒体邮件服务器接收第二多媒体内容； 多媒体邮件阅读模块，对所述第二多媒体内容进行展现； 多媒体处理模块，在所述第一多媒体内容被发送前，根据发送需求对所述第一多媒体内容进行处理，和/或在所述第二多媒体内容被展现前，根据接收需求对所述第二多媒体内容进行处理。
2.根据权利要求I所述的多媒体邮件客户端，其特征在于，所述多媒体处理模块根据网络状况、特定应用的需求和/或安全性，来对所述第一多媒体内容和/或所述第二多媒体内容进行处理。
3.根据权利要求I所述的多媒体邮件客户端，其特征在于，所述多媒体获取模块包括 音频获取模块，采集声音信息并生成音频数据，以作为所述第一多媒体内容；和/或 视频获取模块，采集图像信息并生成视频数据，以作为所述第一多媒体内容。
4.根据权利要求I所述的多媒体邮件客户端，其特征在于，还包括 第一智能分析模块，对所述第一多媒体内容中的音频数据进行识别，并根据识别出的语音，为所述第一多媒体内容中的视频数据添加字幕，和/或生成文本内容，并由所述多媒体邮件发送模块发送。
5.根据权利要求I所述的多媒体邮件客户端，其特征在于，所述多媒体处理模块包括 音频编码模块，在所述第一多媒体内容被发送前，对所述第一多媒体内容中的音频数据进行编码处理；和/或 视频编码模块，在所述第一多媒体内容被发送前，对所述第一多媒体内容中的视频数据进行编码处理。
6.根据权利要求5所述的多媒体邮件客户端，其特征在于，还包括 第二智能分析模块，分析出所述第一多媒体内容中的音频数据和/或视频数据的编码信息，提供给所述音频编码模块和/或视频编码模块来进行编码处理。
7.根据权利要求I所述的多媒体邮件客户端，其特征在于，所述多媒体邮件发送模块采用封装方式，将所述第一多媒体内容的全部或部分发送到所述多媒体邮件服务器。
8.根据权利要求I所述的多媒体邮件客户端，其特征在于，所述多媒体邮件接收模块在接收所述第二多媒体内容之前，根据网络状况和/或本地硬件性能确定所需格式，并要求所述多媒体邮件服务器以所述所需格式发送所述第二多媒体内容。
9.根据权利要求8所述的多媒体客户端，其特征在于，所述多媒体邮件接收模块根据所需格式，为用户提供邮件阅读方式参考，并在得到用户对所述阅读方式参考的认可后，要求所述多媒体邮件服务器按所述所需格式发送所述第二多媒体内容。
10.根据权利要求I所述的多媒体客户端，其特征在于，所述多媒体处理模块包括 音频解码模块，在所述第二多媒体内容被展现前，对所述第二多媒体内容中的音频数据进行解码处理；和/或 视频编码模块，在所述第二多媒体内容被展现前，对所述第二多媒体内容中的视频数据进行解码处理。
11.根据权利要求I所述的多媒体邮件客户端，其特征在于，所述多媒体邮件阅读模块包括 音频邮件阅读模块，展现所述第二多媒体内容中的音频数据；和/或 视频邮件阅读模块，展现所述第二多媒体内容中的视频数据。
12.根据权利要求11所述的多媒体邮件客户端，其特征在于，所述多媒体邮件接收模块还接收与所述第二多媒体内容相关的文本内容，所述多媒体邮件阅读模块还包括 文本邮件阅读模块，展现所述文本内容。
13.根据权利要求I至12中任一项所述的多媒体邮件客户端，其特征在于，还包括 多媒体编辑模块，在所述第一多媒体内容被发送前，对所述第一多媒体内容进行一种或多种方式的编辑。
14.一种多媒体邮件服务器,其特征在于,包括 多媒体邮件接收模块，接收第一多媒体邮件客户端发送的多媒体内容； 多媒体处理模块，根据第二多媒体邮件客户端的需求、网路状况和/或本地硬件性能，对所述多媒体内容进行处理； 多媒体邮件发送模块，将所述多媒体内容发送给第二多媒体邮件客户端。
15.根据权利要求14所述的多媒体邮件服务器，其特征在于，所述多媒体处理模块包括 音频处理模块，对所述多媒体内容中的音频数据进行格式转换； 视频处理模块，对所述多媒体内容中的视频数据进行格式转换。
16.—种多媒体邮件系统,其特征在于,包括 根据权利要求I至14中任一项所述的多媒体邮件客户端，以及根据权利要求15或16所述的多媒体邮件服务器。
全文摘要
本发明提供一种多媒体邮件客户端、一种多媒体邮件服务器和一种多媒体邮件系统，其中，多媒体邮件客户端包括多媒体获取模块，采集外部信息并生成第一多媒体内容；多媒体邮件发送模块，将所述第一多媒体内容发送到多媒体邮件服务器；多媒体邮件接收模块，从所述多媒体邮件服务器接收第二多媒体内容；多媒体邮件阅读模块，对所述第二多媒体内容进行展现；多媒体处理模块，在所述第一多媒体内容被发送前，根据发送需求对所述第一多媒体内容进行处理，和/或在所述第二多媒体内容被展现前，根据接收需求对所述第二多媒体内容进行处理。通过本发明，实现了对多媒体内容的处理，保证处理后的多媒体内容更符合发送和接收阅读的需求。
文档编号H04L29/06GK102664821SQ201210107250
公开日2012年9月12日 申请日期2012年4月12日 优先权日2012年4月12日
发明者葛永文 申请人:北京华兴宏视技术发展有限公司