信息终端装置的制作方法

专利名称：信息终端装置的制作方法
技术领域：
本发明涉及信息终端装置。本发明的信息终端装置涉及用作通信系统的终端的个人计算机、便携式电话或PDA(Personal DigitalAssistant)等信息终端装置、电视电话机以及带照相机的内部互通电话等终端装置。
背景技术：
以往，专利文献1所示的带图像通信功能的信息终端装置及图像分发系统，作为在电视电话等的图像通信中不是经常对图像数据进行通信而是主要通过对面孔的特征点数据进行通信，以使保密性与娱乐性两方面得到改善的信息系统而得以提案。
专利文献1所示的系统，从被取入的面孔图像抽取面孔的特征点，以构筑基于抽取出的数据和用户所选择的特性使所选择的特性具有表情而易于进行感情移入的、娱乐性较高的通信系统，提高图像通信的简易利用可能性。
另外，在接受图像通信等中使用的内容提供的情况下，内容伴随着分发还进行许可证管理。在此管理方法上有专利文献2至4。
专利文献2的内容管理系统是在某设施内可利用的内容的管理系统，提出了以下方法利用位置信息进行管理，当在内容的许可利用范围的设施内存在可阅览内容的信息终端装置的情况下就能够下载所希望的内容，若出现在禁止利用的设施外则将内容削除。
另外，专利文献3的数据分发系统以及数据终端装置提出了利用数据终端装置表示的位置信息和许可证数据对加密后的内容数据进行解密的方法。进而，专利文献4的内容接收装置提出了为了为了对加密后的内容数据进行解密，根据利用许可条件将解密密钥作为利用终端信息进行取得，以对所希望的内容进行解密的方法。
专利文献1专利第3593067号公报专利文献2日本专利公开特开2004-86441号公报专利文献3日本专利公开特开2002-140450号公报专利文献4日本专利公开特开2002-344921号公报专利文献5日本专利公开特开2003-281539号公报专利文献6日本专利公开特开平8-251561号公报专利文献7日本专利公开特开2000-322588号公报发明内容然而，目前，个人计算机连接照相机及扩音器输入利用者的图像及声音，对通过它们的输入所得到的数据适用IP(Internet Protocol)与通信对象目的地进行数据收发，通过在通信对象目的地对所供给的数据进行再现的软件功能的执行使IP电视电话得以实现。另外，在借助于便携式电话的电视电话等中图像通信的平台也不断配备，如上述那样的图像通信已经得以广泛利用。
但是，目前，图像通信被限制于各自平台的通信。即，限定于与同类间的终端装置的通信。人们希望图像通信使用方便性良好、更为广泛的普及、展开而不会使成本增大。
另外，即便是前述的任意一种许可证管理手法，由于将内容的许可证信息与内容区别进行管理，所以在处理庞大的内容之际，就有内容与许可证的管理变得烦杂之类的问题。特别是，专利文献2即便在特定的场所中对内容进行利用之际的限制中，也有因限制而能否使用的两极端，而没有与内容利用有关的自由度。
本发明的目的就是消除如这样的现有技术的缺点，提供一种使用方便性好并能够带来更为广泛利用的信息终端装置。
为了解决上述课题，本发明的技术方案提供一种信息终端装置，其特征在于在利用把图像作为通信信息来处理的信息终端装置进行通信的图像传送系统中，该装置包括声音输入装置，取入音频信号并变成声音数据进行输出；图像输入装置，将被摄体作为视频信号进行取入并变成图像数据进行输出；接口装置，将该图像数据和声音数据分别变换成规定的通信形式；选择装置，在与通信对象进行通信的多个图像数据和声音数据之中，选择所希望的图像数据和声音数据；收发装置，与通信对象的信息终端装置进行数据收发；以及输出装置，输出来自通信对象的信息终端装置的图像数据和声音数据，其中，接口装置包括特征抽取装置，从声音数据和图像数据中至少一方抽取表示表情的特征数据；表情合成装置，基于该特征数据使作为用户所选择的基本图像的特性数据进行变形，以生成特性合成图像；图像管理装置，对供给该表情合成装置的上述特性数据进行管理；以及形式变换装置，将图像数据和声音数据分别变换成规定的通信形式，进而，该装置至少还用于进行通信的上述信息终端装置之一。
本发明的信息终端装置将图像数据和声音数据分别提供给接口装置和选择装置，在表情合成装置结合特征数据生成特性合成图像，将此特性图像和声音数据在形式变换装置按规定的通信形式分别变换图像数据和声音数据，并提供给选择装置，在选择装置从多个种类的图像数据和声音数据之中选择一组将要输出的图像数据和声音数据进行输出，由此就能够容易地提供在娱乐性上优良的图像通信而不用对构成进行大幅变更。


图1是表示适用了与本发明相关的信息终端装置的图像通信系统的通信终端装置中的实施例的概略构成的框图。
图2是表示图1所用的通信终端装置中的驱动器的概略构成的框图。
图3是说明图1的视音频输出部中的监视器画面的画面构成的图。
图4是表示图1的图像通信系统中的特性管理中心的概略构成的框图。
图5是表示适用了与本发明相关的信息终端装置的图像通信系统的通信终端装置中的其他实施例的概略构成的框图。
图6是表示适用了与本发明相关的信息终端装置的图像通信系统的通信终端装置中的其他实施例的概略构成的框图。
图7是表示适用了与本发明相关的信息终端装置的图像通信系统的通信终端装置中的其他实施例的概略构成的框图。
图8是图1的特性管理部中的具体构成的框图。
图9是说明图8的特性管理部的动作过程的流程图。
图10是说明图4的特性管理中心的动作过程的流程图。
图11是说明图4的特性管理中心中的内容管理服务器处理的内容与许可分发信息之关系的图。
图12是说明图4的特性管理中心中的其他动作过程的流程图。
图13是说明图4的特性管理中心中的内容管理服务器处理的内容与许可分发信息之关系的图。
图14是说明图4的内容管理服务器处理的许可分发信息的内容的图。
图15是表示图8的特性管理部中的其他构成例的框图。
图16是说明图15的特性管理部中的内容输出请求的动作过程的流程图。
图17是表示适用了图15的特性管理部的图像通信系统中的收费系统的构成的框图。
图18是说明图17的收费系统中处理的内容与许可分发信息之关系的图。
图19是说明利用了图17的收费系统的内容输出请求的动作过程的流程图。
图20是表示图15的特性管理部中的其他构成例的框图。
图21是说明图20的特性管理部处理的内容与许可分发信息之关系的图。
图22是说明图20的特性管理部的动作过程的流程图。
图23是表示适用了图17的特性管理部的图像通信系统中的收费系统的其他构成的框图。
图24是说明图23的收费系统中处理的内容与许可分发信息之关系的图。
图25是说明利用了图23的收费系统的内容输出请求的动作过程的流程图。
图26是表示适用了与本发明相关的信息终端装置的图像通信系统的通信终端装置中的其他实施例的概略构成的框图。
图27是表示图26的通信终端装置中的提示信息生成部的构成的图。
图28是表示图26的通信终端装置处理的提示信息与通知信息之对应的图。
图29是表示在图26的通信终端装置的视音频输出部进行显示的通知显示例的图。
图30是说明图26的通信终端装置中的动作过程的流程图。
图31是说明以往的对象合成的图。
图32是说明表现对象的变形的种类的图。
图33是说明特性图像的合成原理的图。
图34是表示适用了与本发明相关的信息终端装置的图像通信系统的通信终端装置中的其他实施例的概略构成的框图。
图35是表示适用了与本发明相关的信息终端装置的图像通信系统的通信终端装置中的其他实施例的概略构成的框图。
图36是表示适用了与本发明相关的信息终端装置的图像通信系统的通信终端装置中的其他实施例的概略构成的框图。
图37是表示图26、图34～图36的图像通信系统的通信终端装置中的显示根据提示的通知的其他构成例的要部框图。
图38是表示图37的提示信息生成部中的其他构成例的框图。
图39是表示利用了图38的提示信息生成部的情况下的提示信息与通知信息之对应的图。
图40是说明利用了图38的提示信息生成部的通信终端装置的动作过程的流程图。
图41是表示适用了与本发明相关的信息终端装置的图像通信系统的各通信终端装置中的其他实施例的要部构成的框图。
图42是说明适用了与本发明相关的信息终端装置的图41的图像通信系统的发送侧通信终端装置中的动作过程的流程图。
图43是说明相对于图41的发送侧通信终端装置的接收侧通信终端装置中的动作过程的流程图。
图44是表示适用了与本发明相关的信息终端装置的图像通信系统的通信终端装置中的其他实施例的要部构成的框图。
图45是说明图44的通信终端装置中的动作过程的流程图。
图46是分别表示适用了与本发明相关的信息终端装置的图像通信系统中的通信终端装置与服务器的构成的框图。
图47是说明图46的图像通信系统中的动作过程的流程图。
图48是说明图46的图像通信系统中的服务器的动作过程的流程图。
图49是表示适用了与本发明相关的信息终端装置的图像通信系统的通信终端装置中的其他实施例的要部构成的框图。
图50是表示适用了与本发明相关的信息终端装置的图像通信系统的通信终端装置中的其他实施例的要部构成的框图。
图51是表示适用了与本发明相关的信息终端装置的图像通信系统的通信终端装置中的其他实施例的要部构成的框图。
图52是表示适用了与本发明相关的信息终端装置的图像通信系统的通信终端装置中的其他实施例的要部构成的框图。
具体实施例方式
接着参照附图来详细说明根据本发明的信息终端装置的实施例。
本实施例是将本发明的信息终端装置适用于图像通信系统10中的至少通信终端装置12的情况。对于与本发明没有直接关系的部分则省略图示和说明。在以下的说明中信号用其显现的连接线的参照编号来指示。
图像通信系统10如图1所示，包含通信终端装置12和14以及特性管理中心16，它们经由通信线路分别连接到因特网18。通信终端装置12和14，存在均包含相同构成要素的情况或依照通信形态而包含各自不同构成要素的情况。将通过以后的实施例依次进行公开。
表示包含相同构成要素的图像通信系统10的情况的本实施例，利用通信终端装置12来进行公开。通信终端装置12包含图像输入部20、声音输入部22、驱动器23、操作部28、特性管理部30、编码部32、收发部34、解码部36、视音频输出部38以及输出选择部56。相对于此，在以不同构成要素来构筑并简化的情况下，通信终端装置14还可以不具有表情特征抽取部24、表情合成部26以及特性管理部30。在此情况下，未进行利用特性的合成的输入图像就从通信终端装置14被发送给通信终端装置12。
图像输入部20具有以下功能经由未图示的光学系统将来自被摄场或被摄体的入射光40会聚到2维配置的光敏器件，通过光电变换而变成模拟图像信号，将所得到的模拟图像信号变换成数字图像信号，并将其作为图像数据取入到通信终端装置12内。图像输入部20将用户的面孔作为被摄体，将面孔图像作为图像数据42分别输出到驱动器23以及输出选择部56。
声音输入部22具有以下功能通过扩音器将周围的环境音、特别是作为用户的通话者的声音44变换成模拟音频信号，再将模拟音频信号变换成数字音频信号，并将其作为声音数据取入到装置12内。声音输入部22，将其作为声音数据46分别输出到表情抽取部24以及表情合成部26。
驱动器23如图2所示，包含输入选择部25、表情特征抽取部24、表情合成部26以及形式变换部27。虽然在图2中仅记载着图像数据42以及声音数据46，但输入选择部25被供给来自多个图像输入部以及声音输入部的图像数据和声音数据，并具有从多个图像数据和声音数据之中选择一组图像数据和声音数据的功能。输入选择部25将所选择的图像数据43和声音数据47输出到表情特征抽取部24。
此外，在本实施例以后的实施例中，设没有输入选择部25而是将图像数据42以及声音数据46直接供给表情特征抽取部24。在设置输入选择部25的情况下，图像数据43和声音数据47不仅供给表情特征抽取部24，虽然没有图示还可以使其从驱动器23直通输出。
表情特征抽取部24具有基于所供给的图像数据43和声音数据47求得表示感情的数据的功能，和求得图像数据42所持有的表示表情的特征数据的功能。表情特征抽取部24将所求出的感情数据和特征数据48输出到表情合成部26。希望表情特征抽取部24至少将特征数据提供给表情合成部26。表情特征抽取部24输出使面孔的部位变位或移动以反映感情数据以及特征数据的表情数据48。另外，表情特征抽取部24还具有依照操作部28的操作指示信号50使图像缩小，并和声音一起作为视音频信号52输出到视音频输出部38。
在利用图像数据的情况下，表情特征抽取部24能够利用专利文献1和5的技术。另外，在表情特征抽取部24利用声音数据的情况下，可对声音波形进行阈值处理在某值以上则生成并输出张开作为表情的特征部位的嘴巴或者上扬眉毛，而在某阈值以下则生成并输出闭合嘴巴或下垂眉毛的表情数据。
操作部28将通过用户的操作所选择的操作指示信号50供给未图示的控制部或特性管理部30。
表情合成部26具有以下功能输入表示表情的特征数据48和作为所选择的基本模型的特性图像58，生成使具有基本模型图像的特性图像的特征点移动并使其反映在表情中的图像。能够使此功能用应用软件来进行实现。在此图像中，依照所供给的特性图像实施纹理映射(texture mapping)等而生成2维图像或3维图像。表情合成部26将反映了用户(通话者)的表情的特性图像数据54以及例如使其同步于感情或嘴巴的移动如此将声音数据55输出到形式变换部27。这样表情合成部26就可以同时利用声音数据和图像数据以合成表示表情的特征数据，或者利用图像和声音中的某一方。
另外，表情合成部26将用特性图像数据54和声音数据55所表示的视音频数据64输出到视音频输出部38。但是，这是用于发送者对发送图像进行确认，也可以没有向视音频输出部38的确认图像。表情合成部26还可以设置使所供给的声音数据的音质等进行变形的声音数据变换部。
形式变换部27具有将所供给的数据变换成规定的形式(格式)的功能。此功能对应于应用的接口功能。形式变换部27包含图像输出部27a和声音输出部27b。图像输出部27a和声音输出部27b在形式变换上具有与电视电话或电视会议用的格式、IP电视电话用格式以及便携式电话用格式等平台(platform)相应的变换。图像输出部27a和声音输出部27b符合这些通信对象目标的平台相应的形式进行输出。形式变换部27将所选择的图像以及声音数据60和62作为驱动器23的输出而输出到输出选择部56。这样通过设置驱动器23，就能够使具有娱乐性的图像通信的实现变得容易，并能够将此通信提供给广泛的通信对象。
返回到图1，本实施例中的输出选择部56具有在所供给的图像数据42和60、以及声音数据46和62之中、选择一组图像数据72和声音数据74进行输出的功能。输出选择根据从未图示的控制部所供给的选择信号70进行控制。另外，虽然在图1中没有图示，但每次输出选择被供给输出选择部56的图像数据中的设备和信号的种类等信息也被供给视音频输出部38。视音频输出部38显示此信息，使通过操作部28的操作将要输出的一组有助于选择决定。输出选择部56将所选择的一组图像数据72和声音数据74输出到编码部32。
此外，虽然本实施例的输出选择部56仅处理来自相同设备的2种或2组信号，但并不限定于此，还可以输入来自多个设备的信号进行选择。另外，希望输出选择部56具有变换成规定的形式的功能。特别是，在图像数据72和声音数据74为图像数据42和声音数据46的情况下设该功能有效为好。这除了图像数据60和声音数据62以外，将所输入的多个图像数据和声音数据、例如图像数据42和声音数据46作为一组来进行格式等规定的调整为好。
特性管理部30具有经由收发部34自特性管理中心16将特性图像数据和背景数据从信号线76下载、进行保存，将特性图像数据和背景数据的缩略图数据78输出到视音频输出部38的功能。这用于在用户选择特性图像数据和背景数据之际，将它们组合后的最终的图像的确认。用户根据来自操作部28的操作指示信号50选择符合要求的特性图像数据和背景数据，将所选择的特性图像数据和背景数据作为内容58输出到表情合成部26。
特性管理部30既可以不是始终管理特性图像数据和背景数据，也可以仅仅管理特性图像数据和背景数据中的某一方。
编码部32具有对将要发送的图像数据72和声音数据74进行编码的功能。编码部32还可以具有压缩编码功能。编码部32将编码后的视音频数据80输出到收发部34。编码以历来已知技术来进行编码为好。
收发部34具有发送来自编码部32的视音频数据80，接收从通信对象的通信终端装置14送来的视音频数据的功能，还具有将接收到的视音频数据82输出到解码部36的功能。另外，如前述那样，收发部34还具有进行特性管理部30与特性管理中心16之间的数据通信的功能。
解码部36具有对从收发部34所供给的视音频数据82进行解码的功能。解码为例如读出视音频数据82中的数据分组的首标区域中所写入的编码的种类，对所实施的编码进行逆变换的功能。解码部36将解码后的视音频数据84输出到视音频输出部38。
虽然没有图示视音频输出部38具有显示部和扬声器。在显示部的监视器画面86上，如图3所示那样设置有特性图像数据的一览显示区域88及背景数据的一览显示区域90。一览显示中的显示图像分别通过操纵影线所示的光标92使其移动切换进行显示。选择是对光标92的位置所示的图像领域、即包含沿上下左右移动之际的交点的特性图像或背景数据分别进行选择。
这里，在显示上，所选择的数据借助于粗图像框显示来进行显示以明白其被选择。所选择的图像在预览画面94上为了确认而合成显示。用户在满足此确认显示的情况下，按下决定按钮96来进行选择决定。另外，在监视器画面86上还显示从对方的通信终端装置14送来的文本数据。特性图像的选择画面并不限于图3，还可以是不设置预览画面94或决定按钮96使其显示如此各种各样的显示·选择方法。
再次返回到图1，特性管理中心16例如经由通信线路98连接到因特网18。特性管理中心16如图4所示那样包括内容管理服务器100和存储器102。在存储器102中使内容数据数据库化后进行保存。内容数据为从未图示的卖主所供给的2维或者3维的特性数据。内容管理服务器100与存储器102进行连接，经由信号线104进行内容数据的写入/读出。内容管理服务器100还具有使用特性数据的用户信息(登录·历史等)以及卖主信息的管理功能。这里，卖主是指创建特性数据进行供给的从业人员。特性管理中心16对针对特性管理部30的认证、特性数据和背景数据的使用许诺的可否、以及使用限制时间等的时间管理和收费信息等进行管理在本实施例中，通过图像通信系统10中的通信终端装置12利用驱动器23以及输出选择部56的功能，就能够使一边极力遏止成本提高一边提供在娱乐性上优良的图像通信，而不用用户对平台的利用形态进行变更。通过此提供就能够有助于此图像通信的普及。另外，还能够使对于用户的使用方便性变好。
接着，就适用了本发明的信息终端装置的图像通信系统10的通信终端装置中的其他实施例进行公开。以后在共通的构成要素上附加与在先前实施例中使用过的参照标记相同的标记，并避免烦杂说明的重复所以省略说明。
本实施例的图像通信系统10如图5所示，其特征在于废止在先前的实施例中作为构成要素所包含的特性管理中心16，使通信终端装置12承担所废止的功能这一点。即，通信终端装置12伴随此废止而预先在特性管理部30中设置存储器106，进而还设置数据输入部108。数据输入部108具有读出例如在所购入的CD(Compact Disc)或DVD(Digital Versatile Disc)等外部存储媒体中所记录的特性数据和背景数据的功能，并将所读出的数据110输出到特性管理部30。存储器106还可以保存所供给的数据110进行盖写。由此，特性管理部30就能够增加数据的变异。这样由于利用所购入的记录媒体，所以特性管理部30不进行认证、使用许诺、时间以及收费的管理等即可解决。动作与先前的实施例相同。
这样由于不需要与特性管理中心15的沟通，所以先前的实施例中的特性管理部30的功能就得以简化，作为用户即便不进行与特性管理中心16的用户登录等麻烦的处理也能够实现图像通信系统10的功能并进行利用。
接着，就适用了本发明的信息终端装置的图像通信系统10的通信终端装置中的其他实施例进行公开。如图6所示，本实施例的图像通信系统10中的通信终端装置12的特征在于在图1的构成上新增加文本输入部112这一点。文本输入部112具有从键盘等输入装置输入文本数据114，并输出作为文本的文本数据114的功能以及变换成声音数据的TTS(Text To Speech)变换功能。文本输入部112，将文本数据和/或声音数据116输出到表情特征抽取部24。输出文本数据和/或声音数据116、以及图像数据42和声音数据46中的哪个组合利用向操作部28的操作进行选择。
表情特征抽取部24利用文本数据116抽取表情数据48，将抽取出的表情数据48和声音数据一起输出到表情合成处理部54。在此情况下，例如像1、2、3、...等数字那样，置为依照预定的特殊文本数据输出特殊的表情数据的设定，并输出特殊的表情数据。
另外，表情特征抽取部24利用声音数据116抽取表情数据48，将抽取出的表情数据48和声音数据一起输出到表情合成处理部54。在此情况下，表情特征抽取部24使表情数据48变化成声音数据116表示的口的形状。例如若输入「あ」，则输出设为「あ」的口形状的表情数据48。此外，将输出的声音数据不是所输入的声音数据46而是输出所合成的声音数据116。
上述的这两种办法，既可以这样单独利用也可以组合利用。在此情况下，例如在通常的文本数据上组合特殊文本数据进行输入，通常文本数据输出仅仅使口形状变化的表情数据，若特殊文本数据被输入，则使预先所设定的特殊表情数据输出为好，还可以使口形状表情数据同步于特殊表情数据进行输出。
进而，表情特征抽取部24还可以输入图像数据42、声音数据46以及文本数据116，并将这些数据合成后使表情数据48输出。数据的合成方法可利用各种各样的方法，但例如在同时输入了图像数据42、声音数据46以及文本数据116的情况下，就有表情特征抽取部24在口形状的表情数据上利用文本数据116，在口形状以外则利用来自图像数据42的表情数据，在表情数据抽取上不利用声音数据46等方法。还可以使设置于文本输入部112的TTS功能设置在表情特征抽取部24中。
这样通过新增加文本输入部112，对应于此输入来变更表情特征抽取部24的处理，就能够增加通信的变异，并能够实现娱乐性更高的图像通信。
接着就适用了本发明的信息终端装置的图像通信系统10的通信终端装置中的其他实施例进行公开。如图7所示，本实施例的图像通信系统10中的通信终端装置12的特征在于在图1的构成上新增加了基本表情生成部118这一点。
基本表情生成部118通常以无表情状态为基准，具有相对于此基准基于从操作部28所供给的基本表情信号120创建基本表情数据122的功能。基本表情生成部118，将所创建的基本表情数据122输出到表情合成处理部54。基本表情数据122是以与表情特征抽取部24输出的表情数据48相同形式的数据形式来表示喜怒哀乐等基本表情的表情数据。
表情合成处理部54基于对从表情特征抽取部24输出的表情数据48和从基本表情生成部118输出的基本表情数据122进行了合成后结果使特性图像数据58变形。表情数据的合成可以采用各种各样的办法，但并不限定于此方法。表情合成处理部54例如以微笑面孔的基本表情数据122为基准合成从表情特征抽取部24送来的表情数据48。通过这样进行处理，即便实际的输入图像不是微笑面孔，特性图像也能够一边始终维持微笑面孔一边使其变形成实际进行变化的口形状。
由此，就可以使特性的表现能力得以提高，进一步增高娱乐性。另外，作为构成也可以在最初的其他实施例上至少组合第2和第3的其他实施例中的一方。
接着就适用了本发明的信息终端装置的图像通信系统10的通信终端装置中的其他实施例进行公开。在其以后的实施例在内容上作为表示场所或时间等的信息附加许可证信息，对内容和许可证信息的一元管理方法进行表示。另外，与因场所或时间等引起的限制相应的收费方法也在后段中进行表示。本实施例的图像通信系统10中的通信终端装置12在图1的构成之中在特性管理部30上包含图8的构成要素这一点上不同。本实施例的特性管理部30根据来自用户的内容取得请求一边与特性管理中心16通信并进行管理，一边依照来自用户的内容输出请求和内容中所附加的许可证信息输出保存着的内容。
图8所示的特性管理部30包括输入控制部124、内容控制部126、位置信息管理部128、存储器106以及输出控制部130。输入控制部124具有将利用作为操作部28的键盘或鼠标等输入接口所输入的操作指示信号50作为来自用户的内容取得请求进行受理的功能。在内容取得请求中包含将要取得的内容详情、即表示想取得哪个内容的信息以及通信终端装置12的存储器106中所保存的内容的输出请求。输入控制部124将内容取得请求132输出到内容控制部126。
位置信息管理部128具有取得利用GPS(Global PositioningSystem)等的通信终端装置12的当前位置的功能，以经度·纬度等求解当前位置，将所得到的位置信息134输出到内容控制部126。
内容控制部126具有三种功能。第一具有依照内容取得请求132的请求取得位置信息134，并经由信号线76将内容取得请求132和位置信息134发送给特性管理中心16的功能。另外，内容控制部126，第二，还具有依照来自特性管理中心16的正常内容的分发接收所分发的内容，并将所下载的内容135保存在存储器106中的功能。第三，内容控制部126具有依照内容的再生从存储器106取出与请求相应的内容135，并输出到输出控制部130的功能。
输出控制部130基于依照从内容控制部126输出的内容的输出命令输出再生用或显示用的内容58和78的功能。输出控制部130将内容58以及78分别输出到表情合成处理部54和视音频输出部38。
接着就特性管理部30和特性管理中心16之间的通信通过各自的动作简单地进行公开。通过图9所示的特性管理部30的输入控制部124受理内容取得请求，并通知给内容控制部126。(步骤S10)。接受此通知后，内容控制部126对位置信息管理部128发出位置信息取得命令134(步骤S12)。位置信息管理部128，利用GPS等，取得通信终端装置12的位置信息134，输出到内容控制部126(步骤S12)。
接着内容控制部126，将包含内容取得请求132和位置信息134的核对信息76发送到特性管理中心16(步骤S14)。
接收来自特性管理中心16的信息(步骤S16)。对接收到信息是否准许分发进行验证(步骤S18)。若内容的分发被准许(是)，则内容控制部126将内容提供给存储器106进入进行保存的处理(至步骤S20)。另外，若内容的分发被拒绝(否)则内容控制部126将内容的分发拒绝信息输出到输出控制部130。分发拒绝信息78经由输出控制部130提供给视音频输出部38，并显示在视音频输出部38的显示部上。之后，结束处理。
在步骤S20中，接受上述正常的内容分发，存储器106保存所供给的内容(步骤S20)。其次内容控制部126依照内容输出请求从存储器106将所保存的内容作为特性数据和背景数据58进行读出，并经由输出控制部130将所再生的内容58输出到表情合成处理部54(步骤S22)。借助于此输出，表情合成处理部54就生成带表情及背景的特性图像。之后，结束处理。
接着说明图4所示的特性管理中心16的动作。特性管理中心16如图10所示，接收被提供给内容管理服务器100的来自通信终端装置12的内容取得请求76(步骤S24)。
接着将符合取得请求的内容从存储器102取出(步骤S26)。如图11所示，所读出的内容136包含首标区域138和内容本体140。在首标区域138中包含有许可分发信息142。许可分发信息142以表示许可分发地域的信息144，具体而言以标志146所示的纬度·经度为中心，如用半径r所包围的圆区域148或根据纬度·经度的多边形分割区域150那样来进行表示。特别是，后者的多边形分割区域150以用多个纬度·经度所包围的区域的重合来表示。重合能够赋予用逻辑运算来表示是处于各领域内或外的不等式条件，并使数据持有它。除此之外，若准备根据纬度·经度变换成国或地域号码的表则管理就变得更为容易，不同国·地域中的著作权的有无问题等也能够得到解决。作为终端固有信息例如还可以附加终端制造号等，或者附加使用内容数据等进行了加密的终端固有信息，或者防止在终端侧进行内容的非法复制或内容篡改这样的构造。
接着判断是否进行分发(步骤S28)。内容管理服务器100将表示通信终端装置12存在的地点的位置信息76与许可分发信息142进行核对来确认可否分发(步骤S28)。如果位置信息76表示处于许可分发的某地点内(是)，则进入内容管理服务器100将内容发送给通信终端装置12的发送处理(至步骤S30)。另外，在位置信息76为处于不许可分发的地点或者为不许可的内容的情况下(否)，进入将分发的拒绝信息发送给通信终端装置12的发送处理(至步骤S32)。
接着将内容发送给通信终端装置12(步骤S30)。不言而喻在此发送阶段中，针对通信终端装置12的认证、使用权限以及收费等已经得到容许。在步骤S32中，发送分发的拒绝信息。在这些信息发送后，结束动作。
通过这样使其动作，就能够控制与通信终端装置12的位置信息76相应的内容分发，并能够使管理简化而不用将许可证信息与内容数据分割来进行管理。另外，通过对许可分发信息142设定多个许可地域，迄今必须将同一内容以多个进行管理，但也能够进行一元管理。进而，若准备根据纬度·经度变换成国或地域号码的表，则在管理变得更为容易的基础上，还能够解决不同国·地域中的著作权的有无问题等。
接着就适用了本发明的信息终端装置的图像通信系统10的通信终端装置中的其他实施例进行公开。在本实施例中，图像通信系统10中的特性管理中心16，在图4所示的构成要素将新存储器152作为标记集用的数据库来追加。存储器152具有保持各通信终端装置的识别信息、事件信息或位置信息历史的标记集数据库(DB)，依照此数据库中所保持的位置信息历史将保存的内容154分发给内容管理服务器100。存储器152由内容管理服务器100进行管理。
内容管理服务器100如前述那样依照来自通信终端装置12的内容取得请求由内容DB取得内容，将通信终端装置12的位置信息76与存储器152的标记集DB的位置信息历史以及内容中所包含的可否分发的许可分发信息进行核对，如果许可则分发内容。许可分发条件还可以将位置历史的顺序或位置信息取得时间等进行组合。
就与先前的实施例不同的本实施例的动作进行说明。不同之处在于特性管理中心16的动作。如图12所示，内容管理服务器100从通信终端装置12接收内容取得请求(步骤S24)，同时将所供给的通信终端装置12的位置信息保存在标记集DB中(步骤S34)。接着将存在请求的内容从存储器102的内容DB取出(步骤S26)。
在本实施例中，如图13所示将通信终端装置12的许可分发信息142中所包含的位置历史从标记集DB取出(步骤S36)。在许可分发信息142中作为领域156内中的位置历史包含对应于A地点、B地点、C地点、...的位置信息146A、146B、146C、...。进而，例如许可分发信息142如图14所示那样依次保存识别信息、事件信息以及位置信息历史。
返回到图12，接着内容管理服务器100对位置信息历史及当前的位置信息与分发可否信息进行核对以确认可否分发(步骤S28)。如果时许可分发的某地点(是)则进入步骤S30，把内容发送给通信终端装置12。另外，在内容为禁止分发的情况下(否)则进入步骤S32，把分发拒绝发送给通信终端装置12。
由此，特性管理中心16就可控制与通信终端装置12的位置信息、位置信息历史相应的内容分发，迄今为止对许可证信息、事件信息以及内容数据分别进行分割来处理，必须复杂地进行管理，但现在就能够仅仅用内容和通信终端装置12的标记集信息来进行管理，从而能够使许可证管理变得比以往还要容易。
接着就适用了本发明的信息终端装置的图像通信系统10的通信终端装置中的其他实施例进行公开。如图15所示，在本实施例中，在图8所示的通信终端装置12中的特性管理部30的构成要素上新增加了许可证管理部158，并分别连接到输入控制部124、位置信息管理部128、存储器106以及输出控制部130。通信终端装置12具有基于将内容的输出请求附加在内容中的许可分发信息142来管理内容的许可证信息的特点。
在通信终端装置12中，输入控制部124分别接受包括内容取得请求或内容输出请求的操作指示信号50，并将内容取得请求132或内容输出请求160分别输出到内容控制部126和许可证管理部158。许可证管理部158接受所供给的内容输出请求160并将内容输出请求162输出到位置信息管理部128。
位置信息管理部128依照内容输出请求162的供给取得通信终端装置12自身的当前位置信息。位置信息管理部128，将所取得的当前位置信息162输出到许可证管理部158。
许可证管理部158经由信号线164连接到存储器106。许可证管理部158经由信号线164供给读出控制信号以依照内容输出请求160的供给读出存储器106保存的许可分发信息142。存储器106读出对应于读出控制信号的许可分发信息142后输出给许可证管理部158。许可证管理部158对当前位置信息162和许可分发信息142进行比较以判断内容可否使用。许可证管理部158依照许可使用的判断对存储器106进行存取，读出内容并经由输出控制部130进行输出。另外，存储器106与图8所示的特性管理部30同样，依照内容控制部126的控制从特性管理中心16进行下载并保存内容。
接着简单地公开本实施例中的对应于内容输出请求地动作。内容输出请求是指选择通信终端装置12的存储器106所保持地内容，在确认许可证信息使其显示于视音频输出部38的过程。首先，如图16所示，根据操作部28的操作将操作指示信号50输入给输入控制部124(步骤S38)。这里，所供给的操作指示信号50是来自用户的内容输出请求。
接着，将在输入控制部124所受理的内容输出请求160传给许可证管理部158(步骤S40)。在许可证管理部158中以从输入控制部124领取到的内容输出请求160为基础对存储器106进行检索(步骤S42)。存储器106将根据此检索结果所得到的内容140以及内容中所附加的许可分发信息142经由信号线164输出到许可证管理部158。许可证管理部158，通过该输入取得内容140以及许可分发信息142。另外，虽然没有图示，但在内容中附加着终端固有信息的情况下，通过与用户的通信终端装置12的终端固有信息进行核对就能够判断非法复制。进而，虽然没有图示，但在附加着利用内容数据等进行了加密的加密终端固有信息的情况下，在通信终端装置12中例如利用内容140和终端固有信息生成经过加密的终端固有信息，通过对在通信终端装置12所生成的加密终端固有信息与在内容中所附加的加密终端固有信息进行核对就能够检测出非法复制或篡改。
接着在许可证管理部158借助于位置信息管理部128取得通信终端装置12的当前位置信息162(步骤S12)。接着许可证管理部158对所取得的内容的许可分发信息142与所取得的当前位置信息162进行比较，以判断是否许可当前位置上的使用(步骤S44)。当前位置包含在记载于许可分发信息142中的许可使用范围内的情况下(是)，进入向输出控制部130的输出处理(至步骤S22)。另外，在当前位置为记载于许可分发信息142中的许可使用范围外的情况下，则进入对输出控制部250通知内容不能使用意旨的通知处理(至步骤S46)。
在步骤S22，许可证管理部158从存储器106再生所希望的内容，并将内容58和/或78提供给输出控制部130以使其进行显示。输出控制部130输出内容58和/或78。
许可证信息管理部158依照许可使用范围外的判断将内容不能使用意旨的消息传给输出控制部130，并提供给视音频输出部38以通知消息(步骤S46)。
此外，在通信终端装置12从特性管理中心16下载内容进行使用的情况下，通信终端装置12把内容取得请求发送给特性管理中心16(步骤S48)。通信终端装置12通过特性管理中心16中的处理来接收内容(步骤S16)。接收到的内容被保存在存储器106中(步骤S20)。之后，存储器106对所希望的内容进行读出及再生这样来输出。
通过这样在内容中附加许可使用范围，并能够对使用地域等进行限定，就能够不经由许可证服务器等网络通信，对内容的许可证进行管理。另外，由于在内容的管理上也可以不保持许可证服务器等，所以就能够削减设备成本或通信费用。
作为本实施例的利用，例如若创建仅在公共游乐场或图书馆之类的规定的设施内可以利用的内容，则能够使来场人数的增加或促进设施利用等效果得以发挥。
接着就适用了本发明的信息终端装置的图像通信系统10中的其他实施例进行公开。本实施例的特征在于通过与利用通信终端装置12中的许可证管理的位置或地域相应的收费来利用内容。本实施例的构成着眼于与如图15所示的图像通信系统10的不同点，在图17中示出对图像通信系统10中的通信终端装置12进行收费的收费系统。
在存储器102中保存着内容数据作为数据库。在内容中包含许可分发信息142。如图18所示，许可分发信息142写入有表示地域同时还包含与一定的距离或范围内相应的费用体系的信息144。信息144具体而言就是如费用体系的信息144a那样表示。位置信息的标记利用与先前的实施例相同的形式。
返回到图17，收费服务器166具有接受来自许可证管理部158的内容的使用费取得请求，经由信号线168对存储器102的内容DB进行访问和检索，抽取出内容中所附加的使用费，经由信号线170、IP网络18以及信号线172对许可证管理部158进行通知的功能。
特性管理部30的许可证管理部158将来自输入控制部124的操作指示信号50作为内容输出请求160从输入控制部124输入，并把内容输出请求162输出到位置信息管理部128。许可证管理部158依照内容输出请求160的供给从位置信息管理部128取得通信终端装置12的当前位置信息162。许可证管理部158从存储器106取得在内容中所保存的包含于内容的许可分发信息142的位置信息164。许可证管理部158对当前位置信息162与许可分发信息142的位置信息164进行比较，以判断内容的许可使用。在不是许可使用位置的情况下许可证管理部158经由信号线172、IP网络18以及信号线170对收费服务器166进行询问。许可证管理部158从收费服务器166接受与内容的使用位置相应的使用费信息，通过支付使用费而被许可内容的使用，将内容输出到输出控制部130以对输出控制进行管理控制。许可证管理部158在许可使用的情况下对输出控制部130进行管理控制，并进行依照该控制所供给的内容的输出。
特性管理中心16依照来自通信终端装置12的内容取得请求对内容进行分发，通过收费服务器166依照通信终端装置12的位置信息来提示收费信息。通信终端装置12以所提供的收费信息为基础支付与场所相应的等价后利用内容。
接着在图19中公开本实施例的动作。许可证管理部158进行内容输出请求的受理～许可使用的判断(步骤S38～44)的过程，在判断为许可使用的情况下(是)进入内容输出处理(至步骤S22)。另外，在许可使用范围外的判断的情况下(否)，进入向收费服务器166的询问(至步骤S50)。
通信终端装置12，将当前的位置信息输出到收费服务器166。在收费服务器166中，以当前的位置信息为基础询问使用费(步骤S50)。收费服务器166以所询问的位置信息为基础对存储器102的内容DB进行检索，求得符合条件的费用并取得(步骤S52)。收费服务器166将所取得的费用信息或收费信息提供给通信终端装置12。通信终端装置12将所供给的费用信息78输出到视音频输出部38进行显示。
用户看见所显示的费用，对操作部28进行操作，选择利用(步骤S54)。在承诺利用的情况下(是)，进入支付的通知处理(至步骤S56)。另外，在拒绝利用的情况下(否)进入拒绝利用的通知处理(至步骤S58)。
支付的通知处理是从通信终端装置12对收费服务器166通知表示进行利用意旨的信息以及费用缴纳完成的信息(步骤S56)。另外，接受此完成后通信终端装置12读出所希望的内容进行再生(步骤S22输出)。此后，结束内容输出请求处理。
另一方面，拒绝利用的通知处理是从通信终端装置12对收费服务器166通知表示拒绝使用的信息(步骤S58)。许可证管理部158在接受此通知后，将不利用内容的意旨输出到视音频输出部38进行显示(步骤S60)。此后，结束内容输出请求处理。
这样，通过依照利用场所进行收费就可一边缓和内容的利用限制一边使针对内容提供者所创建的内容的有效利用得到促进，并并能够从使用费恰当地收回伴随内容提供的经费。
其次，就适用了本发明的信息终端装置的图像通信系统10的通信终端装置中的其他实施例进行公开。本实施例的通信终端装置12的特征在于不是根据位置信息而是根据使用期限或日期时间的时刻信息来管理许可证这一点。
本施例的构成在使上述的特征得以实现的基础上，具备图20所示的时刻信息管理部174，经由信号线162a连接到许可证管理部158。图20的特性管理部30其构成要素、时刻信息管理部174以外的构成及连接与图15的构成相同。即位置信息管理部128用时刻信息管理部174来替换。
此外，虽然在本实施例中设为仅仅处理时刻信息，但并不限定于此信息，虽然没有图示但不言而喻还可以包含对位置信息进行处理的构成要素。
许可证管理部158访问存储器106进行检索以读出信息。存储器106作为内容数据的数据库发挥功能，将内容中包含的许可分发信息设为图21所示的时刻信息144b。时刻信息114b具体而言以记载着一定期间或使用期限的许可使用天数来进行设定。许可证管理部158具有就用户的内容取得请求与特性管理中心进行通信，同时对依照用户的内容输出请求从时刻信息管理部174所取得的终端的当前时刻与所取得的内容的使用期限进行比较，来判断内容可否使用的功能。
时刻信息管理部174具有取得当前日期时刻的钟表功能，对公历、年月日、时分秒等进行计测，并输出到许可证管理部158。
接着对本实施例的动作进行公开。本实施例的动作过程如图22所示那样，在上述的构成中直到许可分发信息142的取得(步骤S42)之前以相同的过程来进行处理。此后，在许可证管理部158中，从时刻信息管理部174取得通信终端装置12的当前时刻信息162a(步骤S62)。
接着在许可证管理部158中对所取得的内容的许可分发信息142与所取得的当前时刻信息162a进行比较以判断可否使用(步骤S64)。在当前时刻为许可分发信息142的使用期限内的情况下(是)，使内容输出到输出控制部130，进入用视音频输出部38对输出控制部130输出的内容进行再生·显示的处理(至步骤S22)。另外，在当前时刻表示使用期限已到的情况下(否)，将内容不能使用意旨的消息传给输出控制部130，进入对用户进行通知的通知处理(至步骤S46)。在此以后的各步骤(步骤S22，S46)以图16的过程使其动作。
这样通过在内容中附加使用期限，以能够对使用期间进行限定，就能够不经由许可证服务器等网络通信对内容的许可证进行管理。另外，由于在内容的管理上即便不保持许可证服务器等也可解决，所以就能够削减设备成本或通信费用。作为具体例，就能够容易地进行对于用户的内容的试用或仅在宣传活动期间一定期间使内容得以利用。
接着就适用了本发明的信息终端装置的图像通信系统10中的通信终端装置的其他实施例进行公开。本实施例的特征在于与先前的实施例同样不是根据位置信息而是根据使用期限或日期时间的时刻信息来管理许可证，例如即使已过利用期限也可通过收费来继续利用内容这一点。
图23的图像通信系统10中的通信终端装置12的特性管理部30，构成要素、时刻信息管理部174以外的构成及连接与图17的构成相同。即位置信息管理部128用时刻信息管理部174来替换。
此外，虽然在本实施例中设为仅仅处理时刻信息，但并不限定于此信息，虽然没有图示但不言而喻还可以包含对位置信息进行处理的构成要素。
在存储器102中保存着内容数据作为数据库。在内容中包含许可分发信息142。如图24所示，许可分发信息142写入有表示针对使用期限的费用体系的信息144c。信息144具体而言就是如费用体系的信息144c那样表示。位置信息的标记利用与先前的实施例相同的形式。
返回到图23，收费服务器166具有接受来自许可证管理部158的内容的使用费取得请求，经由信号线168对存储器102的内容DB进行访问和检索，抽取出内容中所附加的使用费，经由信号线170、IP网络18以及信号线172对许可证管理部158进行通知的功能。
许可证管理部158具有输入来自输入控制部124的内容输出请求，对从时刻信息管理部174所取得的通信终端装置12的当前时刻信息162a与所取得的内容的使用期限进行比较，以判断内容可否使用的功能。特别是，还具有在判断结果表示使用期限已到的情况下(否)，对收费服务器166进行询问，通过支付与内容的延长期间相应的使用费来提供内容利用的功能。
接着对本实施例的动作进行公开。本实施例的动作过程如图25所示那样，在上述的构成中直到许可分发信息的取得(步骤S42)之前以相同的过程来进行处理。此后，在许可证管理部158中，从时刻信息管理部174取得通信终端装置12的当前时刻信息(步骤S62)。
接着在许可证管理部158中对所取得的内容的许可分发信息142与所取得的当前时刻信息162a进行比较以判断可否使用(步骤S64)。在当前时刻为许可分发信息的使用期限内的情况下(是)进入使内容输出到输出控制部130，在视音频输出部38对输出控制部130输出的内容进行再生·显示的处理(至步骤S22)。另外，在当前时刻表示使用期限已到的情况下(否)，进入向收费服务器166进行询问(至步骤S50)。
通信终端装置12将当前的位置信息输出到收费服务器166。在收费服务器166中以当前的时刻信息为基础询问使用费(步骤S50)。收费服务器166以所询问的时刻信息为基础对存储器102的内容DB进行检索，求得符合条件的延长使用费进行取得(步骤S52)。收费服务器166，将所取得的费用信息或收费信息提供给通信终端装置12。通信终端装置12，将所供给的费用信息78输出到视音频输出部38进行显示。
在此使用费的用户提示以后进行上述处理，即分别进行步骤S56、S58、S60以及S22。
通过这样借助于收费来更新·延长使用期限，在进行了内容试用等以后，作为商用版本正式提供给用户就变得容易，对于用户就能够在想使用内容时，提供按想使用的部分相应的收费。另外，通过使用费有效地收回内容的创建经费就成为可能。
其次就适用了本发明的信息终端装置的图像通信系统10的通信终端装置中的其他实施例进行公开。如图26所示，在本实施例的通信终端装置12中包括提示信息生成部176、通知控制部178、对象保存部180以及跟踪处理部182。不言而喻通信终端装置12基本上包括图1的构成要素，特性管理部30以及特性管理中心16还可以包括上述的构成要素。
已知在这样的图像通信中，用户的相机拍照对彼此的通信质量带来影响。以往，在此领域中采取了若干方法。在第1方法中有显示对用户自身进行了拍摄的图像的方法。此方法采用在显示着来自对方侧的图像的画面内显示为小窗口的画中画方式或在将画面分隔成多个区域后的一个区域上进行显示的画面分割方式。
作为第2方法有以下方法，即，具有专利文献6的图像通信终端装置的用户接口，在用户在照相机的摄影范围外的情况下，通过在对接收到的对方侧图像进行各种操作以后变更显示状态进行显示，就可不显示本地点图像地判断用户是否位于照相机的摄影范围内，并通知用户从照相机的摄影范围脱离。
但是，在按上述的第1方法中所列举的两种方式进行的显示中，存在以下问题由于仅仅显示用户自身的图像所以难以确认摄影状况，摄影状况的调整也只有用户观看实际所显示的图像来进行判断。
另外，在第2种方法中存在以下问题在用户处于摄影范围内的情况下，不能确认其处于怎样的位置等。虽然此方法可在摄影范围内对用户的位置进行调整，但由于不显示用户图像而仅接受对方的图像的通知来进行显示，所以对于例如周围的明亮度、照相机·用户间的距离等其他摄影状况就不能进行确认。
本实施例的图像通信系统10中的通信终端装置12在上述的构成要素之中，适用提示信息生成部176以及通知控制部178一边对摄影状况进行确认操作一边进行图像通信。提示信息生成部176具有以所求得的感情数据以及特征数据48为基础来生成提示信息的功能，如图27所示，包含有提示信息判定部184。提示信息(指导信息)是指分别表示作为抽取处理之结果的以感情数据及特征数据48为基础判定抽取处理的成功或失败所得到的现在的判定结果以及一定期间的抽取处理成功率的信息。提示信息生成部176将所生成的提示信息186输出到通知控制部178。
返回到图27，通知控制部178，具有从所供给的提示信息186生成应向用户进行通知的信息186的功能。通知控制部178将通知信息188输出到视音频输出部38。通知信息188是与对应于所供给的提示信息186的阶段使之点亮的灯的数目相对应的信息。通知控制部178如图28所示例如使提示信息186和通知信息188对应于抽取处理成功率和灯的的点亮数。
视音频输出部38依照所供给的通知信息188使抽取处理的状态进行显示。最好是例如如图29所示那样，设置显示判定结果「成功」或「失败」之类的字符串的字符串显示部190或除了记号「○」或「×」外显示图形等的形状的记号显示部192以及按照它们的大小来报知状况的阶段显示部194来进行显示。也可以使字符串或图形的颜色变化来进行报知。另外，除此以外，还可以通过声音输出使其报知给用户。例如不仅是输出嘟嘟声，还可以朗读「成功」或「失败」、「○」或「×」等字符或字符串来进行输出，也可以朗读预先所登录的字符或字符串来进行输出。声音输出希望能够任意地进行输出/非输出的设定。
简单地说明图26所示的通信终端装置12中的图像通信的动作。用户利用通信终端装置12对面孔图像进行摄影。如图30所示，通信终端装置12经由图像输入部20取得面孔图像(步骤S66)。将面孔图像的图像数据42输出到表情特征抽取部24。
其次通过表情特征抽取部24来判断是否进行针对通信对象的图像发送(步骤S68)。虽然没有图示但该判断对应于控制信号来进行。控制信号例如基于依照由用户进行的操作从操作部28所供给的操作指示信号50而生成。在不发送特征数据48的情况下(是)输出到表情特征抽取部24进入抽取的处理(至步骤S70)。另外，在进行发送的情况下(否)，进入图像数据42的发送处理(至步骤S72)。
在步骤S70中，从图像数据42抽取出表情的特征。其次判断是否生成特性图像(步骤S74)。该判断也依照操作来进行。在生成特性图像的情况下(是)，进入图像生成处理(至步骤S76)。另外，在不生成特性图像的情况下(否)进入提示信息的生成处理(至步骤S78)。
在图像生成处理中，由表情合成处理部54生成特性图像(步骤S76)。这里的处理还以所供给的特征数据48为基础生成提示信息186。成为在特性图像及背景的内容58上使表情得到反映后的带背景的特性图像。
在提示信息的生成处理中，由提示信息生成部176生成抽取处理成功率等，并输出到通知控制部178。虽然提示信息的生成处理区分为过程来进行表示，但也可以在生成带背景的特性图像的情况下进行。由此，用户就能够对摄影状况进行确认。
接着发送所生成的带表情的特性图像或面孔图像数据(步骤S72)。在视音频输出部38上显示所发送的图像(步骤S80)。在此显示后，结束处理。
另一方面，在通知控制部178生成对应于所供给的提示信息186的通知信息188，并输出到视音频输出部38(步骤S82)。用户依照显示在视音频输出部38上的通知例如怎样取得下一图像来进行对应。该通知不仅可根据灯的亮灭数，还可以按照抽取处理成功率将声音的输出分阶段地增大或者减小。在此显示后，结束处理。
通过这样使对应于提示信息186的通知信息188进行显示，对用户通知摄影状况，在利用之际用户自身就能够容易地确认摄影状况，并能够降低用户的负担。另外，即便用户用照相机恰当地进行拍摄，也能够对摄影状况进行确认，所以就能够使方便性非常之高。
返回到图26，就对象保存部180以及跟踪处理部182进行公开。专利文献7的图像处理装置及其方法提出了依照面内的面孔的大小、位置的变化对作为假想物体的对象的大小·位置进行变更，以跟踪面孔的移动的图像合成。利用此图像合成，则如图31所示，若在图31(a)的所输入的面孔图像上使其戴上假想的帽子，就得到图31(b)。若将面孔图像沿左右移动则如图31(c)所示，该帽子就正好戴在头上。如此图像合成就能够作为针对移动图像的通信工具来进行使用。
但是，由于上述的技术其对象为2维的图形，所以即便是转身回头等对面孔的朝向进行变更，所合成的对象的朝向也不变化就成为非常不自然、且单调的合成图像。在这一点上不得不说专利文献7是功能缺乏的通信工具。
在本实施例中，针对此利用对象保存部180以及跟踪处理部182对用户提供自然的对象的合成图像。通过此提供，就能够有助于将用户扩大。
对象保存部180具有保存例如丝带、眼镜以及帽子等以3维创建的形状的数据的功能。将与用户的选择相应的对象数据196分别输出到表情合成处理部54以及视音频输出部38。
跟踪处理部182具有使所供给的特征数据48中包含的面孔图像所示的头的平行移动量、扩大·缩小量、旋转量反映到对象中，进行显示的功能。跟踪处理部182跟踪面孔的变化将使对象得以变形的跟踪数据198输出到表情合成处理部54。
对此动作进行公开。在表情特征抽取部24中至少对面孔的朝向、眼·口等面孔的各部位的位置等进行分析，创建特征数据48。特征数据48包含对象的变形量。该变形量使用在3维图形一般所使用的4×4的行列来表示为好。若使用它则如图32所示，就能够与(a)所示的基准的面孔图像的眼、鼻、口的位置进行比较，全部表现(b)的平行移动、(c)的(扩大/)缩小以及(d)的旋转。特征数据48包含对象的变形为哪种的信息。
在表情特征抽取部24中将成为基准的面孔图像与所输入的面孔图像的各部位、即眼、鼻、口中的位置偏移作为对象的变形量来进行分析。此分析还可以在跟踪处理部182中进行。在面孔中的各部位的位置的分析上使用专利文献5等为好。在图32中，判断为面孔图像平行移动眼、鼻、口一致地移动了的量，分布狭窄的缩小，进而根据以两眼的中心位置为基础的鼻或口的偏移将面孔的转身回头量作为旋转量进行分析。
更具体地讲，若图33(a)所示的面孔图像被供给，则表情特征抽取部24如图33(b)所示那样对对象变形量进行分析。接着作为对象选择丝带(参照图33(c))。在跟踪处理部182生成使平行移动量、扩大·缩小量以及旋转量分别反映到对象中的、图33(d)所示的跟踪数据198。在表情合成部26通过对使其变形成恰当形状的对象和面孔图像或者所选择的特性图像进行合成创建图33(e)所示的合成图像。
这里，合成图像中所使用的对象的数目为多少都没有关系。若设对象为作为2维模型的板多边形，则还能够将图像合成的处理速度提高。在对象的变形上还可以通过缩小使对象非常得小而使对象不显示。
创建考虑了用户的面孔的朝向的3维形状的对象，通过与特性图像等进行合成就能够创建自然的合成图像。另外，如果使用覆盖所输入的面孔图像的脸这样的对象，则还能够使背景原封不动地一边隐藏自己的面孔一边进行通信。
图34～图36的图像通信系统10表示在图5～图7的构成上分别配置提示信息生成部176、通知控制部178、对象保存部180以及跟踪处理部182后的构成。根据此构成，就能够提供获得广泛的用户同时对用户而言使用方便性好、且伴随对象附加的娱乐性较高的图像通信系统10。
接着作为适用了本发明的信息终端装置的图像通信系统10的通信终端装置中的其他实施例仅仅着眼于根据提示的通知表显示来进行说明。本实施例的通信终端装置12在图34～图36的构成上如图37所示分别配设存储器200。存储器200保存着对通知信息的对应进行管理的提示数据库。存储器200经由信号线202与通知控制部178连接起来。
另外，对提示信息生成部176不仅供给特征数据48还供给图像数据42。提示信息生成部176，如图38所示，包含抽取数据判定部204、图像明暗判定部206、面孔距离判定部208、开闭判定部210、面孔角度判定部212以及综合判定部214。抽取数据判定部204、面孔距离判定部208、开闭判定部210以及面孔角度判定部212，分别输入所供给的特征数据48，作为判定结果把数据216输出到综合判定部212。另外，图像明暗判定部206，输入所供给的图像数据42，作为判定结果把数据216输出到综合判定部212。
抽取数据判定部204，对应于提示信息判定部184。图像明暗判定部206通过适用借助于以从所拍摄的图像数据42抽取处理结果为基准的针对任意区域的直方图的计算的判定，或者借助于对任意区域的浓度值进行相加以像素数相除后的的判定等各种各样的手法来实现图像的明暗判定。通过此判定，用户就能够在事前把握恰当的摄影环境的明暗。
面孔距离判定部206能够适用借助于在抽取处理结果中所包含的左眼和右眼、左口端和右口端等的自由的多个组合的距离的判定，或者借助于以抽取处理结果为基准的面孔的区域的大小的判定等各种各样的手法对用户的恰当的面孔距离进行判定。通过此判定，用户就能够在事前把握与图像输入部20的恰当距离。
开闭判定部208通过适用从作为抽取处理结果的特征数据48和所拍摄的图像数据42基于眼区域内的浓度值的变动的判定，或者借助于模板匹配的判定等各种各样的手法就能够进行左眼、右眼各自有无开闭的判定。通过此判定，对于认为无法稳定地进行面孔特征量的抽取的情况就能够通过将眼睛闭着之类的信息在事前告知给用户以使面孔的抽取精度提高并进行恰当的通信。在此情况下还可以在开闭判定部210上进行连接以输入图像数据42。
面孔角度判定部212通过借助于特征数据48的左眼和右眼分别与内眼角和外眼角的距离以及左端与口右端的距离的计算、左眼和右眼分别与上眼皮和下眼皮的距离以及眉间与口中心的距离的计算、以及连结左眼和右眼的瞳孔的直线与水平的倾斜度以及连结口左端和口右端的直线与水平的倾角的计算的判定，或者借助于以抽取处理结果为基准的面孔区域的倾斜度的判定等各种各样的手法的适用就能够对面孔角度进行判定。通过此判定，就可通过在事前告知给用户来进行恰当的通信。
综合判定214，具有综合上述的判定结果216的功能，生成提示信息186。综合判定部214，将通知控制部178输出到提示信息186。
通知控制部178基于接收到的提示信息186使用存储器200的提示DB生成通知信息188。通知控制部178将其发送给视音频输出部38。视音频输出部38能够显示与接收到的通知信息188相符的通知。在提示DB中例如对图39所示的提示信息186与通知信息188的对应进行管理。
就本实施例的动作简单地进行说明。如图40所示，动作过程在图30所示的步骤S76和步骤S82之间设置基于提示信息186使用存储器200的提示DB生成通知信息188的步骤(步骤S84)。
通过使用提示DB生成通知信息188并使其显示，对用户进行恰当的指导，在带表情的图像通信系统的利用中用户自身就能够详细了解摄影状况，并能够使用户的负担大幅降低。另外，由于在不恰当的摄影状况的情况下不是仅仅通知其原因即便在恰当地进行摄影的情况下也能够把握摄影状况所以方便性非常得高。
接着作为适用了本发明的信息终端装置的图像通信系统10的通信终端装置中的其他实施例仅仅着眼于根据提示的通知显示来进行说明。本实施例的通信终端装置12在图34～图36的构成上分别利用以下所示的构成要素。第1，如图41所示在经由IP网络18的通信对象目的地的通信终端装置14上至少配置收发部218、通知控制部220、存储器222以及视音频输出部224。通信终端装置14中的收发部218、通知控制部220以及视音频输出部224具有与通信终端装置12中所用的收发部34、通知控制部178以及视音频输出部38相同的功能。
通信终端装置12和14能够收发提示信息。即，收发部34以及218具有处理包含图像信息以及提示信息的形式的数据的功能。收发部34，从通知控制部178接收提示信息186，把来自对方的提示信息输出到通知控制部178。
存储器222将提示信息与通知信息对应起来进行保存，是具有管理功能的提示数据库。
收发部218，将从通信终端装置12接收到的提示信息226提供给通知控制部220。通知控制部220对存储器222的提示DB访问对应于提示信息226的通知信息，取得符合条件的通知信息228，将所生成的通知信息230输出到视音频输出部224。
通信终端装置12的动作如图42所示。首先，取得所拍摄的图像(步骤S66)。其次判断是否进行发送(步骤S68)。不管发送与否都抽取出表情特征作为特征数据48(步骤S70)。在进行发送的情况下(否)，基于抽取出的特征数据48生成提示信息186(步骤S78)。和将要发送的图像数据42一起将提示信息186发送给通信终端装置14(步骤S86)。在该发送后，在视音频输出部38上显示与所发送的图像相同的图像(步骤S80)。之后，进入通知信息的生成处理(至步骤S84)。
另一方面，判断可否发送，在不立即发送的情况下(是)，生成特征数据48(步骤S70)。接着判断是否生成特性图像(步骤S74)。在生成特性图像的情况下(是)进入特性图像生成处理(至步骤S76)。另外，在不生成特性图像的情况下(否)进入提示信息的生成处理(至步骤S78)。
特性图像的生成处理使用户所选择的特性图像持有表情，将所选择的背景与所合成的合成图像作为特性图像进行生成(步骤S76)。此处的处理还以所供给的特征数据48为基础生成提示信息186。特征数据48不仅被供给表情合成处理部54还被供给提示信息生成部176。在提示信息生成部176以特征数据48和图像数据42为基础生成提示信息186。
通信终端装置12将所生成的特性图像和提示信息分别从编码部32和通知控制部178提供给收发部34，并发送给通信终端装置14(步骤S88)。在发送后通信终端装置12使特性图像显示在视音频输出部38上(步骤S90)。
在还不生成特性图像的判断(否)中，如上述那样生成提示信息186。所生成的提示信息186从通知控制部178经由收发部34发送给通信终端装置14(步骤S92)。
在步骤S80、S90或S92后，在通知控制部178基于所供给的提示信息186生成通知信息188。所生成的通知信息188，被输出到视音频输出部38(步骤S84)。在视音频输出部38使所供给的通知信息188显示在未图示的显示部(步骤S82)，在这样使其进行动作后通信终端装置12的处理结束。
在通信终端装置14中如图43所示，接收来自通信终端装置12的信息、图像、特性图像以及提示信息(步骤S94)。在接收到的信息之中、将提示信息226输出到通知控制部220。其次生成对应于提示信息226的通知信息(步骤S84)。通知信息230的生成通过来自通知控制部220的访问将对应于提示信息226的通知信息从存储器222的提示DB读出并输出到视音频输出部224。
视音频输出部224，显示所供给的通知信息230(步骤S82)。
在使用了特性图像的图像通信中，通过对通信对象目的地例如不发送来自照相机的摄影图像即便仅仅发送特性图像也可通知提示信息226，由此通信对象目的地的用户就能够确认通信对象的存在，从而能够消除是否实际有通信对象的不安感并能够集中于通信。
接着作为适用了本发明的信息终端装置的图像通信系统10的通信终端装置中的其他实施例仅仅着眼于根据提示的通知显示来进行说明。在本实施例中通信终端装置12如图44所示那样使提示信息186输入给表情合成部26，并新设置有存储器232。存储器232保存模型合成数据库(DB)。模型合成DB是指将提示信息186与模型合成信息对应起来进行保存的数据库。模型合成信息意味着在特性图像的生成得以反映的信息。存储器232将对应于提示信息186所读出的模型合成信息234输出到表情合成部26。
在通信终端装置12中，通过其连接表情合成部26使用模型合成DB在使与所接收的提示信息同样地接收到的模型合成信息得以反映后生成特性图像。
这里，通过在视音频输出部38的未图示的显示部上至少具有液晶显示器等，还设置扬声器等的声音输出装置，就能够将对应于提示信息186的音频信号附加给特性图像并输出所附加的声音。
列举几个使提示信息反映在模型合成信息中的方法。例如，在提示信息186表示摄影状况的黑暗的情况下使图像全体发黑这样来表现，所选择的特性处于较暗的场所这样来表现。另外，在提示信息186表示与照相机分离开的摄影状况、即远离的情况下使特性较小地显示，特性处于较远的场所这样来表现。进而，作为模型合成信息既可以附加对应于某些提示信息的特性的背景变更、流泪、发汗或者向对白内的符串显示等持有特别表现效果的对象，也可以将效果音等声音附加到特性图像中。
简单地说明动作。如图45所示，通信终端装置12，在取得提示信息186后将提示信息186提供给表情合成部26。表情合成部26在存储器232上访问提示信息186取得对应的模型合成信息234(步骤S96)。
在表情合成部26中对依照选择所供给的基本的特性图像58使模型合成信息234得以反映这样生成图像。表情合成部26将所生成的特性图像输出到收发部34。在收发部34中面孔图像或所生成的特性图像被发送给通信终端装置14(步骤S72)。通信终端装置12在图44中未作为信号线被显露地表现出来，在视音频输出部38上显示面孔图像或所生成的特性图像(步骤S80)。在此显示后使一个图像通信的动作结束。
通过基于使提示信息得以反映后的模型合成信息生成特性图像，用户就能够在生成特性图像的同时对摄影状况进行确认，并能够大幅降低用户的负担。另外，显示伴随提示信息的通知的显示部就不再需要，用户目视的关注处就减少，从而能够更集中于通信。
接着作为适用了本发明的信息终端装置的图像通信系统10的通信终端装置中的其他实施例仅仅着眼于根据提示的通知显示来进行说明。在本实施例中使通信终端装置12的构成要素尽量简化，使服务器236具有特性图像生成功能。服务器236也可以设置于特性管理中心16。
在服务器236上如图46所示，对通信终端装置12中所用的构成要素附加相同的参照符号。服务器236包括收发部34、表情特征抽取部24、表情合成部26、提示信息生成部176以及存储器232。特别是，存储器232不仅保存模型合成DB还保存着特性图像以及背景。从而，存储器232将包含与用户的选择相应的特性图像和背景、以及对应于提示信息186的模型合成信息的数据234输出给表情合成部26。
表情合成部26，依照所供给的数据234生成特性图像。所生成的特性图像从服务器236的收发部34经由IP网络18分别提供给通信终端装置12和14。图46的通信终端装置12接收所供给的特性图像82，并输出到视音频输出部38。在视音频输出部38中例如显示通信对象和用户本人所选择的特性图像。
图47中示出图像通信系统10的通信终端装置12的动作。通信终端装置12，取得所拍摄的图像数据42(步骤S66)。判断是否发送图像数据42(步骤S68a)。在不发送的情况下(否)把图像数据42送往视音频输出部38，进入显示处理(至步骤S80)。在发送的情况下(是)将图像数据42从收发部34发送给服务器232(步骤S98)。通过该发送图像通信系统10进入管理处理(至子程序SUB)。
管理处理是服务器236中的处理。由此，生成特性图像，并发送给图46中未图示的通信对象的通信终端装置14。服务器236还接收来自通信终端装置14的图像数据生成特性图像。服务器236将所生成的特性图像之中至少从通信对象所供给的特性图像以及提示信息送出。服务器236还可以返回用户自身所选择的特性图像。
通信终端装置12接收从服务器236供给的特性图像以及提示信息(步骤S100)。通信终端装置12将接收到的特性图像提供给视音频输出部38，进行显示(步骤S80)。若这样经由服务器236进行通信则能够用经过简化后构成的通信终端装置容易地实现图像通信。
将管理处理作为子程序在图48中示出。服务器236接收在各通信终端装置所拍摄的图像数据42(步骤S94)。其次以接收到的图像数据42为基础在表情特征抽取部24抽取表示表情特征的特征数据48。特征数据48被分别供给表情合成部26以及提示信息生成部176。
提示信息186以图像数据42和特征数据48为基础在提示信息生成部176中得以生成(步骤S78)。所生成的提示信息186被供给表情合成部26。在表情合成部26中以所供给的提示信息186为基础对存储器232的模型合成DB进行访问以读出由用户所选择的特性图像和背景或符合条件的模型合成信息，由表情合成部26取得(步骤S96)。
在表情合成部26中以所供给的信息为基础生成作为合成图像的特性图像(步骤S76)。服务器236将合成图像以及提示信息186发送给通信对象的通信终端装置12和14(步骤S102)。向通信终端装置12的发送是为了由用户进行图像确认而发送，也可以不对自身进行发送。在该发送后，服务器236，将进行图像生成的管理处理结束并进入返回。通信终端装置分别接收如前述那样所供给的合成图像以及提示信息186进行显示。
此外，虽然在本实施例中姑且发送提示信息186，但从前述的记载可知不进行发送也行。
若这样使其进行动作，则使生成反映了提示信息的特性图像，面孔特征抽取或特性图像生成等负荷较高的处理在服务器236中进行执行，且即便没有通知显示部，通信终端装置12和14也可用通用的电视电话装置等代用，就能够更容易地实现带提示功能的图像通信系统。
接着作为适用了本发明的信息终端装置的图像通信系统10的通信终端装置中的其他实施例仅仅着眼于利用对象跟踪的合成显示来进行说明。在本实施例中，在图34～图36的构成中分别利用以下所示的构成。第1，通信终端装置12如图49所示，包含对象创建部238。对象创建部238具有创建对象的功能。对象的创建还可以是粘贴球·正方体等简单形状的组合，或者圆、四角等基本形状纹理图像的创建方法。对象创建部238，将所创建的对象数据240提供给对象保存部180进行保存。动作与保存好所创建的对象数据240并通过用户的操作选择读出对象来使用的图34的通信终端装置12相同。
通过这样设置对象创建部238就不仅能够创建预先决定的对象用户还能够自由地创建各种各样的对象。由此，就能够简单地增加可创建的合成图像的种类。
第2，通信终端装置12，如图50所示，包含先前的实施例中的表情识别部242以及特征数据合成部244。表情识别部242具有以所供给的面孔图像的图像数据42为基础进行分析，创建使表情进行符合识别结果的动作的特征数据246的功能。作为表情的识别方法，例如将眼、口等各自的状态参数化以判断是怎样的表情。在眼睛的情况下根据眼梢下垂而识别为微笑状态。另外，也可以在表情以外判断向下的状态以创建表情参数。特别是若判断为表情悲伤进行识别则表情识别部242将对应于此识别的特征数据246输出到特征数据合成部244。
特征数据合成部244具有合成从表情特征部24所供给的特征数据48和246的功能。特征数据合成部244，将所合成的特征数据248输出到跟踪处理部182。
跟踪处理部182访问对象保存部180以读出表示所识别的表情的对象，并以被供给的特征数据248为基础对所读出的对象实施跟踪处理。跟踪处理部182依照上述悲伤的识别读出眼泪作为对象，作为跟踪处理使眼泪显示在眼底。通过这样使其显示就能够有效地演出表情图像，并能够使表现多样化。
由此，就能够不仅根据面孔的位置还根据面孔的表情将对象变形，从而能够有效地进行表现。
第3，图51所示的通信终端装置12在图49的构成中包含声音识别部250以及特征数据合成部244。声音识别部250具有以从声音输入部22所供给的声音数据46为基础进行分析，创建使表情进行符合识别结果的动作的特征数据252的功能。特征数据252创建使不仅掺有声音还掺加音量后合适的对象进行动作的特征数据为好。另外，特征数据252还可以仅用音量来进行识别，创建特征数据。声音识别部250，将所识别的特征数据252输出到特征数据合成部244。
通信终端装置12中的跟踪处理部182访问对象保存部180读出表示所识别的表情的对象，并以被供给的特征数据248为基础对所读出的对象实施跟踪处理。跟踪处理部182例如在发出「哎？」的声音时在头的周围将字符「？」标记作为对象进行读出，或者分析输入声音的语言将所发音的语言作为对象生成对白图像后将对象图像198输出到表情合成部26。由此，表情合成部26将所生成的特性图像与对象图像198进行合成并显示。据此还能够使表现多样化，通过使对象进行动作就能够赋予图像辅助的效果。
第4，图52所示的通信终端装置12，在图49的构成中包含事件识别部254以及特征数据合成部244。事件识别部254具有创建对应于来自用户的输入信息256的特征数据258进行输出的功能。事件识别部254，将所识别的特征数据258输出到特征数据合成部244。
操作部28具有作为事件输入部的功能，例如通过按下键盘的特定按键来提供反映了用户意图的信息。
通信终端装置12中的跟踪处理部182以所供给的特征数据248为基础访问对象保存部180读出表示所识别的表情的对象。在特征数据248中例如包含对应于输入信息256的特征数据258。跟踪处理部182将对应于特征数据248进行了跟踪处理的对象图像198输出到表情合成部26。由此，表情合成部26合成所生成的特性图像和对象图像198并输出带表情的图像数据60。据此，就能够使其成为进行用户所打算的动作的对象。
例如，通过按下键盘的特定按键使心形标记的对象显示在眼睛上等，就能够输出在通常的图像上无法表现的夸大表现的图像，并能够使图像具有用户所打算的表现。
通过如以上那样进行构成，图像通信系统10中的通信终端装置12将图像数据42和声音数据46分别提供给驱动器23和输出选择部56，在驱动器23内的表情合成部26结合特征数据48生成作为特性合成图像的特性数据54，将此特性数据54和声音数据55在形式变换部27分别变换为规定的通信形式的图像数据60和声音数据62并提供给输出选择部56，在输出选择部56从多个种类的图像数据60和42以及声音数据62和46之中选择一组将要输出的图像数据72和声音数据74进行输出，就能够一边极力遏止成本上升一边容易地提供在娱乐性上优良的图像通信而不用对作为平台的利用形态的构成进行大幅变更。通过此提供就能够有助于此图像通信的普及。另外，还能够使对于用户的使用更为方便。
通信终端装置12在编码部32对所生成的特性合成图像72进行编码，在解码部36对从通信对象的通信终端装置14所供给的图像数据和声音数据82进行解码，由此就能够抑制数据通信量并遏止线路的占有。
特性管理部30不仅管理作为基本图像的特性数据还对背景数据进行管理，具有从对这些将管理的特性数据和背景数据进行集中管理的特性管理中心16的取得功能以及从对记录媒体中所记录的特性数据和背景数据进行读取的数据输入部108的取得之中至少一方的取得功能，特别是，如图5所示那样通过后者的取得就不需要特性管理中心16在对系统进行构筑方面就能够进行简化。
通信终端装置12通过如图6所示的文本输入部112取入文本数据就能够如数字那样，置为依照预先决定的特殊文本数据输出特殊的表情数据的设定，以特殊的表情数据为基础生成带表情的特性图像进行输出。
也可以使文本输入部112持有将文本数据变换成声音数据的功能。
通信终端装置12对持有在图7所示的基本表情生成部118中预先固定的设为基本的表情的基本特征数据122进行设定，依照从操作部28所供给的用户的选择数据120输出基本特征数据122，表情合成部26合成特征数据48和基本特征数据122以生成带表情的特性合成图像，从而能够使特性的表现能力提高，并能够使娱乐性变得更高。
通信终端装置12在图26所示的提示信息生成部176以特征数据48为基础生成表示用户的摄影状况处于何种状况的提示信息186，表情合成部26将所生成的特性合成图像和所供给的提示信息186均输出到通信对象目的地，若使通知信息188进行显示，则对用户通知摄影状况，在利用之际用户自身就能够容易地确认摄影状况，就能够降低用户的负担。
表情合成部26通过使所供给的提示信息186反映在图44所示的将生成的特性合成图像中来生成合成图像，用户就能够在生成特性图像的同时对摄影状况进行确认，并能够大幅降低用户的负担。另外，显示伴随提示信息的通知的显示部就不再需要，用户目视的关注处就减少，从而能够更集中于通信。
通信终端装置12在通知控制部178将提示信息186变换成通知信息188，视音频输出部38接受通知信息188并输出，就能够提供对用户而言使用方便性较好的终端。
提示信息生成部176在提供图38所示的指导的基础上，对特征数据48的抽取成功率进行判定，同时将图像明暗判定部206、面孔距离判定部208、开闭判定部210以及面孔角度判定部212各自中的至少一个与抽取数据判定部206进行统合，在综合判定部214生成提示信息186，进而，通信终端装置12在图37所示的存储器200中将提示信息186与通知信息188对应起来进行管理，通知控制部178访问存储器200取得对应于提示信息186的通知信息188进行变换，并输出给视音频输出部38，用户自身就能够详细了解摄影状况，并能够使用户的负担大幅降低。另外，由于在不恰当的摄影状况的情况下不是仅仅通知其原因即便在恰当地进行摄影的情况下也能够把握摄影状况所以方便性非常高。
通知控制部将图41所示的提示信息186输出到收发部34，将提示信息提供给通信对象的通信终端装置14。通信终端装置14至少包括收发部34、通知控制部178以及视音频输出部38，由此通过对通信对象目的地例如不发送来自照相机的摄影图像即便仅仅发送特性图像也可通知提示信息226，从而通信对象目的地的用户就能够确认通信对象的存在，并能够消除是否实际有通信对象的不安感而能够集中于通信。
连接着通信终端装置12的图像通信系统10具有图46所示的服务器236，服务器236包括收发部34、表情特征抽取部24、表情合成部26以及提示信息生成部176。服务器236以特性数据、特征数据以及提示信息为基础在表情合成部26生成特性合成图像，并至少输出到通信对象的通信终端装置14，由此使生成反映了提示信息的特性图像，面孔特征抽取或特性图像生成等负荷较高的处理在服务器236中进行执行，且即便没有通知显示部，通信终端装置12和14也可用通用的电视电话装置等代用，就能够更容易地实现带提示功能的图像通信系统。
通信终端装置12在图26所示的对象保存部238中将除去特性数据的、作为附随对象的对象保存为数据，在跟踪处理部182依照特征数据48对所读出的对象实施跟踪处理，将所得到的对象数据输出给表情合成部26，表情合成部26以所供给的对象数据和特性数据58为基础生成特性合成图像，由此就能够提供伴随对象附加的娱乐性较高的图像通信系统10。
在通信终端装置12中，表情特征抽取部24以正面的面孔图像为基准，从所输入的面孔图像中的各部位的位置对面孔的朝向和移动量进行分析，由此就能够使对象对特性图像的变化进行跟踪。
通信终端装置12在图50所示的表情识别部242中从图像数据识别面孔图像持有的表情，生成表情特征数据246，在特征数据合成部244中合成表情特征数据246和特征数据48，将合成特征数据248输出到跟踪处理部182，在跟踪处理部182以合成特征数据248为基础生成对象数据198，由此就能够有效地演出表情图像，并能够使表现多样化。
通信终端装置12在图51所示的声音识别部250以声音数据46为基础对声音进行识别，生成声音特征数据252，在特征数据合成部244合成声音特征数据252和特征数据48，并输出合成特征数据248，在跟踪处理部182以合成特征数据248为基础生成对象数据198，由此就能够使表现多样化，通过使对象进行动作就能够赋予图像辅助效果。
通信终端装置12在图52所示的操作部28通过用户的操作输入规定的事件，在事件识别部254识别规定的事件，生成事件特征数据258。在特征数据合成部244对事件特征数据258和特征数据48进行合成，并输出合成特征数据248，在跟踪处理部182以合成特征数据248为基础生成对象数据198，由此例如通过按下键盘的特定按键来提供反映了用户意图的信息。
通信终端装置从图8所示的特性管理部30的位置信息管理部128将针对请求的判断信息作为终端信息进行提供，在内容控制部126将所供给的至少特性数据和背景数据作为内容信息，依照请求内容信息的分发的取得请求以及请求内容信息的使用的输出请求对内容信息的取得和输出进行管理，特性管理中心16被连接到图像通信系统10中的通信线路，在图4所示的存储器102中至少保存将许可内容信息的分发的许可分发信息与内容信息一体地进行处理的内容数据，在内容管理服务器100中对此内容数据和至少、从通信终端装置12所供给的内容数据的取得请求以及内容数据的输出请求之中一方的请求，管理分发或输出的控制，通信终端装置12依照所供给的请求将终端信息输出到内容管理服务器100，内容管理服务器100判断所供给的终端信息是否满足许可分发信息中包含的条件，依照满足条件的判断对通信终端装置12许可针对内容数据的请求，由此就能够容易地进行管理，还能够解决例如不同国·地域中的著作权的有无问题等。
这里，最好是许可分发信息至少是将许可的位置信息和使用期限信息中的某一个，终端信息至少是通信终端装置12的位置信息以及通信终端装置12发出请求的时刻信息中的某一个。
在通信终端装置12中，信息提供装置至少包括图8或图15的对通信终端装置12自身的位置进行检测的位置信息管理部128以及图20的对时刻进行测定的时刻信息管理部174中的某一个，由此就能够有助于信息提供的管理。
在图像通信系统10中，存储器152还与图4所示的伴随位置信息的时间经过的位置的历史信息对应起来进行保存，内容管理服务器100在针对请求的判断中还利用位置的历史信息，对请求进行控制，由此迄今为止对许可证信息、事件信息以及内容数据分别进行分割来处理，必须复杂地进行管理，但现在就能够仅仅用内容和通信终端装置12的标记集信息来进行管理，从而能够使标记集等事件时的许可证管理变得比以往还要容易。
在图像通信系统10中，通信终端装置12在内容数据中作为终端信息包含分别对应于通信终端装置12和14的固有信息和唯一地确定用户的用户信息，并发送给特性管理中心16，特性管理中心16对所供给的终端信息与存储器106及152中所保存的许可信息进行比较，对根据这些信息的一致性而判断为许可的通信终端装置提供满足请求的信息，在接受此信息提供的通信终端装置中依照此信息来利用内容数据，由此就能够使个人的许可证管理变得比以往还要容易。
在图像通信系统10中，通信终端装置12具备存储器152以及具有内容服务器装置的管理功能的许可证管理部158，通过在内容数据中嵌入终端信息来管理请求就能够使系统的构筑简化，并能够在构筑上削减成本。
在图像通信系统10中，特性管理中心16在图23所示的收费服务器166依照伴随内容数据的利用的收费方式(收费形态)从上述用户收取使用费，分别在通信终端装置12和14中根据许可分发信息和终端信息的判断来限制内容数据的使用，收费服务器166提示解除使用限制的条件，在确认用户支付相当的使用费的基础上，许可内容数据的利用，由此就能够容易地进行更新·延长，例如在进行了内容试用等以后，能够作为商用版正式提供给用户，对于用户就能够在想使用内容时，提供按想使用的部分相应的收费。另外，通过使用费有效地收回内容的创建经费就成为可能。
希望收费服务器166，作为收费方式利用从分阶段设定的位置信息而得到的距离信息以及使用期间信息来进行收费。
权利要求
1.一种信息终端装置，其特征在于在利用把图像作为通信信息来处理的信息终端装置进行通信的图像传送系统中，该装置包括声音输入装置，取入音频信号并变成声音数据进行输出；图像输入装置，将被摄体作为视频信号进行取入并变成图像数据进行输出；接口装置，将该图像数据和上述声音数据分别变换成规定的通信格式；选择装置，在与通信对象进行通信的多个图像数据和声音数据之中，选择所希望的图像数据和声音数据；收发装置，与上述通信对象的信息终端装置进行数据收发；以及输出装置，输出来自上述通信对象的信息终端装置的图像数据和声音数据，其中，上述接口装置包括特征抽取装置，从上述声音数据和上述图像数据中至少一方抽取表示表情的特征数据；表情合成装置，基于该特征数据使作为用户所选择的基本图像的特性数据进行变形，以生成特性合成图像；图像管理装置，对供给该表情合成装置的上述特性数据进行管理；以及形式变换装置，将上述图像数据和声音数据分别变换成规定的通信格式，该装置至少还用于进行通信的上述信息终端装置之一。
2.按照权利要求1所述的信息终端装置，其特征在于该装置包括编码装置，对上述所生成的特性合成图像进行编码；解码装置，对从上述通信对象的信息终端装置所供给的图像数据和声音数据进行解码。
3.按照权利要求1或2所述的信息终端装置，其特征在于上述图像管理装置不仅对上述特性数据还对背景数据进行管理，具有从对这些将管理的上述特性数据和上述背景数据进行集中管理的集中管理装置的取得功能以及从对记录媒体中所记录的上述特性数据和上述背景数据进行读取的装置的取得之中、至少一方的取得功能。
4.按照权利要求1、2或3所述的信息终端装置，其特征在于该装置包括取入文本数据的文本输入装置。
5.按照权利要求4所述的信息终端装置，其特征在于上述文本输入装置具有将上述文本数据变换成声音数据的功能。
6.按照权利要求1至4中任意一项所述的信息终端装置，其特征在于该装置包括特征输出装置，对持有预先所固定的设为基本的表情的基本特征数据进行设定，并依照上述用户的选择输出该基本特征数据，上述表情合成装置，合成上述特征数据和上述基本特征数据以生成带表情的特性合成图像。
7.按照权利要求1至6中任意一项所述的信息终端装置，其特征在于该装置包括提示信息生成装置，以上述特征数据为基础来生成表示上述用户的摄影状况处于何种状况的建议信息。
8.按照权利要求7所述的信息终端装置，其特征在于上述表情合成装置输出上述所生成的特性合成图像和所供给的上述建议信息。
9.按照权利要求1至7中任意一项所述的信息终端装置，其特征在于上述表情合成装置使所供给的建议信息反映于上述生成的特性合成图像。
10.按照权利要求1至7中任意一项所述的信息终端装置，其特征在于该装置包括将上述建议信息变换成通知信息的通知变换装置，其中，上述输出装置接受并输出上述通知信息。
11.按照权利要求10所述的信息终端装置，其特征在于上述提示信息生成装置，在提供上述建议的基础上，对上述特征数据的抽取成功率进行判定，同时还包括从上述图像数据对图像的明暗进行检测的第1功能块，从上述特征数据对面孔与照相机的距离进行检测的第2功能块，对眨眼和口的开闭进行检测的第3功能块和对视线进行检测的第4功能块，以及对上述判定和各个功能块之中的至少一个进行统合，生成上述建议信息的综合判定装置，进而，该装置包括将上述建议信息和上述通知信息对应起来进行管理的存储装置，上述通知变换装置对上述存储装置进行访问，以取得对应于上述建议信息的上述通知信息后进行变换，并输出到上述输出装置。
12.按照权利要求10或11所述的信息终端装置，其特征在于上述通知变换装置将上述建议信息输出到上述收发装置，并将上述建议信息提供给通信对象的信息终端装置，上述通信对象的信息终端装置至少包括上述收发装置、上述通知变换装置以及上述输出装置。
13.一种图像传送系统中具有的服务器装置，其特征在于该系统连接有权利要求1至6中任意一项所述的信息终端装置，该服务器装置包括上述收发装置、上述特征抽取装置、上述表情合成装置以及以上述特征数据为基础来生成表示上述用户的摄影状况处于何种状况的建议信息的提示信息生成装置，该服务器装置，以上述特性数据、上述特征数据以及上述建议信息为基础在上述表情合成装置生成上述特性合成图像，并至少输出到上述通信对象的信息终端装置。
14.按照权利要求1至6中任意一项所述的信息终端装置，其特征在于该装置包括将除去上述特性数据的、作为附随对象的对象保存为数据的对象保存装置；以及跟踪处理装置，依照上述特征数据对上述对象实施跟踪处理并输出所得到的对象数据，其中，上述表情合成装置以所供给的对象数据和上述特性数据为基础来生成上述特性合成图像。
15.按照权利要求14所述的信息终端装置，其特征在于上述特征抽取装置将正面的面孔图像设为基准，从所输入的面孔图像中的各部位的位置对面孔的朝向和移动量进行分析。
16.按照权利要求14或15所述的信息终端装置，其特征在于该装置包括表情识别装置，识别持有上述图像数据所表示的面孔图像的表情，并生成表情特征数据；以及特征合成装置，合成该表情特征数据和上述特征数据，并输出合成特征数据，其中，上述跟踪处理装置以上述合成特征数据为基础来生成上述对象数据。
17.按照权利要求14或15所述的信息终端装置，其特征在于该装置包括声音识别装置，以上述声音数据为基础来识别声音，并生成声音特征数据；以及特征合成装置，合成该声音特征数据和上述特征数据，并输出合成特征数据，其中，上述跟踪处理装置以上述合成特征数据为基础来生成上述对象数据。
18.按照权利要求14或15所述的信息终端装置，其特征在于该装置包括操作装置，通过上述用户的操作输入规定的事件；事件识别装置，识别该规定的事件，生成事件特征数据；以及特征合成装置，合成该事件特征数据和上述特征数据，并输出合成特征数据，其中，上述跟踪处理装置，以上述合成特征数据为基础来生成上述对象数据。
19.一种图像传送系统，其特征在于在权利要求1至18中任意一项所述的信息终端装置中，该信息终端装置包括请求管理装置，将所供给的至少上述特性数据和上述背景数据设为内容信息，依照请求该内容信息的分发的取得请求和请求该内容信息的使用的输出请求对上述内容信息的取得和输出进行管理；以及信息提供装置，将针对请求的判断信息作为终端信息提供给该请求管理装置，上述集中管理装置被连接到上述图像传送系统中的通信线路，包括内容存储装置，至少保存将许可上述内容信息的分发的许可信息和上述内容信息一体地进行处理的内容数据；内容服务器装置，对该内容数据和至少从上述信息终端装置所供给的内容数据的取得请求以及内容数据的输出请求之中、一方的请求管理分发或输出的控制，上述信息终端装置依照所供给的请求将上述终端信息输出到上述内容服务器装置，该内容服务器装置对所供给的终端信息是否满足包含于上述许可信息中的条件进行判断，并依照满足上述条件的判断对上述信息终端装置许可针对上述内容数据的请求。
20.按照权利要求19所述的图像传送系统，其特征在于上述许可信息至少为许可的位置信息以及使用期限信息中的某一个，上述终端信息至少为上述信息终端装置的位置信息以及该信息终端装置发出请求的时刻信息中的某一个。
21.按照权利要求19或20所述的信息终端装置，其特征在于上述信息提供装置至少包括对该装置自身的位置进行检测的装置以及对时刻进行测定的装置中的某一个。
22.按照权利要求19或20所述的图像传送系统，其特征在于上述内容存储装置还将上述位置信息与伴随时间经过的位置的历史信息对应起来进行保存，上述内容服务器装置在针对上述请求的判断上还利用上述位置的历史信息，并对上述请求进行控制。
23.按照权利要求19、20或22所述的图像传送系统，其特征在于上述信息终端装置将对应于上述信息终端装置各自的固有信息以及唯一地确定上述用户地用户信息作为上述终端信息包含在上述内容数据中，发送给上述集中管理装置，该集中管理装置将所供给的终端信息与上述内容存储装置中所保存的许可信息进行比较，并对根据这些信息的一致性而判断为许可的信息终端装置提供满足请求的信息，在接受该信息的提供的信息终端装置中依照该信息来利用上述内容数据。
24.一种信息终端装置，其特征在于在权利要求19、20或22所述的图像传送系统中，上述信息终端装置具备上述内容存储装置以及上述内容服务器装置的管理功能，在上述内容数据中嵌入上述终端信息来管理上述请求。
25.一种收费系统，其特征在于在权利要求19、20或22所述的系统中，上述集中管理装置包括收费装置，依照伴随上述内容数据的利用的收费方式从上述用户收取使用费，在上述信息终端装置中通过上述许可信息和上述终端信息的判断来限制上述内容数据的使用，上述收费装置提示解除上述使用限制的条件，在确认上述用户支付相当的使用费的基础上，许可上述内容数据的利用。
26.按照权利要求25所述的收费系统，其特征在于上述收费装置，作为收费方式利用从分阶段设定的上述位置信息而得到的距离信息和上述使用期间信息来进行收费。
全文摘要
本发明提供一种使用方便性好并能带来更广泛利用的信息终端装置。为此，图像通信系统(10)中的通信终端装置(12)将图像数据和声音数据(42、46)分别提供给驱动器和输出选择部(23、56)，在驱动器内的表情合成部(26)结合特征数据(48)生成作为特性合成图像的特性数据(54)，将此特性数据和声音数据(55)在形式变换部(27)分别变换为规定通信形式的图像数据和声音数据(60、62)并提供给输出选择部，在输出选择部从多个种类的图像数据(60、42)以及声音数据(62、46)之中选择一组将输出的图像数据和声音数据(72、74)进行输出。
文档编号G06T13/00GK1798324SQ200510059280
公开日2006年7月5日 申请日期2005年3月25日 优先权日2004年12月28日
发明者度边孝弘, 岩下博一, 佐藤范之, 增田诚, 奥富幸大, 长尾景洋 申请人:冲电气工业株式会社