图像处理装置、图像通信系统以及图像处理方法与流程

本发明涉及图像处理装置、图像通信系统以及图像处理方法。

背景技术：

近年来，提出经由网络在不同地点实现实时的交流的系统。例如，正在研究一种交流装置，其用于通过使由拍摄部拍摄到的图像显示于对象方的显示装置从而实现实时交流(例如专利文献1)。在专利文献1的交流装置中，通过在交流目的地的显示器以实物大小显示用户，从而实现更真实的交流。

现有技术文献

专利文献

专利文献1：日本特开2008-263500号公报

然而，在专利文献1的交流装置中，用户以实物大小的尺寸保持原样显示于对象。因此，用户需要与直接回见对象的情况同样调整服装、化妆等装束，用户不易在装束未准备好的状态下与对象实现交流。

技术实现要素：

本发明是鉴于上述课题而完成的，其目的在于提供能够局部变更并显示用户的实物影像的图像处理装置、图像通信系统以及图像处理方法。

本发明所涉及的图像处理装置具备第一存储部、第二存储部以及合成部。上述第一存储部存储表示用户的第一图像的第一图像数据。上述第二存储部存储表示上述用户的实物影像的实物影像数据。上述合成部基于上述第一图像数据和上述实物影像数据，生成第二图像数据，上述第二图像数据表示将上述第一图像和上述实物影像合成的上述用户的第二图像。

本发明所涉及的图像通信系统具备：第一图像处理装置、和经由网络与上述第一图像处理装置连接的第二图像处理装置。上述第一图像处理装置以及上述第二图像处理装置的至少一方具备第一存储部、第二存储部以及合成部。上述第一存储部存储表示用户的第一图像的第一图像数据。上述第二存储部存储表示上述用户的实物影像的实物影像数据。上述合成部基于上述第一图像数据和上述实物影像数据，生成第二图像数据，上述第二图像数据表示将上述第一图像和上述实物影像合成的上述用户的第二图像。

本发明所涉及的图像处理方法包括：存储表示用户的第一图像的第一图像数据的步骤；存储表示上述用户的实物影像的实物影像数据的步骤；以及基于上述第一图像数据和上述实物影像数据生成第二图像数据的步骤，其中，上述第二图像数据表示将上述第一图像和上述实物影像合成的上述用户的第二图像。

根据本发明，能够局部变更并显示用户的实物影像。

附图说明

图1是具备本实施方式的图像处理装置的图像通信系统的示意图。

图2是具备本实施方式的图像处理装置的图像通信系统的示意图。

图3是本实施方式的图像处理装置的示意图。

图4是具备本实施方式的图像处理装置的图像通信系统的示意图。

图5是本实施方式的图像处理装置的示意图。

图6是具备本实施方式的图像处理装置的图像通信系统的示意图。

图7是本实施方式的图像处理装置的示意图。

图8是具备本实施方式的图像处理装置的图像通信系统的示意图。

图9是本实施方式的图像处理装置的示意图。

图10是具备本实施方式的图像处理装置的图像通信系统的示意图。

图11是本实施方式的图像处理装置的示意图。

图12的(a)是表示本实施方式的图像处理装置的合成可否表的图，(b)是表示本实施方式的图像处理装置的合成部位表的图。

图13是具备本实施方式的图像处理装置的图像通信系统的示意图。

图14是本实施方式的图像处理装置的示意图。

图15是具备本实施方式的图像处理装置的图像通信系统的示意图。

图16是具备本实施方式的图像处理装置的图像通信系统的示意图。

图17是具备本实施方式的图像处理装置的图像通信系统的示意图。

图18是本实施方式的图像处理装置的示意图。

图19是表示本实施方式的图像处理装置的认证表的图。

图20的(a)是表示本实施方式的图像处理装置的认证表的图，(b)是表示本实施方式的图像通信系统的允许装置表的图。

图21的(a)是表示本实施方式的图像处理装置的合成部位表的图，(b)是表示本实施方式的图像处理装置的允许图像表的图。

具体实施方式

以下，参照附图对本发明的图像处理装置以及图像通信系统的实施方式进行说明。此外，图中，对相同或者相当部分标注相同的附图标记而不重复说明。

首先，参照图1对具备本实施方式的图像处理装置100的图像通信系统200进行说明。图1是图像通信系统200的示意图。图像通信系统200具备经由网络n而连接的多个图像处理装置100。多个图像处理装置100能够经由网络n而彼此实时地通信图像数据。

图像处理装置100包括处理器。在一个例子中，处理器包括中央处理单元(centralprocessingunit：cpu)。处理器也可以包括特定用途集成电路(applicationspecificintegratedcircuit：asic)。另外，图像处理装置100也可以作为个人计算机(personalcomputer：pc)或者智能手机的一部分而安装。或者，图像处理装置100也可以是服务器。

此处，图像通信系统200作为图像处理装置100而具备三个图像处理装置100a、100b、100c。图像处理装置100a、100b、100c经由网络n而连接。典型而言，图像处理装置100a、100b、100c彼此分离地存在，图像处理装置100a、100b、100c作为网络n经由因特网或者wan而连接。或者，图像处理装置100a、100b、100c位于相同的建筑物或者相同的房间内，作为网络n经由lan而连接。图像处理装置100a、100b、100c也可以具有相同的结构。

图像处理装置100a是与用户a对应的图像处理装置。图像处理装置100a位于用户a附近的位置。在图像处理装置100a连接有显示装置da。图像处理装置100a控制显示装置da。例如，显示装置da包括液晶显示装置。或者，显示装置da也可以包括有机el显示装置。

此外，图像处理装置100a以及显示装置da也可以一体化。例如，图像处理装置100a以及显示装置da作为智能手机的一部分而安装。或者，图像处理装置100a以及显示装置da作为pc的一部分而安装。

同样，图像处理装置100b是与用户b对应的图像处理装置。此处，省略示出用户b。图像处理装置100b位于用户b附近的位置。在图像处理装置100b连接有显示装置db。图像处理装置100b控制显示装置db。

而且同样，图像处理装置100c是与用户c对应的图像处理装置。此处，省略示出用户c。图像处理装置100c位于用户c附近的位置。在图像处理装置100c连接有显示装置dc。图像处理装置100c控制显示装置dc。

图像通信系统200用于用户a、b、c参加的会议或者游戏。显示装置da在显示画面的中央显示主画面，并且在显示画面的左下方显示用户a。另外，显示装置da在显示画面的左上方显示用户b，在显示画面的右上方显示用户c。

同样，显示装置db在显示画面的中央显示主画面，并且在显示画面的左下方显示用户b。另外，显示装置db在显示画面的左上方显示用户a，在显示画面的右上方显示用户c。

而且同样，显示装置dc在显示画面的中央显示主画面，并且在显示画面的左下方显示用户c。另外，显示装置dc在显示画面的左上方显示用户a，在显示画面的右上方显示用户b。此外，针对图1的显示装置da～dc的用户a～c的显示位置，图1所示的示例毕竟只是一个例子，不限定于此。

此外，在图像处理装置100a连接有拍摄装置ca。拍摄装置ca拍摄用户a并生成实物影像数据。拍摄装置ca包括相机。拍摄装置ca也可以是数码相机，也可以是摄像机。实物影像数据包括图像数据。另外，实物影像数据也可以不仅包括图像数据还包括声音数据。图像处理装置100a以及拍摄装置ca也可以一体化。例如，图像处理装置100a以及拍摄装置ca也可以作为智能手机的一部分而安装。

与图像处理装置100a连接的显示装置da能够基于用户a的实物影像数据显示用户a的实物影像。另外，图像处理装置100a将由拍摄装置ca生成的用户a的实物影像数据向图像处理装置100b以及图像处理装置100c发送。图像处理装置100b以及图像处理装置100c能够分别基于用户a的实物影像数据来显示用户a的实物影像。

此外，在图1的图像通信系统200中，处于拍摄装置ca前的用户a没有上妆睫毛、腮红以及口红，相对于此，由显示装置da、db、dc显示的用户a上妆睫毛、腮红以及口红。在本实施方式的图像通信系统200中，能够局部变更并显示用户a的实物影像。这样的图像通信系统200可适当地用于远离的用户参加的会议或者游戏。特别是，用户不进行换衣服或者化妆等打扮也能够参加用户彼此的聚会。例如，图像通信系统200可适当地用于远距离办公。

接下来，参照图2对具备图像处理装置100a以及图像处理装置100b的图像通信系统200进行说明。图2是具备图像处理装置100a以及图像处理装置100b的图像通信系统200的示意图。此外，图像处理装置100c与图像处理装置100b相同地进行动作，因此在图2中，省略示出图像处理装置100c。

图像处理装置100a具备第一存储部110、第二存储部120以及合成部130。在图像处理装置100a连接有拍摄装置ca。拍摄装置ca对用户a的实物影像进行拍摄。此外，在拍摄装置ca也能够对声音进行录音的情况下，拍摄装置ca拍摄用户a的实物影像，并且对用户a的声音进行录音。

第一存储部110存储表示用户a的第一图像g1的第一图像数据。第一图像是与用户a相关的图像。第一图像g1也可以是过去拍摄了用户a的图像。或者，第一图像g1也可以是描绘了用户a的插图或者表示用户a的化身。

第一图像g1也可以是表示用户a的一部分或者用户a的背景的一部分的图像。例如，第一图像g1包括用户a的头发、眉毛、额头、眼睛、睫毛、鼻、嘴、脸颊、下巴、轮廓、服装、帽子以及眼镜的任一个图像。另外，第一图像g1也可以包括用户a的背景的图像。或者，第一图像g1也可以是用户a的头发、眉毛、额头、眼睛、睫毛、鼻、嘴、脸颊、下巴、轮廓、服装、帽子、眼镜以及背景中的两个以上的部位的图像。

第一图像数据也可以由拍摄装置ca拍摄。但是，典型而言，第一图像数据是过去由拍摄装置ca拍摄到的数据。或者，第一图像数据也可以是由除拍摄装置ca以外的拍摄装置拍摄到的数据。

第二存储部120存储表示用户a的实物影像g2的实物影像数据。拍摄装置ca拍摄用户a的实物影像，并生成实物影像数据。实物影像数据也可以不仅表示用户a的实物影像还表示声音。图像处理装置100a从拍摄装置ca接收实物影像数据，第二存储部120存储用户a的实物影像数据。

合成部130基于用户a的第一图像数据和用户a的实物影像数据，生成第二图像数据，上述第二图像数据表示将第一图像g1和实物影像g2合成的用户a的第二图像s。例如，合成部130以示出将实物影像g2的眼睛(睫毛)、脸颊以及嘴替换为示出眼睛(睫毛)、脸颊以及嘴的第一图像g1而成的第二图像s的方式根据用户a的第一图像数据以及实物影像数据生成第二图像数据。

也可以是，在合成部130生成第二图像数据时，相对于实物影像g2替换的用户a的第一图像g1预先由用户a决定。或者，合成部130也可以决定将第一图像数据与实物影像数据进行比较并替换的部位。例如，合成部130也可以将第一图像数据与实物影像数据进行比较，仅将实物影像g2中的与第一图像g1大幅不同的部位替换为第一图像g1。

此外，合成部130也可以保持原样利用存储于第一存储部110的第一图像数据将第一图像g1和实物影像g2合成而生成第二图像数据。或者，也可以是，合成部130以使第一图像g1与用户a的实物影像g2整合的方式对存储于第一存储部110的第一图像数据进行了加工后，利用加工数据而生成第二图像数据。例如，也可以是，即便第一图像g1是静止图像、实物影像g2是动画，合成部130也以对静止图像的第一图像数据进行加工而生成表示与第一图像g1对应的动画图像的图像数据后将动画图像和实物影像g2合成的方式生成第二图像数据。另外，在用户a的实物影像g2为动画的情况下，合成部130优选以将实物影像g2的一部分替换为第一图像g1而使第一图像g1与实物影像g2匹配地运动的方式生成第二图像数据。

并且，也可以是，合成部130在对替换用户a的实物影像g2的第一图像进行选择或者加工的情况下，以与用户a的实物影像的表情对应的方式选择或者加工第一图像。例如，也可以是，在拍摄装置ca前的用户a笑的情况下，合成部130选择用户a笑的第一图像g1并将用户a的实物影像g2的一部分替换为第一图像g1的部位。

或者，也可以是，合成部130以与由用户预先决定的用户的表情对应的方式选择或者加工第一图像g1。例如，也可以是，在拍摄装置ca前的用户a哭泣、或者生气的情况下，合成部130选择用户a笑的第一图像g1并将用户a的实物影像g2的一部分替换为笑的第一图像g1的部位。在这种情况下，合成部130优选利用面部认证对用户a的感情进行分析。

此处，合成部130基于用户a的第一图像数据和用户a的实物影像数据而生成用户a的第二图像数据。其后，图像处理装置100a经由网络n将用户a的第二图像数据向图像处理装置100b发送。

图像处理装置100b接收用户a的第二图像数据，存储用户a的第二图像数据。其后，图像处理装置100b使第二图像数据所示的用户a的第二图像s显示于显示装置db。此外，在合成部130相对于用户a的实物影像g2均不替换第一图像g1的任何部位的情况下，显示装置db保持原样显示由拍摄装置ca拍摄到的用户a的拍摄结果。

以下，参照图1～图3对本实施方式的图像处理装置100a进行说明。图3是本实施方式的图像处理装置100a的示意图。

图像处理装置100a除了第一存储部110、第二存储部120以及合成部130之外，还具备攝影装置接口141、显示装置接口142、通信接口143、系统设定保存存储器144、显示影像处理部151、对象侧图像存储器152以及显示装置用工作存储器153。如上述那样，第一存储部110存储用户a的第一图像数据，第二存储部120存储用户a的实物影像数据。

合成部130具有处理部132、工作存储器134以及保存存储器136。在合成部130将用户a的第一图像和实物影像合成时，工作存储器134存储用户a的第一图像数据以及实物影像数据。处理部132以将用户a的第一图像和实物影像合成的方式对第一图像数据以及实物影像数据进行处理而生成第二图像数据。第二图像数据存储于保存存储器136。存储于保存存储器136的第二图像数据经由网络n向图像处理装置100b发送。

攝影装置接口141与拍摄装置ca连接并从拍摄装置ca接收实物影像数据。显示装置接口142与显示装置da连接并在与显示装置da之间收发数据。

通信接口143经由网络n而在与图像处理装置100b以及/或者图像处理装置100c之间收发数据。通信接口143具有向图像处理装置100b以及图像处理装置100c发送数据的发送功能。另外，通信接口143具有对来自图像处理装置100b以及图像处理装置100c的数据进行接收的接收功能。通信接口143是“通信部”的一个例子。

系统设定保存存储器144存储图像通信系统200的设定所需要的信息。此外，典型而言，优选第一存储部110、第二存储部120以及系统设定保存存储器144包括非易失性存储器。

显示影像处理部151对用于由显示装置da显示的图像的图像数据进行处理。对象侧图像存储器152对在从外部接收到图像数据的情况下接收到的图像数据进行存储。显示装置用工作存储器153对向显示装置da发送的数据进行存储。例如，显示装置用工作存储器153对存储于保存存储器136的用户a的图像数据进行存储，并且对存储于对象侧图像存储器152的用户b的图像数据以及用户c的图像数据进行存储。显示影像处理部151使用显示装置用工作存储器153对用户a、b、c的图像数据进行处理。处理后的图像由显示装置da显示。因此，显示装置da能够显示用户a的图像、用户b的图像以及用户c的图像。

此外，在参照图1～图3而上述的说明中，在以合成用户的第一图像以及实物影像的方式生成第二图像数据后，经由网络n而发送了第二图像数据，但本实施方式不限定于此。也可以是，基于经由网络n而接收到的用户的第一图像数据和实物影像数据，生成将用户的第一图像和实物影像合成的第二图像数据。

以下，参照图4对具备本实施方式的图像处理装置100a以及图像处理装置100b的图像通信系统200进行说明。图4是具备图像处理装置100a以及图像处理装置100b的图像通信系统200的示意图。在图4的图像通信系统200中，除去用户a的第一图像以及实物影像的合成由图像处理装置100b进行这点以外，其他与参照图2而上述的图像通信系统200相同，为了避免冗长而省略重复的说明。此外，如上述那样，图像处理装置100a以及图像处理装置100b也可以具有相同的结构，但此处，着眼于图像处理装置100a以及图像处理装置100b中的与用户a的第二图像的生成相关的结构进行说明。另外，图像处理装置100c与图像处理装置100b同样地进行动作，因此在图4中，省略示出图像处理装置100c。

图像处理装置100a具备第一存储部110和第二存储部120。另外，在图像处理装置100a连接有拍摄装置ca。拍摄装置ca拍摄用户a的实物影像g2，并生成表示实物影像g2的实物影像数据。

图像处理装置100a的第一存储部110存储表示用户a的第一图像g1的第一图像数据。图像处理装置100a的第二存储部120存储表示用户a的实物影像g2的实物影像数据。图像处理装置100a将用户a的第一图像数据以及实物影像数据向图像处理装置100b发送。

图像处理装置100b具备第一存储部110a、第二存储部120a以及合成部130a。第一存储部110a对从图像处理装置100a接收到的用户a的第一图像数据进行存储。第二存储部120a对从图像处理装置100a接收到的用户a的实物影像数据进行存储。

合成部130a基于用户a的第一图像数据和用户a的实物影像数据生成第二图像数据，上述第二图像数据表示将用户a的第一图像g1和用户a的实物影像g2合成的用户a的第二图像s。例如，合成部130a以将实物影像数据所示的用户a的实物影像g2中的眼睛(睫毛)、脸颊以及嘴替换为用户a的第一图像数据所示的第一图像g1的眼睛(睫毛)、脸颊以及嘴的方式生成第二图像数据。其后，图像处理装置100b使用户a的第二图像数据所示的第二图像s显示于显示装置db。

在本实施方式的图像通信系统200中，用户a的第二图像s不是由图像处理装置100a而是由图像处理装置100b生成。在图像处理装置100b的处理能力比图像处理装置100a的处理能力高的情况下，优选将用户a的第二图像数据在图像处理装置100b的合成部130a中生成。由此，即便图像处理装置100a的处理能力比较低，也能够避免延迟、并且局部变更并显示用户的实物影像。

此外，如上述那样，也可以是，图像处理装置100b经由网络n从图像处理装置100a与用户a的实物影像数据一起接收用户a的第一图像数据，并存储用户a的第一图像数据。或者，也可以是，图像处理装置100b经由网络n从图像处理装置100a预先接收用户a的第一图像数据，并存储用户a的第一图像数据。在一个例子中，也可以是，图像处理装置100b预先从图像处理装置100a接收添附于经由网络n的邮件的用户a的第一图像数据。或者，也可以是，图像处理装置100b经由ftp(filetransferprotocol)预先从图像处理装置100a接收用户a的第一图像数据。

或者，也可以是，图像处理装置100b不借助网络n地存储用户a的第一图像数据。例如，也可以是，图像处理装置100b借助usb存储器而存储用户a的第一图像数据。

或者，也可以是，图像处理装置100b对存储了用户a的第一图像数据的地址信息进行存储。也可以是，图像处理装置100b在接收到用户a的实物影像数据后基于地址信息读出用户a的第一图像数据。

接下来，参照图4以及图5对本实施方式的图像处理装置100b进行说明。图5是本实施方式的图像处理装置100b的示意图。图5的图像处理装置100b除了显示影像处理部151包括合成部130a、对象侧图像存储器152包括第一存储部110a和第二存储部120a这点之外，其他具有与参照图3而上述的图像处理装置100a相同的结构。因此，为了避免冗长而省略重复的说明。

图像处理装置100b除了第一存储部110、第二存储部120以及合成部130之外，还具备攝影装置接口141、显示装置接口142、通信接口143、系统设定保存存储器144、显示影像处理部151、对象侧图像存储器152、以及显示装置用工作存储器153。此外，也可以是，图像处理装置100b的第一存储部110以及第二存储部120存储用户b的第一图像数据以及实物影像数据，用户b的第一图像数据以及实物影像数据经由通信接口143而向图像处理装置100a发送。

对象侧图像存储器152包括第一存储部110a和第二存储部120a。第一存储部110a存储从图像处理装置100a接收到的用户a的第一图像数据，第二存储部120a存储从图像处理装置100a接收到的用户a的实物影像数据。

图像处理装置100b的显示影像处理部151包括合成部130a。合成部130a基于存储于第一存储部110a的用户a的第一图像数据和存储于第二存储部120a的用户a的实物影像数据，以合成用户a的第一图像g1以及实物影像g2的方式生成用户a的第二图像数据。合成部130a具有与图3的合成部130相同的功能。第二图像数据存储于显示装置用工作存储器153。显示装置db基于第二图像数据显示用户a的第二图像s。

在本实施方式中，图像处理装置100b的合成部130a生成用户a的第二图像数据，显示装置db基于第二图像数据显示用户a的第二图像。此外，图像处理装置100b也可以将所生成的第二图像数据向图像处理装置100a发送。在这种情况下，与图像处理装置100a连接的显示装置da能够基于第二图像数据显示用户a的第二图像s。

此外，在参照图1～图3而上述的说明中，在基于用户的第一图像数据以及用户的实物影像数据而生成表示将用户的第一图像以及实物影像合成的第二图像的第二图像数据后，经由网络n发送了第二图像数据，但本实施方式不限定于此。另外，在参照图4以及图5而上述的说明中，根据经由网络n接收到的用户的第一图像数据和实物影像数据生成了第二图像数据，但本实施方式不限定于此。也可以根据正在经由网络n而发送中的第一图像数据和实物影像数据而生成第二图像数据。

以下，参照图6对具备本实施方式的图像处理装置100a、100b、100s的图像通信系统200进行说明。图6是具备本实施方式的图像处理装置100a、100b、100s的图像通信系统200的示意图。对于图6的图像通信系统200而言，除去用户a的第一图像以及实物影像的合成由图像处理装置100s进行这点之外，其他与参照图2或者图4而上述的图像通信系统200相同，为了避免冗长而省略重复的说明。此外，图像处理装置100a、图像处理装置100b以及图像处理装置100s也可以具有相同的结构，但此处，着眼于图像处理装置100a、图像处理装置100b、图像处理装置100s中的与用户a的第二图像的生成相关的结构进行说明。

图像通信系统200具备图像处理装置100a、图像处理装置100b以及图像处理装置100s。图像处理装置100s经由网络n而与图像处理装置100a和图像处理装置100b连接。图像处理装置100s是图像处理装置100a与图像处理装置100b之间的中继装置。例如，图像处理装置100s是云上的服务器。

图像处理装置100a具备第一存储部110和第二存储部120。另外，在图像处理装置100a连接有拍摄装置ca。拍摄装置ca对用户a的实物影像g2进行拍摄，并生成表示实物影像g2的实物影像数据。

图像处理装置100a的第一存储部110对表示用户a的第一图像g1的第一图像数据进行存储。图像处理装置100a的第二存储部120对表示用户a的实物影像g2的实物影像数据进行存储。图像处理装置100a经由网络n将用户a的第一图像数据以及实物影像数据朝向图像处理装置100b发送。

图像处理装置100s接收用户a的第一图像数据以及实物影像数据。图像处理装置100s基于用户a的第一图像数据以及实物影像数据而生成将用户a的第一图像以及实物影像合成的第二图像数据。

图像处理装置100s具备第一存储部110、第二存储部120以及合成部130。图像处理装置100s的第一存储部110对从图像处理装置100a接收到的表示用户a的第一图像g1的第一图像数据进行存储。图像处理装置100s的第二存储部120对从图像处理装置100a接收到的表示用户a的实物影像g2的实物影像数据进行存储。

图像处理装置100s的合成部130基于用户a的第一图像数据和用户a的实物影像数据，生成第二图像数据，上述第二图像数据表示将第一图像g1和实物影像g2合成的用户a的第二图像s。例如，合成部130以表示将实物影像g2的眼睛(睫毛)、脸颊以及嘴替换为示出眼睛(睫毛)、脸颊以及嘴的第一图像g1而成的第二图像s的方式根据用户a的第一图像数据以及实物影像数据生成第二图像数据。其后，图像处理装置100s将第二图像数据向图像处理装置100b发送。

图像处理装置100b从图像处理装置100s接收用户a的第二图像数据，并存储用户a的第二图像数据。其后，图像处理装置100b使用户a的第二图像数据所示的用户a的第二图像显示于显示装置db。如以上那样，能够在与图像处理装置100b连接的显示装置db显示用户a所期望的图像。

对于本实施方式的图像通信系统200而言，用户a的第二图像不是在图像处理装置100a以及图像处理装置100b中而是在图像处理装置100s中生成。在图像处理装置100s的处理能力比图像处理装置100a以及图像处理装置100b的处理能力高的情况下，优选将用户a的第二图像数据在图像处理装置100s的合成部130中生成。由此，即便图像处理装置100a以及图像处理装置100b的处理能力比较低，也能够避免延迟，并且能够以将所希望的印象给予对象的方式局部变更并显示实物影像。

此外，在参照图4而上述的说明中，图像处理装置100a经由网络n而将用户a的第一图像数据朝向图像处理装置100b发送，但也可以这样，图像处理装置100s经由网络n从图像处理装置100a与用户a的实物影像数据一起接收用户a的第一图像数据，并存储用户a的第一图像数据。或者，也可以是，图像处理装置100s经由网络n从图像处理装置100a预先接收用户a的第一图像数据，并存储用户a的第一图像数据。在一个例子中，也可以是，图像处理装置100s预先从图像处理装置100a接收添加于经由网络n的邮件的用户a的第一图像数据。或者，也可以是，图像处理装置100s经由ftp(filetransferprotocol)预先从图像处理装置100a接收用户a的第一图像数据。

或者，也可以是，图像处理装置100s不借助网络n地存储用户a的第一图像数据。例如，也可以是，图像处理装置100s借助usb存储器而存储用户a的第一图像数据。

或者，也可以是，图像处理装置100s对存储了用户a的第一图像数据的地址信息进行存储。也可以是，图像处理装置100s在接收到用户a的实物影像数据后基于地址信息读出用户a的第一图像数据。

接下来，参照图6以及图7对本实施方式的图像处理装置100s进行说明。图7是本实施方式的图像处理装置100s的示意图。图7的图像处理装置100s除去不具备攝影装置接口141、显示装置接口142、显示影像处理部151、对象侧图像存储器152以及显示装置用工作存储器153这点之外，其他具有与参照图3而上述的图像处理装置100a相同的结构。因此，为了避免冗长而省略重复的说明。

图像处理装置100s除了第一存储部110、第二存储部120以及合成部130之外，还具备通信接口143和系统设定保存存储器144。此处，图像处理装置100s的第一存储部110存储用户a的第一图像数据，图像处理装置100s的第二存储部120存储用户a的实物影像数据。

此外，图像处理装置100s的第一存储部110优选对利用图像通信系统200的所有用户的第一图像数据进行存储。另外，图像处理装置100s的第二存储部120优选对利用图像通信系统200的所有用户的实物影像数据进行存储。

图像处理装置100s的合成部130基于存储于第一存储部110的用户a的第一图像数据和存储于第二存储部120的用户a的实物影像数据，以合成用户a的第一图像g1以及实物影像g2的方式生成用户a的第二图像数据。合成部130具有处理部132、工作存储器134以及保存存储器136。在合成部130将用户a的第一图像g1和实物影像g2合成时，工作存储器134存储用户a的第一图像数据以及实物影像数据，处理部132以将用户a的第一图像g1和实物影像g2合成的方式对第一图像数据以及实物影像数据进行处理并生成用户a的第二图像数据。第二图像数据存储于保存存储器136，通信接口143将第二图像数据向图像处理装置100b发送。

在本实施方式中，图像处理装置100s的合成部130生成用户a的第二图像数据，将第二图像数据向图像处理装置100b发送。此外，图像处理装置100s也可以将所生成的第二图像数据向图像处理装置100a发送。在这种情况下，与图像处理装置100a连接的显示装置da能够基于第二图像数据显示用户a的第二图像。

此外，在实物影像数据包括声音数据的情况下，优选考虑到用于第一图像和实物影像的合成的延迟时间而在第二图像数据合成声音数据。

以下，参照图8对具备本实施方式的图像处理装置100a～100c的图像通信系统200进行说明。图8是具备本实施方式的图像处理装置100a～100c的图像通信系统200的示意图。在图8的图像通信系统200中，除了图像处理装置100a还具备与第一存储部110以及第二存储部120不同的声音存储部120u这点之外，其他与参照图2而上述的图像通信系统200相同，为了避免冗长而省略重复的说明。此外，如上述那样，图像处理装置100a～100c也可以具有相同的结构，但此处，着眼于图像处理装置100a～100c中的与用户a的第二图像的生成相关的结构进行说明。

图像处理装置100a除了第一存储部110、第二存储部120以及合成部130之外，还具备声音存储部120u。另外，在图像处理装置100a连接有拍摄装置ca。拍摄装置ca对用户a的实物影像进行拍摄。此处，拍摄装置ca也能够对声音进行录音。例如，在拍摄装置ca安装有麦克风。此外，录音也可以通过与拍摄装置ca不同的其他构件来进行。

图像处理装置100a的第一存储部110存储用户a的第一图像数据。拍摄装置ca拍摄用户a的实物影像，生成实物影像数据。此处，实物影像是动画。另外，拍摄装置ca对用户a的实物声音进行录音，生成实物声音数据。

图像处理装置100a的第二存储部120存储用户a的实物影像数据。另外，图像处理装置100a的声音存储部120u存储用户a的实物声音数据。

合成部130基于用户a的第一图像数据、用户a的实物影像数据以及用户a的实物声音数据生成第二图像数据，并且与第二图像s的动画匹配地合成实物声音，其中，上述第二图像数据表示将用户a的第一图像g1和实物影像g2合成的用户的第二图像s。当在合成部130生成第二图像数据时产生延迟的情况下，合成部130错开延迟时间而与第二图像匹配地合成实物声音。在合成实物声音时，优选合成部130与用户a的实物影像的表情以及/或者嘴的动作匹配地合成实物声音。

例如，合成部130以将实物影像数据所示的用户的实物影像的眼睛(睫毛)、脸颊以及嘴替换为第一图像数据所示的眼睛(睫毛)、脸颊以及嘴的方式生成第二图像数据。并且，合成部130与第二图像数据匹配地合成实物声音数据。其后，图像处理装置100a经由网络n将用户a的第二图像数据向图像处理装置100b以及图像处理装置100c发送。

图像处理装置100b以及图像处理装置100c接收用户a的第二图像数据，存储用户a的第二图像数据。其后，图像处理装置100b以及图像处理装置100c使用户a的第二图像数据所示的用户a的第二图像显示于显示装置db以及显示装置dc。此时，显示装置db以及显示装置dc与显示第二图像一起输出用户a的实物声音。在本实施方式的图像通信系统200中，单独存储实物影像数据以及声音数据，而且考虑到第一图像和实物影像的合成的延迟时间而将第二图像数据与声音数据合成，由此能够抑制第二图像与实物声音的错位。

接下来，参照图8以及图9对本实施方式的图像处理装置100a进行说明。图9是本实施方式的图像处理装置100a的示意图。图9的图像处理装置100a除了还具备声音存储部120u、分离处理部161以及延迟运算部162这点之外，其他具有与参照图3而上述的图像处理装置100a相同的结构。因此，为了避免冗长而省略重复的说明。

图像处理装置100a除了第一存储部110、第二存储部120、合成部130、攝影装置接口141、显示装置接口142、通信接口143、系统设定保存存储器144、显示影像处理部151、对象侧图像存储器152以及显示装置用工作存储器153之外，还具备声音存储部120u、分离处理部161以及延迟运算部162。第一存储部110存储用户a的第一图像数据，第二存储部120存储用户a的实物影像数据。

分离处理部161将在拍摄装置ca中生成的数据分离为实物影像数据以及实物声音数据。实物影像数据存储于第二存储部120。实物声音数据存储于声音存储部120u。

延迟运算部162对合成部130的处理部132处理第一图像数据以及实物影像数据并生成第二图像数据时的延迟时间进行运算。其后，合成部130的处理部132错开由延迟运算部162求出的延迟时间而在第二图像数据合成实物声音数据。实物声音数据所合成的第二图像数据存储于保存存储器136。存储于保存存储器136的第二图像数据经由网络n向图像处理装置100b以及图像处理装置100c发送。

在参照图1～图9而上述的说明中，在从一个图像处理装置向多个图像处理装置发送第一图像数据、实物影像数据以及/或者第二图像数据的情况下，对所有发送对象发送相同的数据，而且多个图像处理装置基于相同的第二图像数据使第二图像显示于显示装置，但本实施方式不限定于此。多个图像处理装置也可以使不同的图像显示于不同的显示装置。

以下，参照图10对具备本实施方式的图像处理装置100a～100c的图像通信系统200进行说明。图10是具备本实施方式的图像处理装置100a～100c的图像通信系统200的示意图。在图10的图像通信系统200中，图像处理装置100a除了指示在图像处理装置100b中合成第一图像以及实物影像、而指示在图像处理装置100c中不合成第一图像以及实物影像这点之外，其他与参照图4而上述的图像通信系统200相同，为了避免冗长而省略重复的说明。此外，如上述那样，图像处理装置100a～100c也可以具有相同的结构，但此处，着眼于图像处理装置100a～100c中的与用户a的第二图像的生成相关的结构进行说明。

图像处理装置100a具备第一存储部110和第二存储部120。另外，在图像处理装置100a连接有拍摄装置ca。拍摄装置ca拍摄用户a的实物影像并生成实物影像数据。

图像处理装置100a的第一存储部110存储用户a的第一图像数据。图像处理装置100a的第二存储部120存储用户a的实物影像数据。

图像处理装置100a将实物影像数据向图像处理装置100b以及图像处理装置100c发送。但是，图像处理装置100a仅向图像处理装置100c发送合成选择信号。此处，向图像处理装置100c发送的合成选择信号表示不允许第一图像的某一个部位与实物影像的合成。此外，图像处理装置100a也可以根据来自用户a的指示而选择性地发送合成选择信号。

图像处理装置100b具备第一存储部110a、第二存储部120a以及合成部130a。图像处理装置100b的第一存储部110a存储用户a的第一图像数据。用户a的第一图像数据也可以在实物影像数据前接收，也可以与实物影像数据一起接收。图像处理装置100b的第二存储部120a对从图像处理装置100a接收到的用户a的实物影像数据进行存储。

图像处理装置100b没有从图像处理装置100a接收合成选择信号。因此，图像处理装置100b的合成部130a基于用户a的第一图像数据和用户a的实物影像数据，生成第二图像数据，上述第二图像数据表示将用户a的第一图像和用户a的实物影像合成的用户a的第二图像。例如，图像处理装置100b的合成部130a以将实物影像数据所示的用户的实物影像的眼睛(睫毛)、脸颊以及嘴替换为第一图像数据所示的眼睛(睫毛)、脸颊以及嘴的方式生成第二图像数据。其后，图像处理装置100b使用户a的第二图像数据所示的用户a的第二图像显示于显示装置db。

图像处理装置100c具备第一存储部110a、第二存储部120a以及合成部130a。图像处理装置100c的第一存储部110a存储用户a的第一图像数据。用户a的第一图像数据也可以在实物影像数据前接收，也可以与实物影像数据一起接收。图像处理装置100c的第二存储部120a对从图像处理装置100a接收到的用户a的实物影像数据进行存储。

然而，图像处理装置100c从图像处理装置100a接收表示不允许第一图像的某一个部位与实物影像的合成的合成选择信号。因此，图像处理装置100c的合成部130a与图像处理装置100b不同，不生成表示用户a的第二图像的第二图像数据。因此，图像处理装置100c使用户a的实物影像数据所示的用户a的实物影像s’显示于显示装置db。

如以上那样，在本实施方式的图像通信系统200中，能够选择使用相同的图像通信系统200的用户中的局部变更并显示用户的实物影像的用户。因此，能够根据对象使用户的实物影像按所希望进行变更。

此外，在参照图10的上述的说明中，图像处理装置100a在合成一个第二图像时没有对图像处理装置100b发送合成选择信号、而对图像处理装置100c发送了合成选择信号，但本实施方式不限定于此。图像处理装置100a也可以在合成多个第二图像时向图像处理装置100b以及图像处理装置100c选择性地发送合成选择信号。

另外，在参照图10的上述的说明中，为了容易理解本实施方式，图像处理装置100a没有对图像处理装置100b发送合成选择信号、而对图像处理装置100c发送表示不允许第一图像的某一个部位与实物影像的合成的合成选择信号，但本实施方式不限定于此。图像处理装置100a也可以发送表示允许第一图像的任意的选择出的部位与实物影像的合成、而不允许第一图像的任意的没有选择出的部位与实物影像的合成的合成选择信号。

接下来，参照图10～图12的(a)对本实施方式的图像处理装置100a进行说明。图11是本实施方式的图像处理装置100a的示意图。图11的图像处理装置100a除了还包括合成可否表171这点之外，其他具有与参照图3而上述的图像处理装置100a相同的结构。因此，为了避免冗长而省略重复的说明。

图像处理装置100a除了第一存储部110、第二存储部120以及合成部130，还具备攝影装置接口141、显示装置接口142、通信接口143、系统设定保存存储器144、显示影像处理部151、对象侧图像存储器152以及显示装置用工作存储器153，除了上述之外，还具备合成可否表171。如上述那样，第一存储部110存储用户a的第一图像数据，第二存储部120存储用户a的实物影像数据。

合成部130具有处理部132、工作存储器134以及保存存储器136。在合成部130将用户a的第一图像和实物影像合成时，工作存储器134存储用户a的第一图像数据以及实物影像数据，处理部132以将用户a的第一图像和实物影像合成的方式处理第一图像数据以及实物影像数据并生成第二图像数据。第二图像数据存储于保存存储器136。通信接口143将存储于保存存储器136的第二图像数据经由网络n而向图像处理装置100b以及图像处理装置100c发送。另外，通信接口143基于合成可否表171，按每个用户发送表示可用于合成的用户a的第一图像的部位的信息。

合成可否表171表示按每个用户设定的允许合成的第一图像的部位。此处，参照图12对合成可否表171进行说明。图12的(a)是表示图像处理装置100a的合成可否表171的图。

合成可否表171表示按每个用户信息(用户id)示出部位1～8的合成可否的信息。例如，id1是用户a自身的图像处理装置100a的ip地址，id2是用户b的图像处理装置100b的ip地址，id3是用户c的图像处理装置100c的ip地址。例如，如合成可否表171的id2的栏所示的那样，向图像处理装置100b发送的合成选择信号表示禁止部位1、2、4、5、7的合成并允许部位3、6、8的合成。

此外，在参照图10～图12的(a)而上述的说明中，图像处理装置100b以及图像处理装置100c存储了用于合成第二图像的用户a的第一图像的全部部位，但本实施方式不限定于此。图像处理装置也可以不存储针对合成第二图像的用户的第一图像的全部部位。

接下来，参照图10～图12的(b)对本实施方式的图像处理装置100b进行说明。图12的(b)表示图像处理装置100b的合成部位表。合成部位表存储于图像处理装置100b的保存存储器136。

此处，id1是用户b自身的图像处理装置100b的ip地址，id2是用户a的图像处理装置100a的ip地址，id3是用户c的图像处理装置100c的ip地址。例如，如合成部位表的id1的栏所示的那样，图像处理装置100b存储用户b的第一图像的全部部位。另外，如id2的栏所示的那样，图像处理装置100b存储用户a的第一图像的背景、发型、眼睛、鼻、脸颊、轮廓以及服装、而不存储用户a的第一图像的眉、嘴。因此，即便图像处理装置100b从图像处理装置100a接收用户a的实物影像数据，也无法生成替换了用户a的眉、嘴的第二图像数据。

并且，如从图12的(a)和图12的(b)的比较可理解的那样，图像处理装置100b也可以以根据来自图像处理装置100a的合成选择信号和合成部位表的组合而在用户a的第一图像的选择出的部位替换用户a的实物影像的方式生成第二图像数据。

此外，在参照图9～图12的(a)而上述的说明中，用户a指示在用户a的第一图像的选择出的部位替换用户a的实物影像，但本实施方式不限定于此。

另外，在参照图3～图4而上述的说明中，图像处理装置100b在接收到来自图像处理装置100a的实物影像数据后，生成合成了第一图像以及实物影像的第二图像数据，但本实施方式不限定于此。图像处理装置100b所存储的第一图像数据不充分，图像处理装置100b有时无法合成第一图像以及实物影像。例如，若在生成用户a的第二图像时导致存储于图像处理装置100b的第一图像数据的一部分崩溃，则图像处理装置100b恐怕无法如用户a想要的那样合成用户a的第一图像以及实物影像。

以下，参照图13对具备本实施方式的图像处理装置100a～100c的图像通信系统200进行说明。图13是具备本实施方式的图像处理装置100a～100c的图像通信系统200的示意图。

对于图13的图像通信系统200而言，在除了无论来自图像处理装置100a的指示如何而图像处理装置100c均不局部具有用户a的第一图像这点之外，其他与参照图10而上述的图像通信系统200相同，为了避免冗长而省略重复的说明。此外，如上述那样，图像处理装置100a～100c也可以具有相同的结构，但此处，着眼于图像处理装置100a～100c中的与用户a的第二图像的生成相关的结构进行说明。

图像处理装置100a具备第一存储部110和第二存储部120。另外，在图像处理装置100a连接有拍摄装置ca。拍摄装置ca拍摄用户a的实物影像，生成实物影像数据。

图像处理装置100a的第一存储部110存储用户a的第一图像数据。图像处理装置100a的第二存储部120存储用户a的实物影像数据。图像处理装置100a将实物影像数据向图像处理装置100b以及图像处理装置100c发送。

图像处理装置100b具备第一存储部110a、第二存储部120a以及合成部130a。图像处理装置100b的第一存储部110a存储用户a的第一图像数据。用户a的第一图像数据也可以在实物影像数据前接收，也可以与实物影像数据一起接收。图像处理装置100b的第二存储部120a对从图像处理装置100a接收到的用户a的实物影像数据进行存储。

图像处理装置100b的合成部130a基于用户a的第一图像数据和用户a的实物影像数据，生成第二图像数据，上述第二图像数据表示将用户a的第一图像g1和用户a的实物影像g2合成的用户a的第二图像s。例如，合成部130a以将实物影像数据所示的用户a的实物影像g2中的眼睛(睫毛)、脸颊以及嘴替换为用户a的第一图像数据所示的第一图像g1的眼睛(睫毛)、脸颊以及嘴的方式生成第二图像数据。其后，图像处理装置100b使用户a的第二图像数据所示的第二图像s显示于显示装置db。

图像处理装置100c具备第一存储部110a、第二存储部120a以及合成部130a。图像处理装置100c的第一存储部110a存储用户a的第一图像数据。但是，图像处理装置100c的第一存储部110a仅局部存储用户a的第一图像数据，不是如用户a想要的那样存储。图像处理装置100c的第二存储部120a对从图像处理装置100a接收到的用户a的实物影像数据进行存储。

此处，图像处理装置100c的第一存储部110a仅局部存储用户a的第一图像数据。因此，图像处理装置100c的合成部130a与图像处理装置100b不同，不生成表示用户a的第二图像的第二图像数据。在这种情况下，图像处理装置100c取代用户a的实物影像而使替代图像s0显示于显示装置dc。替代图像s0例如是完全灰色的图像。或者，替代图像也可以是风景等静止图像。在本实施方式的图像通信系统200中，在无法进行规定的合成的情况下，显示预先决定的替代图像s0。因此，即便在由于数据的崩溃等而使第一图像消除的情况下，也能够抑制违反用户的意图而显示用户的情况。

此外，在参照图13而上述的说明中，在图像处理装置100c的第一存储部110a没有存储用于合成的第一图像的情况下显示装置dc显示了完全灰色的替代图像，但本实施方式不限定于此。显示装置dc也可以显示遮光图像。或者，显示装置dc也可以显示仅不足部位没有合成的第二图像。或者，在实物影像数据包括声音数据的情况下，显示装置dc也可以仅输出声音。

而且，也可以是，在图像处理装置100c的第一存储部110a没有存储用于合成的第一图像的情况下图像通信系统200的图像处理装置100a～100c的通信结束。或者，也可以中止图像通信系统200的图像处理装置100a～100c的通信，至填补图像处理装置100c的第一存储部110a的第一图像数据为止。

接下来，参照图14对本实施方式的图像处理装置100c进行说明。图14是本实施方式的图像处理装置100c的示意图。图14的图像处理装置100c除去还具备替代图像存储器172这点之外，其他具有与参照图11而上述的图像处理装置100a相同的结构。因此，为了避免冗长而省略重复的说明。

图像处理装置100c除了第一存储部110、第二存储部120以及合成部130之外，还具备攝影装置接口141、显示装置接口142、通信接口143、系统设定保存存储器144、显示影像处理部151、对象侧图像存储器152、显示装置用工作存储器153以及合成可否表171，除了上述之外，还具备替代图像存储器172。如上述那样，第一存储部110存储用户a的第一图像数据，第二存储部120存储用户a的实物影像数据。

显示影像处理部151包括合成部130a。合成部130a基于存储于第一存储部110a的用户a的第一图像数据和存储于第二存储部120a的用户a的实物影像数据，以合成用户a的第一图像g1以及实物影像g2的方式生成用户a的第二图像数据。第二图像数据存储于显示装置用工作存储器153。显示装置dc基于第二图像数据显示用户a的第二图像s。

替代图像存储器172对表示在合成部130a无法根据来自图像处理装置100a的指示进行合成的情况下显示于显示装置dc的替代图像的替代图像数据进行存储。在合成部130a无法合成的情况下，显示装置接口142将存储于替代图像存储器172的替代图像数据向显示装置dc发送，显示装置dc基于替代图像数据显示替代图像。

此外，拍摄装置前的用户有时离开拍摄装置。另外，有时在拍摄装置前出现预想外的用户。例如，在参照图1～图14的上述的说明中，拍摄装置ca拍摄用户a，但有时用户a从拍摄装置ca前移动，在拍摄装置ca前出现与用户a不同的用户x。

以下，参照图15～图17对具备本实施方式的图像处理装置100a～100c的图像通信系统200进行说明。图15～图17是具备图像处理装置100a～100c的图像通信系统200的示意图。图15的图像通信系统200除去图像处理装置100a～100c具有认证用户的功能的这点之外，其他与参照图1而上述的图像通信系统200相同，为了避免冗长而省略重复的说明。此外，如上述那样，图像处理装置100a～100c具有相同的结构，但此处，着眼于图像处理装置100a～100c中的与用户a相关的结构进行说明。

如图15所示，图像通信系统200具备图像处理装置100a～100c。在图像处理装置100a连接有拍摄装置ca。用户a处于拍摄装置ca前，拍摄装置ca拍摄用户a并生成实物影像数据。图像处理装置100a连接于认证装置aa。此外，图像处理装置100a也可以基于用户a的实物影像数据对用户a进行认证。

认证也可以通过用户a的身份证、密码以及生物体认证的任一个来进行。例如，生物体认证也可以是指纹认证、掌纹认证、声纹认证以及视网膜认证的任一个。或者，认证也可以通过用户a的体型来进行。并且，图像处理装置100a也可以认证用户a的面部。另外，图像处理装置100a也可以对在用户a登录时通过拍摄装置ca生成的用户a的实物影像数据进行存储。图像处理装置100a将由拍摄装置ca生成的实物影像数据向图像处理装置100b以及图像处理装置100c发送。

同样，在图像处理装置100b连接有拍摄装置cb。用户b处于拍摄装置cb前，拍摄装置cb拍摄用户b并生成实物影像数据。图像处理装置100b基于用户b的实物影像数据对用户b进行认证。图像处理装置100b将由拍摄装置cb生成的实物影像数据向图像处理装置100a以及图像处理装置100c发送。

而且同样，在图像处理装置100c连接有拍摄装置cc。用户c处于拍摄装置cc前，拍摄装置cc拍摄用户c并生成实物影像数据。图像处理装置100c基于用户c的实物影像数据对用户c进行认证。图像处理装置100c将由拍摄装置cc生成的实物影像数据向图像处理装置100a以及图像处理装置100b发送。

显示装置da在显示画面的中央显示主画面，并且在显示画面的左下方显示用户a。另外，显示装置da在显示画面的左上方显示用户b，在显示画面的右上方显示用户c。

同样，显示装置db在显示画面的中央显示主画面，并且在显示画面的左下方显示用户b。另外，显示装置db在显示画面的左上方显示用户a，在显示画面的右上方显示用户c。

而且同样，显示装置dc在显示画面的中央显示主画面，并且在显示画面的左下方显示用户c。另外，显示装置dc在显示画面的左上方显示用户a，在显示画面的右上方显示用户b。此外，针对图15的显示装置da～dc的用户a～c的显示位置，图15所示的例子毕竟只是一个例子，不限定于此。

如图16所示，若用户a从拍摄装置ca前移动，则拍摄装置ca变得无法拍摄用户a。在这种情况下，显示装置da无法显示用户a。显示装置da继续在显示画面的左上方显示用户b，在显示画面的右上方显示用户c，另一方面，变得在显示画面的左下方无法显示用户a。显示装置da在显示画面的左下方作为错误图像而显示白色的图像。另外，显示装置da显示催促用户a返回拍摄装置ca前的意思的消息。

同样，显示装置db继续在显示画面的左下方显示用户b，在显示画面的右上方显示用户c，另一方面，变得无法在显示画面的左上方显示用户a。此时，显示装置db在显示画面的左上方显示白色的图像。另外，显示装置db显示表示用户a不在的意思的消息。

而且同样，显示装置dc继续在显示画面的左下方显示用户c，在显示画面的右上方显示用户b，另一方面，变得无法在显示画面的左上方显示用户a。此时，显示装置dc在显示画面的左上方显示白色的图像。另外，显示装置dc显示用户a不在的意思的消息。

此外，若用户a再次出现在拍摄装置ca前，则拍摄装置ca再次拍摄用户a。在这种情况下，优选图像处理装置100a自动地进行登录操作，显示装置da～dc的任一个均再次显示用户a。或者，也可以是，当用户a再次在拍摄装置ca前出现的情况下，显示装置da显示通过认证装置aa对用户a进行认证的意思的消息，并能够根据认证的结果选择是否允许合成。

并且，图像处理装置100a也可以不仅能够认证用户a，还能够认证用户b或者用户c。另外，也可以是，图像处理装置100a在认证多个用户的情况下，仅在拍摄装置ca～cc分别拍摄到用户a～c的情况下允许认证。或者，也可以是，仅在拍摄到特定的用户的情况下允许认证。

如图17所示，在用户a从拍摄装置ca前消失后，用户x出现在拍摄装置ca前。在这种情况下，拍摄装置ca拍摄用户x。

拍摄装置ca拍摄用户x并生成用户x的实物影像数据。此时，用户x与用户a不同，因此图像处理装置100a不认证用户x。在这种情况下，保持显示装置da不显示用户a、显示装置da在显示画面的左下方显示白色的图像的状态。另外，显示装置da显示催促用户a登录的意思的消息。

另外，保持显示装置db无法显示用户a、而显示装置db在显示画面的左上方显示白色的图像的状态。另外，显示装置db显示表示用户a已被更换的消息。同样，保持显示装置dc无法显示用户a、而显示装置dc在显示画面的左上方显示白色的图像的状态。另外，显示装置dc显示表示用户a已被更换的消息。

此外，在参照图15～图17而上述的说明中，在拍摄装置ca前的用户从用户a已更换为用户x的情况下，显示装置da显示催促用户a登录的意思的消息，但本实施方式不限定于此。也可以是，在拍摄装置ca前的用户从用户a已更换为用户x的情况下，图像处理装置100a将与图像处理装置100b以及图像处理装置100c之间的通信切断。

对于本实施方式的图像通信系统200而言，也可以是，在用户从拍摄装置前消失的情况下、或者在其他用户出现于拍摄装置前的情况下，不允许第一图像与实物影像的合成。由此，当与图像处理装置100a～100c开始彼此通信时相同的用户参加的情况下，能够局部变更并显示用户的实物影像，当相同的用户没有参加的情况下，能够不变更用户的实物影像。

接下来，参照图18以及图19对本实施方式的图像处理装置100a进行说明。图18是本实施方式的图像处理装置100a的示意图。图18的图像处理装置100a除去还具备认证部180这点之外，其他具有与参照图3而上述的图像处理装置100a相同的结构。因此，为了避免冗长而省略重复的说明。

图像处理装置100a除了第一存储部110、第二存储部120、合成部130、攝影装置接口141、显示装置接口142、通信接口143、系统设定保存存储器144、显示影像处理部151、对象侧图像存储器152、以及显示装置用工作存储器153之外，还具备认证装置接口147以及认证部180。认证部180包括认证表181、识别文件182、错误图像文件183、处理部184、认证工作存储器185、移出处理部186以及移出工作存储器187。

认证装置接口147与认证装置aa连接并从认证装置aa接收认证数据。认证部180基于认证数据所示的认证结果来认证用户。

认证表181对用户的认证所使用的信息或者用户的认证所使用的信息的有无进行存储。也可以是，认证表181为了不仅用于用户a还用于其他用户的认证而存储于系统设定保存存储器144。此处，参照图19对认证表181进行说明。图19是本实施方式的图像处理装置100a的认证表181。

如图19所示，认证表181按每个用户id示出登录名、姓名、身份证以及密码。另外，认证表181按每个用户id示出表示指纹、掌纹、声纹以及视网膜的信息的有无。另外，认证表181示出存储登录时的实物影像数据的文件夹的地址和认证错误信息。

认证表181所示的身份证以及密码用于用户的认证。另外，认证表181所示的表示指纹、掌纹、声纹以及视网膜的有无的信息用于用户的认证。例如，表示用户a的身份证、密码、指纹、掌纹、声纹以及视网膜的信息的任一个均被存储，因此能够使用身份证、密码、指纹、掌纹、声纹以及视网膜的任一个来认证用户a。

由于表示用户d的身份证、密码以及指纹的信息被存储，所以能够使用身份证、密码以及指纹的任一个认证用户d。另一方面，没有存储有用户d的掌纹、声纹以及视网膜，因此无法使用掌纹、声纹以及视网膜来认证用户d。

再次参照图18。在识别文件182存储有用户的指纹、掌纹、声纹以及视网膜。另外，在识别文件182存储有用户的登录时的实物影像数据。

错误图像文件183存储表示错误图像的错误图像数据。当在拍摄装置ca前不存在用户a的情况下，显示装置da基于错误图像数据显示错误图像。例如，错误图像是完全白色的图像。或者，错误图像也可以是特定的静止图像。

处理部184进行用户的认证。处理部184基于第二存储部120所存储的实物影像数据、认证表181以及/或者识别文件182，认证用户。

认证工作存储器185在处理部184认证用户时利用。认证工作存储器185在认证时存储实物影像数据。另外，也可以是，认证工作存储器185在认证时存储表示从识别文件182读出的指纹、掌纹、声纹以及视网膜的信息。

移出处理部186对用户a是否从拍摄装置ca前消失进行判定。移出处理部186基于由拍摄装置ca生成的实物影像数据，判定实物影像是否包含用户a的图像。

移出工作存储器187为了判定用户a是否从拍摄装置ca前消失而使用。移出工作存储器187存储登录时的用户a的实物影像数据。

并且，移出处理部186在用户a从拍摄装置ca前消失的情况下开始处理。例如，若检测出用户a从拍摄装置ca前消失，则移出处理部186控制为使显示装置da显示催促用户a返回拍摄装置ca前的意思的消息。

另外，若检测出在拍摄装置ca前出现与用户a不同的用户，则移出处理部186控制为使显示装置da显示催促用户a登录的意思的消息。此外，也可以是，当检测出在拍摄装置ca前出现与用户a不同的用户的情况下，移出处理部186控制为将图像处理装置100a与图像处理装置100b以及图像处理装置100c之间的通信切断。

典型而言，认证表181、识别文件182以及错误图像文件183包括非易失性存储器。根据图18所示的图像处理装置100a，通过认证拍摄装置ca前的用户a，能够掌握拍摄装置ca前的用户从用户a进行了更换。因此，能够抑制其他用户假冒用户a而利用图像通信系统200。

此外，在图像通信系统200中，也可以按每个用户决定能够允许的图像处理装置100。在这种情况下，认证表181也可以具有按每个用户示出能够允许的装置的信息。

此处，参照图20的(a)对认证表181进行说明。图20的(a)示出本实施方式的图像处理装置100a的认证表181。图20的(a)的认证表181除去还具有按每个用户示出能够允许的装置的允许装置信息这点之外，其他与参照图19而上述的认证表181相同。因此，为了避免冗长而省略重复的说明。允许装置信息是允许信息的一个例子。

如图20的(a)所示，认证表181按每个用户id示出登录名、姓名、身份证以及密码。另外，认证表181按每个用户id示出表示指纹、掌纹、声纹以及视网膜的信息的有无。另外，认证表181示出存储用户的登录时的实物影像数据的文件夹的地址和认证错误信息。并且，认证表181按每个用户id示出允许装置信息。允许装置信息使用装置id而示出。

此处，认证表181的允许装置信息示出用户a能够使用由id1、id3以及id4示出的图像处理装置。另外，认证表181的允许装置信息示出用户d能够使用由id1、id3以及id4示出的图像处理装置。因此，在用户使用允许装置的情况下，合成部130能够基于允许用户的第二图像数据的生成的允许信息，生成第二图像数据。

图20的(b)是本实施方式的图像通信系统200的装置信息表。装置信息表示出按每个装置id的装置信息以及有效/无效信息。此处，装置信息示出装置的制造者、型号以及产品编号，有效/无效信息示出装置是否相对于图像通信系统200有效或者无效。用户或者图像通信系统200的管理者能够切换有效/无效信息。由此，图像处理装置能够切换是否在图像通信系统200中有效地发挥功能。

此外，基于合成部130的合成也可以仅当在与第一图像相同的位置相对于相同的背景拍摄实物影像的情况下允许。

此处，参照图21对合成部位表以及允许图像表进行说明。图21的(a)示出本实施方式的图像处理装置的合成部位表。合成部位表存储于图像处理装置100的合成部130的保存存储器136。

如图21的(a)所示，合成部位表按每个部位id示出部位的名称以及种类。另外，合成部位表按每个部位id示出存储有每个用户id的第一图像数据的文件夹的地址、和图像信息。图像信息示出第一图像相对于成为第一图像源的整体图像的坐标位置。

例如，当在将与第一图像相同的拍摄装置ca固定于相同的房间内的状态拍摄实物影像的情况下，实物影像中的背景的位置以及大小与成为第一图像源的整体图像中的背景的位置以及大小相同。因此，也可以是，合成部130对是否在与第一图像相同的位置相对于相同的背景拍摄实物影像进行判定，并基于判定结果允许合成部130的合成。在这种情况下，合成部130在用户的第一图像的一部分与实物影像的一部分一致的情况下生成第二图像数据。

图21的(b)是本实施方式的图像处理装置的允许图像表。如图21的(b)所示，允许图像表按每个id示出文件名以及图像信息以及数据状况。

以上，参照附图对本发明的实施方式进行了说明。但是，本发明不局限于上述的实施方式，能够在不脱离其主旨的范围内以各种方式实施。另外，通过将上述的实施方式所公开的多个构成要素适当地组合，能够形成各种发明。例如，也可以从实施方式所示的全部构成要素删除几个构成要素。并且，也可以将不同实施方式的构成要素适当地组合。为了容易理解，附图将各个构成要素示意性地示出于主体，能够在不从本发明的效果实质脱离的范围内进行各种变更。

工业上的可利用性

根据本发明，能够局部变更并显示用户的实物影像。

附图标记说明

100图像处理装置

110第一存储部

120第二存储部

130合成部