主控制部100具备微处理器，根据存储部150所存储的控制程序或控制数据动作，统一控制智能手机101的各部分。主控制部100为了通过无线通信部110进行音频通信或数据通信，具备控制通信系统的各部分的移动通信控制功能及应用程序处理功能。
[0284]应用程序处理功能通过主控制部100根据存储部150所存储的应用程序而动作来实现。作为应用程序处理功能，例如可举出控制外部输入输出部160来与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。
[0285]主控制部100具备根据接收数据或所下载的流数据等图像数据(静止图像或运动图像的数据)向显示输入部120显示影像等的图像处理功能。图像处理功能是指主控制部100解码上述图像数据，并对该解码结果实施图像处理来将图像显示于显示输入部120的功能。
[0286]主控制部100执行对显示面板121的显示控制及检测通过操作部140、操作面板122进行的用户操作的操作检测控制。
[0287]通过执行显示控制，主控制部100显示用于启动应用程序软件的图标、或显示滚动条等软件键、或者显示用于创建电子邮件的窗口。滚动条是指用于针对无法容纳于显示面板121的显示区域的较大图像等，用于接收移动图像的显示部分的指示的软件键。
[0288]通过执行操作检测控制，主控制部100检测通过操作部140进行的用户操作，或接收通过操作面板122进行的相对于图标的操作或相对于窗口的输入栏的文字列的输入，或者接收通过滚动条进行的显示图像的滚动要求。
[0289]通过执行操作检测控制，主控制部100具备触控面板控制功能，该功能判定相对于操作面板122的操作位置是与显示面板121重叠的重叠部分(显示区域)还是不与显示面板121重叠的除此以外的外缘部分(非显示区域)，并控制操作面板122的感应区域或软件键的显示位置。
[0290]主控制部100还能够检测相对于操作面板122的手势操作并根据检测出的手势操作执行预先设定的功能。手势操作是指并非以往的简单的触控操作，而是根据手指等描绘轨迹，或同时指定多个位置，或者组合这些来从多个位置对至少I个描绘轨迹的操作。
[0291]摄像机部141 为例如使用 CMOS (Complementary Metal Oxide Semiconduc tor)或CCD (Charge-Coupled Device)等摄像元件进行电子拍摄的数码摄像机。能够通过主控制部100将通过摄像机部141拍摄获得的图像数据转换为例如JPEGQoint Photographiccoding Experts Group)等压缩的图像数据来存储于存储部150，或者通过输入输出部160或无线通信部110输出。如图29所示，本实施方式的智能手机101中，摄像机部141搭载于与显示输入部120相同的表面，但不限定于此，摄像机部141可搭载于显示输入部120的背面，也可搭载有多个摄像机部141。另外，搭载有多个摄像机部141时，还能够切换供拍摄的摄像机部141来单独拍摄或者同时使用多个摄像机部141进行拍摄。
[0292]摄像机部141能够利用于智能手机101的各种功能中。例如，能够利用于在显示面板121显示通过摄像机部141获取的图像，或者作为操作面板122的操作输入之一利用摄像机部141的图像。当GPS接收部170检测位置时，还能够参考来自摄像机部141的图像来检测位置。而且，还能够参考来自摄像机部141的图像，不使用3轴加速度传感器或者与3轴加速度传感器同时使用来判断智能手机101的摄像机部141的光轴方向，或判断当前的使用环境。能够在应用程序软件内利用来自摄像机部141的图像。
[0293]还能够在利用摄像机部141获得的静止图像或动画的图像数据上附加通过GPS接收部170获取的位置信息、通过麦克风132获取的音频信息(也可以通过主控制部100等进行音频文本转换而成为文本信息)、通过动作传感器部180获取的姿势信息等。并且还能够将被附加有位置信息和音频信息、姿势信息等的静止图像或动画的图像数据存储于存储部150，或者通过输入输出部160或无线通信部110输出。
[0294]上述智能手机101中，图3的图像处理电路32例如能够通过主控制部100、存储部150等适当地实现。
[0295]符号说明
[0296]10-数码摄像机，12-摄像机主体，14-透镜单元，20-摄影光学系统，21-变焦透镜，22-聚焦透镜，23-机械快门，24-变焦机构，25-聚焦机构，26-透镜驱动器，27-摄像元件，30-CPU，31-摄像元件驱动器，32-图像处理电路，33-媒体界面，34-压缩伸长处理电路，35-显示控制部，36-操作部，37-存储器，38-存储卡，39-EVF，40-背面LCD，41 -混色判定校正部，42-WB校正部，43-信号处理部，44-RGB积算部，45-WB增益计算部，50-像素，50B-B像素，50G-G像素，50R-R像素，51-微透镜，52-滤色器，53-光电二极管，56-通常光，57-异常倾斜入射光，61-入射光检测部，63-入射光校正部，65-存储部，66-像素数据值计算部，67-像素数据图案计算部，68-异常倾斜入射光判定部，100-主控制部，101-智能手机，102-框体，110-无线通信部，120-显示输入部，121-显示面板，122-操作面板，130-通话部，131-扬声器，132-麦克风，140-操作部，141-摄像机部，150-存储部，151-内部存储部，152-外部存储部，160-外部输入输出部，170-GPS接收部，180-动作传感器部。
【主权项】
1.一种摄像装置，其具备:摄像元件，具有沿第I方向及与该第I方向垂直的第2方向排列的多个像素，所述多个像素分别具有滤色器及接收透过该滤色器的光而输出像素数据的光电二极管；及异常倾斜入射光检测构件，根据所述像素数据检测入射到所述摄像元件的异常倾斜入射光，所述摄像装置的特征在于， 所述多个像素包含沿所述第I方向的正方向及负方向相邻的像素以及沿所述第2方向的正方向及负方向相邻的像素的滤色器的图案互不相同的至少4种判定用像素， 相对于各个所述判定用像素，沿所述第I方向的正方向及负方向相邻的像素以及沿所述第2方向的正方向及负方向相邻的像素中的至少I个像素为具有第I颜色的滤色器的第I颜色像素， 相对于各个所述判定用像素，沿所述第I方向的正方向及负方向相邻的像素以及沿所述第2方向的正方向及负方向相邻的像素中，隔着所述判定用像素配置于与所述第I颜色像素对置的位置的像素具有所述第I颜色的滤色器以外的滤色器， 所述异常倾斜入射光检测构件根据所述摄像元件内的区域而且是包含多个各种所述判定用像素的区域内的每一种所述判定用像素的所述像素数据的平均值，检测入射到所述摄像元件的异常倾斜入射光。2.根据权利要求1所述的摄像装置，其中， 所述异常倾斜入射光检测构件根据所述区域内的每一种所述判定用像素的所述像素数据的平均值检测入射到所述摄像元件的异常倾斜入射光的入射方向。3.根据权利要求1或2所述的摄像装置，其中， 所述摄像装置还具备存储构件，该存储构件存储将与相对于所述摄像元件的所述异常倾斜入射光的入射相关的信息、与基于所述区域内的每一种所述判定用像素的所述像素数据的平均值的数据图案建立对应关系的判别表， 所述异常倾斜入射光检测构件参考所述判别表检测入射到所述摄像元件的异常倾斜入射光。4.根据权利要求3所述的摄像装置，其中， 所述判别表中的与相对于所述摄像元件的所述异常倾斜入射光的入射相关的所述信息是按所述异常倾斜入射光的每种颜色而确定的， 所述异常倾斜入射光检测构件根据所述摄像元件的所述区域内的每种颜色的滤色器的所述像素数据检测所述异常倾斜入射光的颜色种类，参考与检测出的所述异常倾斜入射光的颜色种类相对应的所述判别表检测入射到所述摄像元件的异常倾斜入射光。5.根据权利要求3或4所述的摄像装置，其中， 所述判别表中，将以所述至少4种判定用像素中的每一种类的所述像素数据即各种判定用像素数据的平均值的总计的平均值或所述各种判定用像素数据的平均值的中央值为基准的表示所述各种判定用像素数据的比例的数据图案、及与相对于所述摄像元件的所述异常倾斜入射光的入射相关的所述信息建立对应关系。6.根据权利要求3至5中任一项所述的摄像装置，其中， 所述判别表中，将基于所述各种像素数据的平均值的大小的顺序、及与相对于所述摄像元件的所述异常倾斜入射光的入射相关的所述信息建立对应关系， 所述异常倾斜入射光检测构件根据所述区域内的所述各种像素数据的平均值对所述至少4种判定用像素分配顺序，并参考所述判别表检测入射到所述摄像元件的异常倾斜入射光。7.根据权利要求4所述的摄像装置，其中， 所述多个像素至少包含具有第I颜色种类的滤色器的第I颜色种类像素、具有第2颜色种类的滤色器的第2颜色种类像素、及具有第3颜色种类的滤色器的第3颜色种类像素， 所述异常倾斜入射光检测构件将所述第I颜色种类的滤色器、所述第2颜色种类的滤色器及所述第3颜色种类的滤色器中的与检测出的所述异常倾斜入射光的颜色种类相对应的颜色种类的滤色器作为所述第I颜色的滤色器，确定所述至少4种判定用像素。8.根据权利要求7所述的摄像装置，其中， 所述异常倾斜入射光检测构件判定为，在所述摄像元件的所述区域中，与设为O< X ^ I时的第I颜色种类像素的所述像素数据的平均值的X倍的值、设为O < Y < I时的第2颜色种类像素的所述像素数据的平均值的Y倍的值、及设为O < Z < I时的第3颜色种类像素的所述像素数据的平均值的Z倍的值中表示为最大值的颜色种类的滤色器相对应的颜色种类的所述异常倾斜入射光入射到所述摄像元件。9.根据权利要求1至8中任一项所述的摄像装置，其中， 所述摄像装置还具备校正构件，所述校正构件根据所述异常倾斜入射光检测构件的检测结果，对具有检测出所述异常倾斜入射光的所述光电二极管的像素的所述像素数据进行校正。10.根据权利要求1至9中任一项所述的摄像装置，其中， 所述区域为包含所有所述摄像元件的所述多个像素的区域。11.根据权利要求1至9中任一项所述的摄像装置，其中， 所述区域为将所述摄像元件分割为多个区域的多个分割区域中的每一个。12.根据权利要求11所述的摄像装置，其中， 所述多个分割区域包含所有所述摄像元件的所述多个像素。13.根据权利要求1至9中任一项所述的摄像装置，其中， 所述摄像元件中，设定有多个第I分割区域，并且设定有具有与该第I分割区域不同的分割方式的多个第2分割区域， 所述多个第I分割区域与所述多个第2分割区域至少局部重叠， 所述多个像素包含分类到所述第I分割区域中的任一个中且分类到所述第2分割区域中的任一个中的像素， 所述异常倾斜入射光检测构件根据各个所述第I分割区域中的每一种所述判定用像素的所述像素数据的平均值检测入射到各个所述第I分割区域的异常倾斜入射光，根据各个所述第2分割区域中的每一种所述判定用像素的所述像素数据的平均值检测入射到各个所述第2分割区域的异常倾斜入射光，根据入射到各个所述第I分割区域的异常倾斜入射光的检测结果及入射到各个所述第2分割区域的异常倾斜入射光的检测结果，检测入射到各个所述第I分割区域与各个所述第2分割区域重叠的区域的异常倾斜入射光。14.根据权利要求13所述的摄像装置，其中， 各个所述第2分割区域与2个以上的所述第I分割区域重叠。15.根据权利要求13或14所述的摄像装置，其中， 各个所述第I分割区域与各个所述第2分割区域具有相同形状及尺寸， 所述第I分割区域与所述第2分割区域设定成在所述第I方向及所述第2方向中的至少一个方向上偏离所述第I分割区域的大小的一半。16.根据权利要求1至15中任一项所述的摄像装置，其中， 所述多个像素包含具有滤色器排列图案的多个基本排列像素群而且是沿第I方向及第2方向并置的多个基本排列像素群， 所述多个基本排列像素群的每一个包含至少I组以上的所述至少4种判定用像素组。17.根据权利要求1至16中任一项所述的摄像装置，其中， 所述至少4种判定用像素由第I判定用像素、第2判定用像素、第3判定用像素及第4判定用像素构成， 相对于所述第I判定用像素，所述第I颜色的像素沿所述第I方向的正方向相邻，具有所述第I颜色的滤色器以外的滤色器的像素沿所述第I方向的负方向、所述第2方向的正方向及所述第2方向的负方向相邻， 相对于所述第2判定用像素，所述第I颜色的像素沿所述第I方向的负方向相邻，具有所述第I颜色的滤色器以外的滤色器的像素沿所述第I方向的正方向、所述第2方向的正方向及所述第2方向的负方向相邻， 相对于所述第3判定用像素，所述第I颜色的像素沿所述第2方向的正方向相邻，具有所述第I颜色的滤色器以外的滤色器的像素沿所述第I方向的正方向、所述第I方向的负方向及所述第2方向的负方向相邻， 相对于所述第4判定用像素，所述第I颜色的像素沿所述第2方向的负方向相邻，具有所述第I颜色的滤色器以外的滤色器的像素沿所述第I方向的正方向、所述第I方向的负方向及所述第2方向的正方向相邻。18.根据权利要求1至16中任一项所述的摄像装置，其中， 所述至少4种判定用像素由第I判定用像素、第2判定用像素、第3判定用像素及第4判定用像素构成， 相对于所述第I判定用像素，所述第I颜色的像素沿所述第I方向的正方向及所述第2方向的正方向相邻，具有所述第I颜色的滤色器以外的滤色器的像素沿所述第I方向的负方向及所述第2方向的负方向相邻， 相对于所述第2判定用像素，所述第I颜色的像素沿所述第I方向的负方向及所述第2方向的正方向相邻，具有所述第I颜色的滤色器以外的滤色器的像素沿所述第I方向的正方向及所述第2方向的负方向相邻， 相对于所述第3判定用像素，所述第I颜色的像素沿所述第I方向的正方向及所述第2方向的负方向相邻，具有所述第I颜色的滤色器以外的滤色器的像素沿所述第I方向的负方向及所述第2方向的正方向相邻， 相对于所述第4判定用像素，所述第I颜色的像素沿所述第I方向的负方向及所述第2方向的负方向相邻，具有所述第I颜色的滤色器以外的滤色器的像素沿所述第I方向的正方向及所述第2方向的正方向相邻。19.根据权利要求1至18中任一项所述的摄像装置，其中， 所述第I颜色的滤色器为红色滤波器、透明滤波器及白色滤波器中的任一个。20.根据权利要求16所述的摄像装置，其中， 各个所述基本排列像素群包含在所述第I方向及所述第2方向上具有3像素X3像素的像素排列的2组第I子排列像素群及2组第2子排列像素群， 第I子排列像素群在所述第I方向及所述第2方向上与第2子排列像素群相邻，第2子排列像素群在所述第I方向及所述第2方向上与第I子排列像素群相邻， 第I子排列像素群包含:配置于中央及四角的具有第2颜色的滤色器的第2颜色像素、配置于沿所述第I方向的正方向及负方向与中央的像素相邻的位置的所述第I颜色像素、及配置于沿所述第2方向的正方向及负方向与中央的像素相邻的位置的具有第3颜色的滤色器的第3颜色像素， 第2子排列像素群包含:配置于中央及四角的所述第2颜色像素、配置于沿所述第2方向的正方向及负方向与中央的像素相邻的位置的所述第I颜色像素、及配置于沿所述第I方向的正方向及负方向与中央的像素相邻的位置的所述第3颜色像素， 由配置于第I子排列像素群的四角的像素中配置于一个对角方向的2像素与配置于第2子排列像素群的四角的像素中配置于另一个对角方向的2像素构成所述判定用像素。21.—种图像处理装置，其具备异常倾斜入射光检测构件，所述异常倾斜入射光检测构件检测入射到摄像元件的异常倾斜入射光，所述摄像元件具有沿第I方向及与该第I方向垂直的第2方向排列的多个像素，所述多个像素分别具有滤色器及接收透过该滤色器的光而输出像素数据的光电二极管，其中， 所述多个像素包含沿所述第I方向的正方向及负方向相邻的像素以及沿所述第2方向的正方向及负方向相邻的像素的滤色器的图案互不相同的至少4种判定用像素， 相对于各个所述判定用像素，沿所述第I方向的正方向及负方向相邻的像素以及沿所述第2方向的正方向及负方向相邻的像素中的至少I个为具有第I颜色的滤色器的第I颜色像素， 相对于各个所述判定用像素，沿所述第I方向的正方向及负方向相邻的像素以及沿所述第2方向的正方向及负方向相邻的像素中，隔着所述判定用像素配置于与所述第I颜色像素对置的位置的像素为具有所述第I颜色的滤色器以外的滤色器的像素， 所述异常倾斜入射光检测构件根据所述摄像元件内的区域而且是包含多个各种所述判定用像素的区域内的每一种所述判定用像素的所述像素数据的平均值，检测入射到所述摄像元件的异常倾斜入射光。22.一种图像处理方法，其具备异常倾斜入射光检测步骤，所述异常倾斜入射光检测步骤中，检测入射到摄像元件的异常倾斜入射光，所述摄像元件具有沿第I方向及与该第I方向垂直的第2方向排列的多个像素，所述多个像素分别具有滤色器及接收透过该滤色器的光而输出像素数据的光电二极管，其中， 所述多个像素包含沿所述第I方向的正方向及负方向相邻的像素以及沿所述第2方向的正方向及负方向相邻的像素的滤色器的图案互不相同的至少4种判定用像素， 相对于各个所述判定用像素，沿所述第I方向的正方向及负方向相邻的像素以及沿所述第2方向的正方向及负方向相邻的像素中的至少I个为具有第I颜色的滤色器的第I颜色像素， 相对于各个所述判定用像素，沿所述第I方向的正方向及负方向相邻的像素以及沿所述第2方向的正方向及负方向相邻的像素中，隔着所述判定用像素配置于与所述第I颜色像素对置的位置的像素为具有所述第I颜色的滤色器以外的滤色器的像素， 所述异常倾斜入射光检测步骤中，根据所述摄像元件内的区域而且是包含多个各种所述判定用像素的区域内的每一种所述判定用像素的所述像素数据的平均值，检测入射到所述摄像元件的异常倾斜入射光。23.—种程序，其用于使计算机执行如下步骤，在该步骤中检测入射到摄像元件的异常倾斜入射光，所述摄像元件具有沿第I方向及与该第I方向垂直的第2方向排列的多个像素，所述多个像素分别具有滤色器及接收透过该滤色器的光而输出像素数据的光电二极管，其中， 所述多个像素包含沿所述第I方向的正方向及负方向相邻的像素以及沿所述第2方向的正方向及负方向相邻的像素的滤色器的图案互不相同的至少4种判定用像素， 相对于各个所述判定用像素，沿所述第I方向的正方向及负方向相邻的像素以及沿所述第2方向的正方向及负方向相邻的像素中的至少I个为具有第I颜色的滤色器的第I颜色像素， 相对于各个所述判定用像素，沿所述第I方向的正方向及负方向相邻的像素以及沿所述第2方向的正方向及负方向相邻的像素中，隔着所述判定用像素配置于与所述第I颜色像素对置的位置的像素为具有所述第I颜色的滤色器以外的滤色器的像素， 所述程序用于使计算机执行如下步骤，即，根据所述摄像元件内的区域即包含多个各种所述判定用像素的区域内的每一种所述判定用像素的所述像素数据的平均值，检测入射到所述摄像元件的异常倾斜入射光。
【专利摘要】本发明提供一种即使摄像元件具有复杂的滤色器排列时也能够简单地检测异常倾斜入射光的入射的有无及入射方向的摄像装置、图像处理装置、图像处理方法及程序。构成摄像元件的像素包含相邻像素的滤色器图案互不相同的至少4种判定用像素。相对于各个判定用像素相邻的像素中的至少一个为具有第1颜色的滤色器的第1颜色像素。并且，相对于各个判定用像素的相邻像素中，隔着判定用像素配置于与第1颜色像素对置的位置的像素具有第1颜色的滤色器以外的滤色器。根据这些每一种判定用像素的像素数据的平均值，检测入射到摄像元件的异常倾斜入射光。
【IPC分类】H04N9/07
【公开号】CN104995912
【申请号】CN201480007868
【发明人】河合智行, 林健吉, 仓桥秀和
【申请人】富士胶片株式会社
【公开日】2015年10月21日
【申请日】2014年2月18日
【公告号】US20150326838, WO2014136570A1