大型网站开发成本,网站正在建设中不动产,wordpress虚拟支付插件,网站制作公司怎样帮客户做优化来源#xff1a;智东西摘要#xff1a;本期我们推荐来自清华大学副教授唐杰领导的学者大数据挖掘项目Aminer的研究报告#xff0c;讲解人脸识别技术及其应用领域#xff0c;介绍人脸识别领域的国内玩人才并预测该技术的发展趋势。自20世纪下半叶#xff0c;计算机视觉技术… 来源智东西摘要本期我们推荐来自清华大学副教授唐杰领导的学者大数据挖掘项目Aminer的研究报告讲解人脸识别技术及其应用领域介绍人脸识别领域的国内玩人才并预测该技术的发展趋势。自20世纪下半叶计算机视觉技术逐渐地发展壮大。同时伴随着数字图像相关的软硬件技术在人们生活中的广泛使用数字图像已经成为当代社会信息来源的重要构成因素各种图像处理与分析的需求和应用也不断促使该技术的革新。计算机视觉技术的应用十分广泛。数字图像检索管理、医学影像分析、智能安检、人机交互等领域都有计算机视觉技术的涉足。该技术是人工智能技术的重要组成部分也是当今计算机科学研究的前沿领域。经过近年的不断发展已逐步形成一套以数字信号处理技术。计算机图形图像、信息论和语义学相互结合的综合性技术并具有较强的边缘性和学科交叉性。其中人脸检测与识别当前图像处理、模式识别和计算机视觉内的一个热门研究课题 也是目前生物特征识别中最受人们关注的一个分支。人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。通常采用摄像机或摄像头采集含有人脸的图像或视频流并自动在图像中检测和跟踪人脸。根据资料2017 年生物识别技术全球市场规模上升到了 172 亿美元到 2020 年预计全世界的生物识别市场规模有可能达到 240 亿美元。自 2015 年到 2020 年人脸识别市场规模增长了 166.6%在众多生物识别技术中增幅居于首位预计到 2020 年人脸识别技术市场规模将上升至 24 亿美元。人脸识别技术概述1、基本概念人类视觉系统的独特魅力驱使着研究者们试图通过视觉传感器和计算机软硬件模拟出人类对三维世界图像的采集、处理、分析和学习能力以便使计算机和机器人系统具有智能化的视觉功能。在过去 30 年间众多不同领域的科学家们不断地尝试从多个角度去了解生物视觉和神经系统的奥秘以便借助其研究成果造福人类。自 20 世纪下半叶计算机视觉技术就在此背景下逐渐地发展壮大。同时伴随着数字图像相关的软硬件技术在人们生活中的广泛使用数字图像已经成为当代社会信息来源的重要构成因素各种图像处理与分析的需求和应用也不断促使该技术的革新。计算机视觉技术的应用十分广泛。数字图像检索管理、医学影像分析、智能安检、人机交互等领域都有计算机视觉技术的涉足。该技术是人工智能技术的重要组成部分也是当今计算机科学研究的前沿领域。经过近年的不断发展已逐步形成一套以数字信号处理技术、计算机图形图像、信息论和语义学相互结合的综合性技术并具有较强的边缘性和学科交叉性。其中人脸检测与识别当前图像处理、模式识别和计算机视觉内的一个热门研究课题 也是目前生物特征识别中最受人们关注的一个分支。人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。通常采用摄像机或摄像头采集含有人脸的图像或视频流并自动在图像中检测和跟踪人脸。根据中国报告网发布《2018 年中国生物识别市场分析报告-行业深度分析与发展前景预测》中内容2017 年生物识别技术全球市场规模上升到了 172 亿美元到 2020 年预计全世界的生物识别市场规模有可能达到 240 亿美元。自 2015 年到 2020 年人脸识别市场规模增长了 166.6%在众多生物识别技术中增幅居于首位预计到 2020 年人脸识别技术市场规模将上升至 24 亿美元。在不同的生物特征识别方法中人脸识别有其自身特殊的优势因而在生物识别中有着重要的地位。人脸识别的五个优势非侵扰性。人脸识别无需干扰人们的正常行为就能较好地达到识别效果无需担心被识别者是否愿意将手放在指纹采集设备上他们的眼睛是否能够对准虹膜扫描装置等等。只要在摄像机前自然地停留片刻用户的身份就会被正确识别。便捷性。采集设备简单使用快捷。一般来说常见的摄像头就可以用来进行人脸图像的采集 不需特别复杂的专用设备。图像采集在数秒内即可完成。友好性。通过人脸识别身份的方法与人类的习惯一致人和机器都可以使用人脸图片进行识别。而指纹虹膜等方法没有这个特点一个没有经过特殊训练的人无法利用指纹和虹膜图像对其他人进行身份识别。非接触性。人脸图像信息的采集不同于指纹信息的采集利用指纹采集信息需要用手指接触到采集设备既不卫生也容易引起使用者的反感而人脸图像采集用户不需要与设备直接接触。可扩展性。在人脸识别后下一步数据的处理和应用决定着人脸识别设备的实际应用如应用在出入门禁控制、人脸图片搜索、上下班刷卡、恐怖分子识别等各个领域可扩展性强。正是因为人脸识别拥有这些良好的特性使其具有非常广泛的应用前景也正引起学术界和商业界越来越多的关注。人脸识别已经广泛应用于身份识别、活体检测、唇语识别、创意相机、人脸美化、社交平台等场景中。2、发展历程早在 20 世纪 50 年代认知科学家就已着手对人脸识别展开研究。20 世纪 60 年代人脸识别工程化应用研究正式开启。当时的方法主要利用了人脸的几何结构通过分析人脸器官特征点及其之间的拓扑关系进行辨识。这种方法简单直观但是一旦人脸姿态、表情发生变化精度则严重下降。 20世纪90年代1991 年著名的“特征脸”Eigenface方法第一次将主成分分析和统计特征技术引入人脸识别在实用效果上取得了长足的进步。这一思路也在后续研究中得到进一步发扬光大 例如Belhumer 成功将 Fisher 判别准则应用于人脸分类提出了基于线性判别分析的Fisherface 方法。2000-2012年21 世纪的前十年随着机器学习理论的发展学者们相继探索出了基于遗传算法、支持向量机Support Vector MachineSVM、boosting、流形学习以及核方法等进行人脸识别。2009 年至 2012 年稀疏表达Sparse Representation因为其优美的理论和对遮挡因素的鲁棒性成为当时的研究热点。与此同时业界也基本达成共识基于人工精心设计的局部描述子进行特征提取和子空间方法进行特征选择能够取得最好的识别效果。Gabor 及 LBP 特征描述子是迄今为止在人脸识别领域最为成功的两种人工设计局部描述子。这期间对各种人脸识别影响因子的针对性处理也是那一阶段的研究热点比如人脸光照归一化、人脸姿态校正、人脸超分辨以及遮挡处理等。也是在这一阶段研究者的关注点开始从受限场景下的人脸识别转移到非受限环境下的人脸识别。LFW 人脸识别公开竞赛LFW 是由美国马萨诸塞大学发布并维护的公开人脸数集测试数据规模为万在此背景下开始流行当时最好的识别系统尽管在受限的 FRGC 测试集上能取得 99%以上的识别精度但是在 LFW 上的最高精度仅仅在 80%左右距离实用看起来距离颇远。2013年微软亚洲研究院的研究者首度尝试了 10 万规模的大训练数据并基于高维LBP 特征和 Joint Bayesian 方法在 LFW 上获得了 95.17%的精度。这一结果表明大训练数据集对于有效提升非受限环境下的人脸识别很重要。然而以上所有这些经典方法都难以处理大规模数据集的训练场景。2014年2014 年前后随着大数据和深度学习的发展神经网络重受瞩目并在图像分类、手写体识别、语音识别等应用中获得了远超经典方法的结果。香港中文大学的 Sun Yi 等人提出将卷积神经网络应用到人脸识别上采用 20 万训练数据在 LFW 上第一次得到超过人类水平的识别精度这是人脸识别发展历史上的一座里程碑。自此之后研究者们不断改进网络结构同时扩大训练样本规模将 LFW 上的识别精度推到 99.5%以上。人脸识别发展过程中一些经典的方法及其在 LFW 上的精度都有一个基本的趋势训练数据规模越来越大识别精度越来越高。3、中国政策支持2015 年以来国家密集出台了《关于银行业金融机构远程开立人民币账户的指导意见征求意见稿》给人脸识别普及打开了门缝其后《安全防范视频监控人脸识别系统技术要求》、《信息安全技术网络人脸识别认证系统安全技术要求》等法律法规为人脸识别在金融、安防、医疗等领域的普及打下了坚实的基础扫清了政策障碍。同时2017 年人工智能首次写入国家政府报告作为人工智能的重要细分领域国家对人脸识别相关的政策支持力度在不断的加大。2017 年 12 月发布的《促进新一代人工智能产业发展三年行动计划2018-2020 年》规划“到 2020 年复杂动态场景下人脸识别有效检出率超过 97%正确识别率超过 90%”。▲人脸识别相关政策4、发展热点研究通过对以往人脸识别领域论文的挖掘总结出人脸识别领域的研究关键词主要集中在人脸识别、特征提取、稀疏表示、图像分类、神经网络、目标检测、人脸图像、人脸检测、图像表示、计算机视觉、姿态估计、人脸确认等领域。下图是对人脸识别研究趋势的分析旨在基于历史的科研成果数据的基础上对技术来源、热度甚至发展趋势进行研究。图 2 中每个彩色分支代表一个关键词领域其宽度表示该关键词的研究热度各关键词在每一年份的位置是按照这一时间上所有关键词的热度高度进行排序。起初Computer Vision计算机视觉是研究的热点在 20 世纪末期Feature Extraction特征提取超越 CV成为研究的新热点其后在 21 世纪初期被 Face Recognition 超过至今一直处在第二的位置上。此外研究根据最近两年发表于 FGInternational Conference on Automatic Face and Gesture Recognition的论文中提取出来的关键词发现Face Recognition 出现频率最高为118 次Object Detection 排在第二位为 41 次Image Classification 和 Object Recognition 以36 次并列第三出现次数超过十次的词汇还有 Image Segmentation32、Action Recognition32、Sparse Representation28、Image Retrieval27、Visual Tracking24、SingleImage23。词云图如下所示▲人脸识别词云分析5、人脸识别相关会议计算机视觉CV界三大顶级国际会议ICCV IEEE International Conference on Computer Vision该会议由美国电气和电子工程师学会IEEE Institute of Electrical Electronic Engineers主办主要在欧洲、亚洲、美洲的一些科研实力较强的国家举行。作为世界顶级的学术会议首届国际计算机视觉大会于 1987 年在伦敦揭幕其后两年举办一届。 ICCV 是计算机视觉领域最高级别的会议会议的论文集代表了计算机视觉领域最新的发展方向和水平。 论文接受率在 20%左右。方向为计算机视觉、模式识别、多媒体计算等。近年来全球学界愈来愈关注中国人在计算机视觉领域所取得的科研成就这是因为由中国人主导的相关研究已取得了长足的进步——2007 年大会共收到论文 1200 余篇而获选论文仅为 244 篇其中来自中国大陆香港及台湾的论文有超过 30 篇超过大会获选论文总数的 12%。作为最早投入深度学习技术研发的华人团队在多年布局的关键技术基础之上香港中文大学教授汤晓鸥率领的团队迅速取得技术突破。2012 年国际计算视觉与模式识别会议CVPR上仅有的两篇深度学习文章均出自汤晓鸥实验室而在 2013 年国际计算机视觉大会ICCV上全球学者共发表的 8 篇深度学习领域的文章中有 6 篇出自汤晓鸥实验室。CVPRIEEE Conference on Computer Vision and Pattern Recognition该会议是由 IEEE 举办的计算机视觉和模式识别领域的顶级会议。每年召开一次录取率在 25%左右。方向为计算机视觉、模式识别、多媒体计算等。香港中文大学教授汤晓鸥率领的团队在全球范围内做出了大量深度学习原创技术突破2012 年国际计算视觉与模式识别会议CVPR上仅有的两篇深度学习文章均出自其实验室2011—2013 年间在计算机视觉领域两大顶级会议 ICCV 和 CVPR 上发表了 14 篇深度学习论文占据全世界在这两个会议上深度学习论文总数29篇的近一半。他在 2009 年获得计算机视觉领域两大最顶尖的国际学术会议之一 CVPR 最佳论文奖这是 CVPR 历史上来自亚洲的论文首次获奖。ECCVEuropean Conference on Computer VisionECCV 是一个欧洲的会议每次会议在全球范围录用论文 300 篇左右主要的录用论文都来自美国、欧洲等顶尖实验室及研究所中国大陆的论文数量一般在 10-20 篇之间。ECCV2010 的论文录取率为 27%。两年召开一次论文接受率在 20%左右。方向为计算机视觉、模式识别、多媒体计算等。2018 年的 ECCV 于 2018 年 9 月 8 日-14 日在德国慕尼黑举办。亚洲计算机视觉会议ACCVAsian Conference on Computer VisionACCV 即亚洲计算机视觉会议是 AFCVAsian Federation of Computer Vision亚洲计算机视觉联盟自 1993 年以来官方组织的两年一度的会议旨在为研究者、开发者和参与者提供一个良好的平台来展示和讨论计算机视觉领域和相关领域的新问题、新方案和新技术。2018 年第 14 届亚洲计算机视觉会议将于 2018 年 12 月 4 日-6 日在澳大利亚举办。人脸和手势识别专门的会议FGIEEE International Conference on Automatic Face and Gesture Recognition“International Conference on Automatic Face and Gesture Recognition”是全球范围内人脸与手势识别领域的权威学术会议。会议方向有人脸检测、人脸识别、表情识别、姿势分析、心理行为分析等。人脸识别技术详解1、人脸识别流程人脸识别技术原理简单来讲主要是三大步骤一是建立一个包含大批量人脸图像的数据库二是通过各种方式来获得当前要进行识别的目标人脸图像三是将目标人脸图像与数据库中既有的人脸图像进行比对和筛选。根据人脸识别技术原理具体实施起来的技术流程则主要包含以下四个部分即人脸图像的采集与预处理、人脸检测、人脸特征提取、人脸识别和活体鉴别。▲人脸识别技术流程人脸图像的采集与预处理人脸图像的采集与检测具体可分为人脸图像的采集和人脸图像的检测两部分内容。人脸图像的采集采集人脸图像通常情况下有两种途径分别是既有人脸图像的批量导入和人脸图像的实时采集。一些比较先进的人脸识别系统甚至可以支持有条件的过滤掉不符合人脸识别质量要求或者是清晰度质量较低的人脸图像尽可能的做到清晰精准的采集。既有人脸图像的批量导入即将通过各种方式采集好的人脸图像批量导入至人脸识别系统系统会自动完成逐个人脸图像的采集工作。人脸图像的实时采集即调用摄像机或摄像头在设备的可拍摄范围内自动实时抓取人脸图像并完成采集工作。人脸图像的预处理人脸图像的预处理的目的是在系统对人脸图像的检测基础之上对人脸图像做出进一步的处理以利于人脸图像的特征提取。人脸图像的预处理具体而言是指对系统采集到的人脸图像进行光线、旋转、切割、过滤、降噪、放大缩小等一系列的复杂处理过程来使得该人脸图像无论是从光线、角度、距离、大小等任何方面来看均能够符合人脸图像的特征提取的标准要求。在现实环境下采集图像由于图像受到光线明暗不同、脸部表情变化、阴影遮挡等众多外在因素的干扰导致采集图像质量不理想那就需要先对采集到的图像预处理如果图像预处理不好将会严重影响后续的人脸检测与识别。研究介绍三种图像预处理手段即灰度调整、图像滤波、图像尺寸归一化等。灰度调整因为人脸图像处理的最终图像一般都是二值化图像并且由于地点、设备、光照等方面的差异造成采集到彩色图像质量不同因此需要对图像进行统一的灰度处理来平滑处理这些差异。灰度调整的常用方法有平均值法、直方图变换法、幂次变换法、对数变换法等。图像滤波在实际的人脸图像采集过程中人脸图像的质量会受到各种噪声的影响这些噪声来源于多个方面比如周围环境中充斥大量的电磁信号、数字图像传输受到电磁信号的干扰等影响信道进而影响人脸图像的质量。为保证图像的质量减小噪声对后续处理过程的影响 必须对图像进行降噪处理。去除噪声处理的原理和方法很多常见的有均值滤波中值滤波等。目前常用中值滤波算法对人脸图像进行预处理。图像尺寸归一化在进行简单的人脸训练时候遇到人脸库的图像像素大小不一样时我们需要在上位机人脸比对识别之前对图像做尺寸归一化处理。需要比较常见的尺寸归一化算法有双线性插值算法、最近邻插值算法和立方卷积算法等。人脸检测一张包含人脸图像的图片通常情况下可能还会包含其他内容这时候就需要进行必要的人脸检测。也就是在一张人脸图像之中系统会精准的定位出人脸的位置和大小在挑选出有用的图像信息的同时自动剔除掉其他多余的图像信息来进一步的保证人脸图像的精准采集。人脸检测是人脸识别中的重要组成部分。人脸检测是指应用一定的策略对给出的图片或者视频来进行检索判断是否存在着人脸如果存在则定位出每张人脸的位置、大小与姿态的过程。人脸检测是一个具有挑战性的目标检测问题主要体现在两方面人脸目标内在的变化引起1、人脸具有相当复杂的细节变化和不同的表情(眼、嘴的开与闭等)不同的人脸具有不同的外貌如脸形、肤色等2、人脸的遮挡如眼镜、头发和头部饰物等。外在条件变化引起1、由于成像角度的不同造成人脸的多姿态如平面内旋转、深度旋转以及上下旋转等其中深度旋转影响较大2、光照的影响如图像中的亮度、对比度的变化和阴影等3、图像的成像条件如摄像设备的焦距、成像距离等。人脸检测的作用便是在一张人脸图像之中系统会精准的定位出人脸的位置和大小 在挑选出有用的图像信息的同时自动剔除掉其他多余的图像信息来进一步的保证人脸图像 的精准采集。人脸检测重点关注以下指标检测率识别正确的人脸/图中所有的人脸。检测率越高检测模型效果越好 误检率识别错误的人脸/识别出来的人脸。误检率越低检测模型效果越好 漏检率未识别出来的人脸/图中所有的人脸。漏检率越低检测模型效果越好 速度从采集图像完成到人脸检测完成的时间。时间越短检测模型效果越好。目前的人脸检测方法可分为三类分别是基于肤色模型的检测、基于边缘特征的检测、基于统计理论方法下面将对其进行简单的介绍1、基于肤色模型的检测肤色用于人脸检测时可采用不同的建模方法主要有高斯模型、高斯混合模型以及非参数估计等。利用高斯模型和高斯混合模型可以在不同颜色空间中建立肤色模型来进行人脸检测。通过提取彩色图像中的面部区域以实现人脸检测的方法能够处理多种光照的情况 但该算法需要在固定摄像机参数的前提下才有效。Comaniciu 等学者利用非参数的核函数概率密度估计法来建立肤色模型并使用 mean-shift 方法进行局部搜索实现了人脸的检测和跟踪。这一方法提高了人脸的检测速度对于遮挡和光照也有一定的鲁棒性。该方法的不足是和其他方法的可结合性不是很高同时用于人脸检测时处理复杂背景和多个人脸时存在困难。为了解决人脸检测中的光照问题可以针对不同光照进行补偿然后再检测图像中的肤色区域。这样可以解决彩色图像中偏光、背景复杂和多个人脸的检测问题但对人脸色彩、位置、尺度、旋转、姿态和表情等具有不敏感性。2、基于边缘特征的检测利用图像的边缘特征检测人脸时计算量相对较小可以实现实时检测。大多数使用边缘特征的算法都是基于人脸的边缘轮廓特性利用建立的模板如椭圆模版进行匹配。也有研究者采用椭圆环模型与边缘方向特征实现简单背景的人脸检测。Fröba 等采用基于边缘方向匹配Edge-Orientation MatchingEOM的方法在边缘方向图中进行人脸检测。该算法在复杂背景下误检率比较高但是与其他的特征相融合后可以获得很好的效果。3、 基于统计理论方法本文重点介绍基于统计理论方法中的Adaboost人脸检测算法。Adaboost算法是通过无数次循环迭代来寻求最优分类器的过程。用弱分类器Haar特征中任一特征放在人脸样本上求出人脸特征值通过更多分类器的级联便得到人脸的量化特征以此来区分人脸和非人脸。Haar功能由一些简单黑色白色水平垂直或旋转45°的矩形组成。目前的Haar特征总的来说广义地分为三类边缘特征、线特征以及中心特征。这一算法是由剑桥大学的 Paul Viola 和 Michael Jones 两位学者提出该算法优点在于不仅计算速度快还可以达到和其他算法相当的性能所以在人脸检测中应用比较广泛但也存在着较高的误检率。因为在采用 Adaboost 算法学习的过程中最后总有一些人脸和非人脸模式难以区分而且其检测的结果中存在一些与人脸模式并不相像的窗口。人脸特征提取目前主流的人脸识别系统可支持使用的特征通常可分为人脸视觉特征、人脸图像像素统计特征等而人脸图像的特征提取就是针对人脸上的一些具体特征来提取的。特征简单匹配算法则简单适用于大规模的建库反之则适用于小规模库。特征提取的方法一般包括基于知识的提取方法或者基于代数特征的提取方法。以基于知识的人脸识别提取方法中的一种为例因为人脸主要是由眼睛、额头、鼻子、耳朵、下巴、嘴巴等部位组成对这些部位以及它们之间的结构关系都是可以用几何形状特征来进行描述的也就是说每一个人的人脸图像都可以有一个对应的几何形状特征它可以帮助我们作为识别人脸的重要差异特征这也是基于知识的提取方法中的一种。人脸识别我们可以在人脸识别系统中设定一个人脸相似程度的数值再将对应的人脸图像与系统数据库中的所有人脸图像进行比对若超过了预设的相似数值那么系统将会把超过的人脸图像逐个输出此时我们就需要根据人脸图像的相似程度高低和人脸本身的身份信息来进行精确筛选这一精确筛选的过程又可以分为两类其一是一对一的筛选即对人脸身份进行确认过程其二是一对多的筛选即根据人脸相似程度进行匹配比对的过程。活体鉴别生物特征识别的共同问题之一就是要区别该信号是否来自于真正的生物体比如指纹识别系统需要区别带识别的指纹是来自于人的手指还是指纹手套人脸识别系统所采集到的人脸图像是来自于真实的人脸还是含有人脸的照片。因此实际的人脸识别系统一般需要增加活体鉴别环节例如要求人左右转头眨眼睛开开口说句话等。2、 人脸识别主要方法人脸识别技术的研究是一个跨越多个学科领域知识的高端技术研究工作其包括多个学科的专业知识如图像处理、生理学、心理学、模式识别等知识。在人脸识别技术研究的领域中目前主要有几种研究的方向如一种是根据人脸特征统计学的识别方法其主要有特征脸的方法以及隐马尔科夫模型HMMHidden Markov Model方法等另一种人脸识别方法是关于连接机制的主要有人工神经网络ANNArtificial Neural Network方法和支持向量机SVMSupport Vector Machine方法等还有一个就是综合多种识别方式的方法。基于特征脸的方法特征脸的方法是一种比较经典而又应用比较广的人脸识别方法其主要原理是把图像做降维算法使得数据的处理更容易同时速度又比较快。特征脸的人脸识别方法实际上是将图像做 Karhunen-Loeve 变换把一个高维的向量转化为低维的向量从而消除每个分量存在的关联性使得变换得到的图像与之对应特征值递减。在图像经过 K-L 变换后其具有很好的位移不变性和稳定性。所以特征脸的人脸识别方法具有方便实现并且可以做到速度更快以及对正面人脸图像的识别率相当高等优点。但是该方法也具有不足的地方 就是比较容易受人脸表情、姿态和光照改变等因素的影响从而导致识别率低的情况。 基于几何特征的方法基于几何特征的识别方法是根据人脸面部器官的特征及其几何形状进行的一种人脸识别方法是人们最早研究及使用的识别方法它主要是采用不同人脸的不同特征等信息进行匹配识别这种算法具有较快的识别速度同时其占用的内存也比较小但是其识别率也并不算高。该方法主要做法是首先对人脸的嘴巴、鼻子、眼睛等人脸主要特征器官的位置和大小进行检测然后利用这些器官的几何分布关系和比例来匹配从而达到人脸识别。基于几何特征识别的流程大体如下首先对人脸面部的各个特征点及其位置进行检测 如鼻子、嘴巴和眼睛等位置然后计算这些特征之间的距离得到可以表达每个特征脸的矢量特征信息例如眼睛的位置眉毛的长度等其次还计算每个特征与之相对应关系与人脸数据库中已知人脸对应特征信息来做比较最后得出最佳的匹配人脸。基于几何特征的方法符合人们对人脸特征的认识另外每幅人脸只存储一个特征所以占用的空间比较小 同时这种方法对光照引起的变化并不会降低其识别率而且特征模板的匹配和识别率比较高。但是基于几何特征的方法也存在着鲁棒性不好一旦表情和姿态稍微变化识别效果将大打折扣。基于深度学习的方法深度学习的出现使人脸识别技术取得了突破性进展。人脸识别的最新研究成果表明深度学习得到的人脸特征表达具有手工特征表达所不具备的重要特性例如它是中度稀疏的、对人脸身份和人脸属性有很强的选择性、对局部遮挡具有良好的鲁棒性。这些特性是通过大数据训练自然得到的并未对模型加入显式约束或后期处理这也是深度学习能成功应用在人脸识别中的主要原因。深度学习在人脸识别上有 7 个方面的典型应用基于卷积神经网络(CNN)的人脸识别方法深度非线性人脸形状提取方法基于深度学习的人脸姿态鲁棒性建模有约束环境中的全自动人脸识别基于深度学习的视频监控下的人脸识别基于深度学习的低分辨率人脸识别及其他基于深度学习的人脸相关信息的识别。其中卷积神经网络Convolutional Neural Networks,CNN是第一个真正成功训练多层网络结构的学习算法基于卷积神经网络的人脸识别方法是一种深度的监督学习下的机器学习模型能挖掘数据局部特征提取全局训练特征和分类其权值共享结构网络使之更类似于生物神经网络在模式识别各个领域都得到成功应用。CNN 通过结合人脸图像空间的局部感知区域、共享权重、在空间或时间上的降采样来充分利用数据本身包含的局部性等特征优化模型结构保证一定的位移不变性。利用 CNN 模型香港中文大学的 Deep ID 项目以及 Facebook 的 Deep Face 项目在 LFW 数据库上的人脸识别正确率分别达 97.45%和 97.35%只比人类视觉识别 97.5%的正确率略低。在取得突破性成果之后香港中文大学的 DeepID2 项目将识别率提高到了 99.15%。Deep ID2 通过学习非线性特征变换使类内变化达到最小而同时使不同身份的人脸图像间的距离保持 恒定超过了目前所有领先的深度学习和非深度学习算法在 LFW 数据库上的识别率以及人类在该数据库的识别率。深度学习已经成为计算机视觉中的研究热点关于深度学习的新算 法和新方向不断涌现并且深度学习算法的性能逐渐在一些国际重大评测比赛中超过了浅层 学习算法。基于支持向量机的方法将支持向量机SVM的方法应用到人脸识别中起源于统计学理论它研究的方向是如何构造有效的学习机器并用来解决模式的分类问题。其特点是将图像变换空间在其他空间做分类。支持向量机结构相对简单而且可以达到全局最优等特点所以支持向量机在目前人脸识别领域取得了广泛的应用。但是该方法也和神经网络的方法具有一样的不足就是需要很大的存储空间并且训练速度还比较慢。其他综合方法以上几种比较常用的人脸识别方法我们不难看出每一种识别方法都不能做到完美的识别率与更快的识别速度都有着各自的优点和缺点因此现在许多研究人员则更喜欢使用多种识别方法综合起来应用取各种识别方法的优势综合运用以达到更高的识别率和识别效果。人脸识别三大经典算法特征脸法Eigenface征脸技术是近期发展起来的用于人脸或者一般性刚体识别以及其它涉及到人脸处理的一种方法。使用特征脸进行人脸识别的方法首先由 Sirovich 和 Kirby1987提出《Low- dimensional procedure for the characterization of human faces》并由 Matthew Turk 和 Alex Pentland 用于人脸分类《Eigenfaces for recognition》。首先把一批人脸图像转换成一个特征向量集称为“Eigenfaces”即“特征脸”它们是最初训练图像集的基本组件。识别的过程是把一副新的图像投影到特征脸子空间并通过它的投影点在子空间的位置以及投影线的长度来进行判定和识别。将图像变换到另一个空间后同一个类别的图像会聚到一起不同类别的图像会聚力比较远在原像素空间中不同类别的图像在分布上很难用简单的线或者面切分变换到另一个空间就可以很好的把他们分开了。Eigenfaces 选择的空间变换方法是 PCA主成分分析 利用 PCA 得到人脸分布的主要成分具体实现是对训练集中所有人脸图像的协方差矩阵进行本征值分解得到对应的本征向量这些本征向量就是“特征脸”。每个特征向量或者特征脸相当于捕捉或者描述人脸之间的一种变化或者特性。这就意味着每个人脸都可以表示为这些特征脸的线性组合。局部二值模式Local Binary PatternsLBP局部二值模式Local Binary Patterns LBP是计算机视觉领域里用于分类的视觉算子。LBP 一种用来描述图像纹理特征的算子该算子由芬兰奥卢大学的 T.Ojala 等人在 1996 年提 出 《 A comparative study of texture measures with classification based on featured distributions》。2002 年 T.Ojala 等人在 PAMI 上又发表了一篇关于 LBP 的文章《Multiresolution gray-scale and rotation invariant texture classification with local binary patterns》。这一文章非常清楚的阐述了多分辨率、灰度尺度不变和旋转不变、等价模式的改进的 LBP 特征。LBP 的核心思想就是以中心像素的灰度值作为阈值与他的领域相比较得到相对应的二进制码来表示局部纹理特征。LBP 是提取局部特征作为判别依据的。LBP 方法显著的优点是对光照不敏感但是依然没有解决姿态和表情的问题。不过相比于特征脸方法LBP 的识别率已经有了很大的提升。 Fisherface线性鉴别分析在降维的同时考虑类别信息由统计学家 Sir R. A. Fisher1936 年发明《The use of multiple measurements in taxonomic problems》。为了找到一种特征组合方式达到最大的类间离散度和最小的类内离散度。这个想法很简单在低维表示下相同的类应该紧紧的聚在一起而不同的类别尽量距离越远。1997 年Belhumer 成功将 Fisher 判别准则应用于人脸分类提出了基于线性判别分析的 Fisherface 方法《Eigenfaces vs. fisherfaces: Recognition using class specific linear projection》。 经典论文Sirovich,L.,Kirby,M.(1987).Low-dimensional procedure for the characterization of human faces.Josa a,4(3),519-524. 研究证明任何的特殊人脸都可以通过称为 Eigenpictures 的坐标系统来表示。Eigenpictures 是面部集合的平均协方差的本征函数。Turk,M.,Pentland,A.(1991).Eigenfaces for recognition.Journal of cognitive neuroscience, 3(1), 71-86. 研究开发了一种近实时的计算机系统可以定位和追踪人的头部然后通过比较面部特征和已知个体的特征来识别该人。该方法将面部识别问题视为二维识别问题。识别的过程是把一副新的图像投影到特征脸子空间该特征空间捕捉到已知面部图像之间的显著变化。重要特征称为特征脸因为它们是面集的特征向量。Ojala,T.,Pietikäinen,M.,Harwood,D.(1996).A comparative study of texture measures with classification based on featured distributions.Pattern recognition,29(1),51-59. 研究对不同的图形纹理进行比较并提出了用来描述图像纹理特征的 LBP 算子。Ojala,T.,Pietikainen,M.,Maenpaa,T.(2002).Multiresolution gray-scale and rotation invariant texture classification with local binary patterns.IEEE Transactions on pattern analysis and machine intelligence,24(7),971-987. 研究提出了一种理论上非常简单而有效的灰度和旋转不变纹理分类方法该方法基于局部二值模式和样本和原型分布的非参数判别。该方法具有灰度变化稳健、计算简单的特点。Fisher,R.A.(1936).The use of multiple measurements in taxonomic problems.Annals of eugenics,7(2),179-188. 研究找到一种特征组合方式以达到最大的类间离散度和最小的类内离散度。解决方式为在低维表示下相同的类应该紧紧的聚在一起而不同的类别尽量距离越远。Belhumeur,P.N.,Hespanha,J.P.,Kriegman,D.J.(1997).Eigenfaces vs.fisherfaces:Recognition using class specific linear projection. Yale University New Haven United States. 研究基于 Fisher 的线性判别进行面部投影能够在低维子空间中产生良好分离的类即使在光照和面部表情的变化较大情况下也是如此。广泛的实验结果表明 所提出的“Fisherface”方法的误差率低于哈佛和耶鲁人脸数据库测试的特征脸技术。常用的人脸数据库主要介绍以下几种常用的人脸数据库ERET人脸数据库http://www.nist.gov/itl/iad/ig/colorferet.cfm由 FERET 项目创建此图像集包含大量的人脸图像并且每幅图中均只有一个人脸。该集中同一个人的照片有不同表情、光照、姿态和年龄的变化。包含 1 万多张多姿态和光照的人脸图像是人脸识别领域应用最广泛的人脸数据库之一。其中的多数人是西方人每个人所包含的人脸图像的变化比较单一。CMU Multi-PIE人脸数据库http://www.flintbox.com/public/project/4742/由美国卡耐基梅隆大学建立。所谓“PIE”就是姿态Pose光照Illumination和表情Expression的缩写。CMU Multi-PIE 人脸数据库是在 CMU-PIE 人脸数据库的基础上发展起来的。包含 337 位志愿者的 75000 多张多姿态光照和表情的面部图像。其中的姿态和光照变化图像也是在严格控制的条件下采集的目前已经逐渐成为人脸识别领域的一个重要的测试集合。YALE人脸数据库美国耶鲁大学http://cvc.cs.yale.edu/cvc/projects/yalefaces/yalefaces.html由耶鲁大学计算视觉与控制中心创建包含 15 位志愿者的 165 张图片包含光照、表情和姿态的变化。Yale 人脸数据库中一个采集志愿者的 10 张样本相比较 ORL 人脸数据库 Yale 库中每个对象采集的样本包含更明显的光照、表情和姿态以及遮挡变化。 YALE人脸数据库 Bttps://computervisiononline.com/dataset/1105138686包含了 10 个人的 5850 幅在 9 种姿态64 种光照条件下的图像。其中的姿态和光照变化的图像都是在严格控制的条件下采集的主要用于光照和姿态问题的建模与分析。由于采集人数较少该数据库的进一步应用受到了比较大的限制。MIT人脸数据库由麻省理工大学媒体实验室创建包含 16 位志愿者的 2592 张不同姿态每人 27 张照片光照和大小的面部图像。ORL人脸数据库https://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html由英国剑桥大学 ATT 实验室创建包含 40 人共 400 张面部图像部分志愿者的图像包括了姿态,表情和面部饰物的变化。该人脸库在人脸识别研究的早期经常被人们采用但由于变化模式较少多数系统的识别率均可以达到 90%以上因此进一步利用的价值已经不大。ORL 人脸数据库中一个采集对象的全部样本库中每个采集对象包含10 幅经过归一化处理的灰度图像图像尺寸均为 92×112 图像背景为黑色。其中采集对象的面部表情和细节均有变化例如笑与不笑、眼睛睁着或闭着以及戴或不戴眼镜等不同人脸样本的姿态也有变化其深度旋转和平面旋转可达 20 度。 BioID人脸数据库https://www.bioid.com/facedb/包含在各种光照和复杂背景下的 1521 张灰度面部图像眼睛位置已经被手工标注。UMIST图像集由英国曼彻斯特大学建立。包括 20 个人共 564 幅图像每个人具有不同角度、不同姿态的多幅图像。年龄识别数据集IMDB-WIKIhttps://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/包含 524230 张从 IMDB 和 Wikipedia 爬取的名人数据图片。应用了一个新颖的化回归为分类的年龄算法。本质就是在 0-100 之间的 101 类分类后对于得到的分数和 0-100 相乘 并将最终结果求和得到最终识别的年龄。技术人才1、学者概况AMiner 基于发表于国际期刊会议的学术论文对人脸识别领域全 TOP1000 的学者进行计算分析绘制了该领域学者全球分布地图。从全球范围来看美国是人脸识别研究学者聚集最多的国家在人脸识别领域的研究占有绝对的优势英国紧随其后位列第二中国位列全球第三占有一席之地加拿大、德国和日本等国家也聚集了部分人才。h-index国际公认的能够比较准确地反映学者学术成就的指数计算方法是该学者至多有 h 篇论文分别被引用了至少 h 次。全球人脸识别学者的 h-index 平均数为 48 h-index 指数在 20 到 40 之间的学者最多占比 33% h-index 指数在 40 到 60 之间的学者和大于 60 占比相持不下前者为 27%后者为 28% h-index 指数小于等于 10 的学者最少仅占 2%。AMiner 选取人脸识别领域影响力排名前 1000 的专家学者对其迁徙路径做了分析。由上图可以看出各国人脸识别领域人才的流失和引进略有差异其中美国是人脸识别领域人才流动大国人才输入和输出都大幅领先且从数据来看人才流入略大于流出。英国、中国、德国、加拿大和澳大利亚等国紧随其后其中英国、中国和澳大利亚有轻微的人才流失现象。研究根据在全球范围内人脸与手势识别领域的权威学术会议 IEEE International Conference on Automatic Face and Gesture RecognitionFG上最近五年引用论文中研究计算出 citation 和 h-index 排在前十的人脸识别专家并截取部分领先学者加以介绍。Citation 排在前十的相关学者位列如下▲Citation 前十的人脸识别专家h-index 排在前十二的相关学者位列如下▲h-index 前十的人脸识别专家2、国内外人才报告列举了全球 6 位专家学者和5位国内专家详见本内参附件。应用领域从应用角度看人脸识别应用广泛可应用于自动门禁系统、身份证件的鉴别、银行ATM 取款机以及家庭安全等领域。具体来看主要有1、 公共安全公安刑侦追逃、罪犯识别、边防安全检查2、 信息安全计算机和网络的登录、文件的加密和解密3、 政府职能电子政务、户籍管理、社会福利和保险4、商业企业电子商务、电子货币和支付、考勤、市场营销5、场所进出军事机要部门、金融机构的门禁控制和进出管理等。门禁人脸识别随着人们生活水平的提高人们更加注重家居环境的安全安防观念不断加强伴随着这种需求的提高智能门禁系统应运而生越来越多的企业、商铺、家庭都安装了各种各样的门禁系统。当前比较普遍使用的门禁系统不外乎视频门禁、密码门禁、射频门禁或指纹门禁等等。其中视频门禁只是简单地把视频信息传送给用户并无多少智能化本质上离不开“人防”用户不在场时并不能绝对保障家居安全密码门禁最大的硬伤是密码容易忘记并且容易破解射频门禁的缺点则是“认卡不认人”射频卡容易丢失及易被他人盗用另外指纹门禁的安全隐患则是指纹容易复制。因此现有技术中提供的上述门禁系统均对应原因存在安全性较低的问题。安装了人脸识别系统只要对着摄像头露个脸就可以轻松出入小区真正实现了“刷脸卡”。生物识别门禁系统不需要携带验证介质验证特征具有唯一性安全 性极好。目前广泛的应用于机密等级较高的场所例如研究所、银行等。市场营销面部识别技术在营销上主要有两方面的应用首先可以识别一个人的基本个人信息 例如性别、大致年龄以及他们看过什么看了多久等。户外广告公司例如 Val Morgan OutdoorVMO开始采用面部识别技术来收集消费者数据。其次该技术可以用于识别已知的个人例如小偷或者已经加入系统的会员。这方面的应用已经引起一些服务提供商和零售商的注意。此外面部识别技术还可以提高广告的效果并允许广告主对消费者的表现及时做出反应。VMO 公司推出了一个测量工具 DART这个工具可以实时看出消费者眼睛关注的方向以及时长从而可以判断出他们对一支广告的关注程度。下一代的 DART 还将纳入更多的人口统计学信息除了年龄之外还包括消费者在看一个数字标牌时的情绪。 商业银行利用人脸识别技术防范网络风险对于我国广泛使用的磁条银行卡虽然技术成熟规范但制作技术并不复杂银行磁条卡磁道标准已经是公开的秘密仅凭一台电脑和一台磁条读写器就可以顺利“克隆”银行 卡。另外制卡机销售管理不够严格。不法分子利用银行卡诈骗案件时有发生主要手段就是通过各种方式“克隆”或者盗用银行卡。目前各家商业银行也采取了一些技术手段防止伪 造和克隆卡如采用 CVVCheck Value Verify技术在生成卡磁条信息的同时产生一组校验值该校验值与每个卡片本身的特性相关联从而达到复制无效的功能。虽然采取了多种措施但磁条卡本身固有的缺陷已严重威胁到客户的利益。对于这些银行网络安全问题 我们可以利用人脸识别技术防范网络风险。人脸识别技术就是通过图像采集设备捕捉人的脸部区域然后把捕捉到的人脸和数据库中的人脸进行匹配从而完成身份识别的任务。利用人脸识别技术准确认定持卡人的真实身份确保持卡人的资金安全。另外还可以通过人脸识别技术进一步锁定不法分子有利于公安机关快速破案。人脸识别技术在治理假钞方面的应用目前我国商业银行在自助设备方面存在的主要问题一是部分自助设备安装没有达到要求。商业银行的部分自助设备安装没有按照公安部门的要求对设备进行与地面加固连接 有的电气环境没有达到要求有的没有设置 110 连动报警或者没有可视监控报警有的监控录像不够清晰监控录像保存时间没有达到规定要求等另外设备人为破坏现象严重等。二是自助设备端软件设计缺陷。特别是某些国产设备软件设计不够合理软件变更随意性大 存在漏洞造成错帐可能性比较大。三是银行的 ATM 机中没有假钞鉴别设备。由于我国商业银行在自助设备方面存在的问题目前假钞层出不穷。由于银行的 ATM 机中没有假钞鉴别设备只是在清机人员放入现金前做了鉴别这样的措施并不够完善且容易造成银行与持卡人之间的纠纷。即使是现金存款机CRS有假钞鉴别功能但往往因为假钞识别特征提取的滞后而被不法分子所利用。不法分子先存入假钞然后马上在柜台或其他自助设备上提取真钞以此手段谋取不法利益。未来趋势总的来说人脸识别的趋势包括以下几方面。1、机器识别与人工识别相结合目前市面上主流的一些人脸识别公司在引用国内外知名的人脸图像数据库进行测试时 其人脸识别的精准性一般都可以达到 95%以上而且进行精准人脸识别的速度也非常快这也从侧面为人脸识别技术投入实际应用提供了强有力的实践证明。不过在实际的生活中每个人的人脸相对于摄像头而言并不是保持静止不动的相反则是处于高速的运动状态之中摄像机采集到的人脸图像会因为人脸的姿态、表情、光线、装饰物等不同而呈现出完全不同的样子也极有可能会出现采集到的人脸图像不清晰、不完整、关键部位特征不明显的情况这个时候人脸识别系统也就可能无法做到快速和精准的人脸识别了。因此在设定了一定的人脸图像相似程度数值之后人脸识别公司系统会对高于该相似程度数值的人脸图像做出提示然后再由人工进行逐个的筛选采用机器识别与人工识别相结合的方式才能最大限度的做到人脸图像的精准识别。2、3D 人脸识别技术的广泛应用不论是时下主流的人脸图像数据库中已经保存好的人脸图像还是在街边路口由摄像头实时采集到的人脸图像绝大多数其实都是一张 2D 人脸图像。2D 人脸图像本身其实存在着固有的缺陷那就是它无法做到深度的表达人脸图像信息在拍摄时特别容易受到光照、姿态、表情等因素的影响。而对于人脸来讲人脸面部包括眼睛、鼻子、耳朵、下巴等诸多的关键部位并不是处于一个平面上的人脸天然具有立体效果拍摄 2D 人脸图像不能够很好的完全反映出人脸面部的全部关键特征。2017 年iPhone X 这部搭载了众多最新前沿技术的智能手机一经亮相便引起业界的极大关注。其中最引人注目的当属于一项黑科技3D 人脸解锁功能即 Face ID一种新的身份认证方式。在开锁时用户只需要注视着手机Face ID 就能实现人脸识别解锁。▲苹果在 3D 视觉领域的布局苹果 iPhone X 加入 3D 面部识别功能并不是心血来潮因为其在 2010 年的时候就已经开始在 3D 视觉领域进行了布局。特别是在 2013 年苹果公司以 3.45 亿美元的价格收购了以色列的 3D 视觉公司 PrimeSense。这项收购是苹果公司史上最大手笔的收购之一。此后 苹果还投资了一些列的 3D 视觉技术和人脸识别技术公司。此外Face ID 还可用于 Apple pay 和第三方应用。比如苹果就利用 Face ID 对 emoji 功能进行了升级可通过 Face ID 利用户面部表情来创建 3D 表情 Animojis可利用动画来表达情绪不过目前这个功能只能使用在苹果自己的 iMessage 中。这种直接“刷脸”的方式带给了用户更真实的人机交互体验。3、基于深度学习的人脸识别技术的广泛应用目前主流的人脸识别技术大多都是针对轻量级的人脸图像数据库对于未来完全可预见的亿万级的人脸图像数据库则还不太成熟因此需要重点研究基于深度学习的人脸识别技术。通俗意义上来讲就是目前国内人口有十三亿之多由实力雄厚的人脸识别公司牵头在不久的未来建立起一个覆盖全国范围的统一的人脸图像数据库也是可以预见的那么该人脸图像数据库存储的人脸图像的容量可能会达到数十亿甚至是数百亿的级别这时候可能就会存在大量表征相似、关键特征点相似的人脸如果没有基于深度学习的人脸识别技术建立更为复杂的多样化的人脸模型那么在实现精准和快速的人脸识别就会比较困难。4、人脸图像数据库的实质提升建立具备优良的多样性和通用性的人脸图像数据库也是一个必然的事情与目前主流的人脸识别公司引用的数据库相比其实质上的提升主要体现在如下几个方面一是人脸图像数据库量级的提升将会从现在的十万百万级提升至未来的十亿级甚至是百亿级二是质级的提升将会由主流的2D 人脸图像提升至各种关键特征点更为明显和清晰的3D 人脸图像 三是人脸图像的类型提升将会采集每个人在各个不同的姿态、表情、光线、装饰物等之下的人脸图像以充实每个人的人脸表征进而做到精准的人脸识别。小编认为人脸识别是AI技术发展较快、应用较多的一个领域有着广泛的应用范围。在今年的安博会上人脸识别及动态捕捉技术几乎成为每家展商的“标配”。随着国家科研机构的研发投入、企业对技术的钻研、市场的推广等人脸识别将迎来更美好的发展浪潮。未来人脸识别或成为有效身份识别主流届时人脸识别就不是什么新鲜词了未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。  如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”