人脸识别解析:人脸识别技术的发展趋势

2020-07-02 hr 135

人脸识别解析:人脸识别技术的发展趋势

  1、人脸识别的理解: 人脸识别(Face Recognition)是一种依据人的面部特征(如统计或几何特征等),自动进行身份识别的一种生物识别技术,又称为面像识别、人像识别、相貌识别、面孔识别、面部识别等。通常我们所说的人脸识别是基于光学人脸图像的身份识别与验证的简称。 人脸识别利用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸图像进行一系列的相关应用操作。技术上包括图像采集、特征定位、身份的确认和查找等等。简单来说,就是从照片中提取人脸中的特征,比如眉毛高度、嘴角等等,再通过特征的对比输出结果。

2、人脸识别的发展简史:第一阶段(1950s—1980s)初级阶段: 人脸识别被当作一个一般性的模式识别问题,主流技术基于人脸的几何结构特征。这集中体现在人们对于剪影(Profile)的研究上,人们对面部剪影曲线的结构特征提取与分析方面进行了大量研究。人工神经网络也一度曾经被研究人员用于人脸识别问题中。较早从事 AFR 研究的研究人员除了布莱索(Bledsoe)外还有戈登斯泰因(Goldstein)、哈蒙(Harmon)以及金出武雄(Kanade Takeo)等。总体而言,这一阶段是人脸识别研究的初级阶段,非常重要的成果不是很多,也基本没有获得实际应用。第二阶段(1990s)高潮阶段:  这一阶段尽管时间相对短暂,但人脸识别却发展迅速,不但出现了很多经典的方法,例如Eigen Face, Fisher Face和弹性图匹配;并出现了若干商业化运作的人脸识别系统,比如最为著名的 Visionics(现为 Identix)的 FaceIt 系统。 从技术方案上看, 2D人脸图像线性子空间判别分析、统计表观模型、统计模式识别方法是这一阶段内的主流技术。第三阶段(1990s末~现在) 人脸识别的研究不断深入,研究者开始关注面向真实条件的人脸识别问题,主要包括以下四个方面的研究:

1)提出不同的人脸空间模型,包括以线性判别分析为代表的线性建模方法,以Kernel方法为代表的非线性建模方法和基于3D信息的3D人脸识别方法。

2)深入分析和研究影响人脸识别的因素,包括光照不变人脸识别、姿态不变人脸识别和表情不变人脸识别等。

3)利用新的特征表示,包括局部描述子(Gabor Face, LBP Face等)和深度学习方法。

4)利用新的数据源,例如基于视频的人脸识别和基于素描、近红外图像的人脸识别。二、市场研究1、全球人脸识别市场前瞻根据人脸识别行业发展现状;到2016年,全球生物识别市场规模在127.13亿美元左右,其中人脸识别规模约26.53亿美元,占比在20%左右。预计到2021年,全球人脸识别市场预计将达到63.7亿美元,按预计期间的复合增长率达17.83%

 

2、中国人脸识别市场前瞻根据人脸识别行业发展现状,估算我国人脸识别市场规模约占全球市场的10%左右。2010-2016年,我国人脸识别市场规模逐年增长,年均复合增长率达27%。2016年,我国人脸识别行业市场规模约为17.25亿元,同比增长27.97%,增速较上年上升4.64个百分点。


1)人脸采集:

不同的人脸图像通过摄像镜头采集得到,比如静态图像、动态图像、不同的位置、不同表情等,当采集对象在设备的拍摄范围内时,采集设备会自动搜索并拍摄人脸图像。

(2)人脸采集的主要影响因素:

图像大小:人脸图像过小会影响识别效果,人脸图像过大会影响识别速度。非专业人脸识别摄像头常见规定的最小识别人脸像素为60*60或100*100以上。在规定的图像大小内,算法更容易提升准确率和召回率。图像大小反映在实际应用场景就是人脸离摄像头的距离。


图像分辨率:越低的图像分辨率越难识别。图像大小综合图像分辨率,直接影响摄像头识别距离。现4K摄像头看清人脸的最远距离是10米,7K摄像头是20米。


光照环境:过曝或过暗的光照环境都会影响人脸识别效果。可以从摄像头自带的功能补光或滤光平衡光照影响,也可以利用算法模型优化图像光线。


模糊程度:实际场景主要着力解决运动模糊,人脸相对于摄像头的移动经常会产生运动模糊。部分摄像头有抗模糊的功能,而在成本有限的情况下,考虑通过算法模型优化此问题。


遮挡程度:五官无遮挡、脸部边缘清晰的图像为最佳。而在实际场景中,很多人脸都会被帽子、眼镜、口罩等遮挡物遮挡,这部分数据需要根据算法要求决定是否留用训练。


采集角度:人脸相对于摄像头角度为正脸最佳。但实际场景中往往很难抓拍正脸。因此算法模型需训练包含左右侧人脸、上下侧人脸的数据。工业施工上摄像头安置的角度,需满足人脸与摄像头构成的角度在算法识别范围内的要求。


2)人脸检测:

(1)简介:

在图像中准确标定出人脸的位置和大小,并把其中有用的信息挑出来(如直方图特征、颜色特征、模板特征、结构特征及Haar特征等),然后利用信息来达到人脸检测的目的。


(2)人脸关键点检测(人脸对齐):

自动估计人脸图片上脸部特征点的坐标。


(3)主流方法:

基于检测出的特征采用Adaboost学习算法(一种用来分类的方法,它把一些比较弱的分类方法合在一起,组合出新的很强的分类方法)挑选出一些最能代表人脸的矩形特征(弱分类器),按照加权投票的方式将弱分类器构造为一个强分类器,再将训练得到的若干强分类器串联组成一个级联结构的层叠分类器,有效地提高分类器的检测速度。

最近人脸检测算法模型的流派包括三类及其之间的组合:viola-jones框架(性能一般速度尚可,适合移动端、嵌入式上使用),dpm(速度较慢),cnn(性能不错)。


3)人脸图像预处理:

(1)简介:

基于人脸检测结果,对图像进行处理并最终服务于特征提取的过程。

(2)原因:

系统获取的原始图像由于受到各种条件的限制和随机干扰,往往不能直接使用,必须在图像处理 的早期阶段对它进行灰度矫正、噪声过滤等图像预处理。


(3)主要预处理过程:

人脸对准(得到人脸位置端正的图像),人脸图像的光线补偿,灰度变换、直方图均衡化、归一 化(取得尺寸一致,灰度取值范围相同的标准化人脸图像),几何校正、中值滤波(图片的平滑操作以消除噪声)以及锐化等。

4)人脸特征提取:

(1)简介:

人脸识别系统可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。人脸特征提取就是针对人脸的某些特征进行的,也称人脸表征,它是对人脸进行特征建模的过程


(2)人脸特征提取的方法:

1、基于知识的表征方法(主要包括基于几何特征法和模板匹配法):

根据人脸器官的形状描述以及它们之间的距离特性来获得有助于人脸分类的特征数据,其特征分量通常包括特征点间的欧氏距离、曲率、和角度等。人脸由眼睛、鼻子、嘴、下巴等局部构成,对这些局部和他们之间结构关系的几何描述,可作为识别人脸的重要特征,这些特征被称为几何特征。


2、基于代数特征或统计学习的表征方法:

基于代数特征方法的基本思想是将人脸在空域内的高维描述转化为频域或者其他空间内的低维描述,其表征方法为线性投影表征方法和非线性投影表征方法。

基于线性投影的方法主要有主成分分析法或称K-L变化、独立成分分析法和Fisher线性判别分析法。非线性特征提取方法有两个重要的分支:基于核的特征提取技术和以流形学习为主导的特征提取技术。


5)匹配与识别:

提取的人脸特征值数据与数据库中存贮的特征模板进行搜索匹配,通过设定一个阈值,将相似度与这一阈值进行比较,来对人脸的身份信息进行判断。


3、人脸识别的主要方法

1)Eigen Face(特征脸)

MIT实验室的特克(Turk)和潘特(Pentland)提出的“特征脸”方法无疑是这一时期内最负盛名的 人脸识别方法。其后的很多人脸识别技术都或多或少与特征脸有关系,现在特征脸已经与归一化的协相关 量(Normalized Correlation)方法一道成为人脸识别的性能测试基准算法。


2)Fisher Face(渔夫脸):

贝尔胡米尔(Belhumeur)等提出的 Fisherface 人脸识别方法是这一时期的另一重要成果。该方法 首先采用主成分分析(PCA)对图像表观特征进行降维。在此基础上,采用线性判别分析(LDA)的方法 变换降维后的主成分以期获得“尽量大的类间散度和尽量小的类内散度”。该方法目前仍然是主流的人脸 识别方法之一,产生了很多不同的变种,比如零空间法、子空间判别模型、增强判别模型、直接的LDA 判 别方法以及近期的一些基于核学习的改进策略。


3)EGM(弹性图匹配)

其基本思想是用一个属性图来描述人脸:属性图的顶点代表面部关键特征点,其属性为相应特征点处 的多分辨率、多方向局部特征——Gabor变换12特征,称为Jet;边的属性则为不同特征点之间的几何 关系。对任意输入人脸图像,弹性图匹配通过一种优化搜索策略来定位预先定义的若干面部关键特征点, 同时提取它们的Jet特征,得到输入图像的属性图。最后通过计算其与已知人脸属性图的相似度来完成识 别过程。该方法的优点是既保留了面部的全局结构特征,也对人脸的关键局部特征进行了建模。


4)基于几何特征的方法

几何特征可以是眼、鼻、嘴等的形状和它们之间的几何关系(如相互之间的距离)。这些算法识别速 度快,需要的内存小,但识别率较低。

5)基于神经网络的方法

神经网络的输入可以是降低分辨率的人脸图像、局部区域的自相关函数、局部纹理的二阶矩等。这类方法同样需要较多的样本进行训练,而在许多应用中,样本数量是很有限的。

6)基于线段Hausdorff 距离(LHD) 的方法

心理学的研究表明,人类在识别轮廓图(比如漫画)的速度和准确度上丝毫不比识别灰度图差。LHD是基于从人脸灰度图像中提取出来的线段图的,它定义的是两个线段集之间的距离,与众不同的是,LHD并不建立不同线段集之间线段的一一对应关系,因此它更能适应线段图之间的微小变化。实验结果表明,LHD在不同光照条件下和不同姿态情况下都有非常出色的表现,但是它在大表情的情况下识别效果不好。


7)基于支持向量机(SVM) 的方法

近年来,支持向量机是统计模式识别领域的一个新的热点,它试图使得学习机在经验风险和泛化能力上达到一种妥协,从而提高学习机的性能。支持向量机主要解决的是一个2分类问题,它的基本思想是试图把一个低维的线性不可分的问题转化成一个高维的线性可分的问题。通常的实验结果表明SVM有较好的识别率,但是它需要大量的训练样本(每类300个),这在实际应用中往往是不现实的。而且支持向量机训练时间长,方法实现复杂,该函数的取法没有统一的理论。


4、技术发展方向

1)结合三维信息:二维和三维信息融合使特征更加鲁棒 2)多特征融合:单一特征难以应对复杂的光照和姿态变化 3)大规模人脸比对:面向海量数据的人脸比对与搜索 4)深度学习:在大数据条件下充分发挥深度神经网络强大的学习能力

 

5、人脸识别数据库

1)Yale人脸数据库

2)ORL人脸数据库

3)CMU PIE人脸数据库

4)FERET人脸数据库

5)MIT数据库

6)BANCA人脸数据库

7)CAS-PEAL人脸数据库

8)JAFE表情数据库

9)Cohn-Kanade表情数据库

10)MMI表情数据库


6、技术指标


1)人脸检测中的关键指标:

例子:在摄像头某张抓拍图像中,一共有100张人脸,算法检测出80张人脸,其中75张是真实人脸,5 张是把路标误识为人脸。


1、检测率:识别正确的人脸/图中所有的人脸。检测率越高,代表检测模型效果越好。


2、误检率:识别错误的人脸/识别出来的人脸。误检率越低,代表检测模型效果越好。


3、漏检率:未识别出来的人脸/图中所有的人脸。漏检率越低,代表检测模型效果越好。


4、速度:从采集图像完成到人脸检测完成的时间。时间约短,检测模型效果越好。

在这个实际案例中:检测率=75/100 误检率=5/80 漏检率=(100-75)/100


人脸识别中的关键指标:

1000张样本图片里,共600张正样本。相似度为0.9的图片一共100张,其中正样本为99张。虽然0.9阈值的正确率很高,为99/100;但是0.9阈值正确输出的数量确很少,只有99/600。这样很容易发生漏识的情况。


1、检测率:识别正确的人脸/图中所有的人脸。检测率越高,代表检测模型效果越好。


2、误检率:识别错误的人脸/识别出来的人脸。误检率越低,代表检测模型效果越好。


3、漏检率:未识别出来的人脸/图中所有的人脸。漏检率越低,代表检测模型效果越好。


4、速度:从采集图像完成到人脸检测完成的时间。时间约短,检测模型效果越好。


在这个实际案例中:检测率=75/100 误检率=5/80  漏检率=(100-75)/100


人脸识别中的关键指标:

1000张样本图片里,共600张正样本。相似度为0.9的图片一共100张,其中正样本为99张。虽然0.9阈值的正确率很高,为99/100;但是0.9阈值正确输出的数量确很少,只有99/600。这样很容易发生漏识的情况。


1、精确率(precision):识别为正确的样本数/识别出来的样本数=99/100


2、召回率(recall):识别为正确的样本数/所有样本中正确的数=99/600


3、错误接受率/认假率/误识率(FARFalse Accept Rate):



1、定义:指将身份不同的两张照片,判别为相同身份,越低越好

2、FAR = NFA / NIRA

3、式中 NIRA 代表的是类间测试次数,既不同类别间的测试次数,打比方如果有1000个识别 模型,有1000个人要识别,而且每人只提供一个待识别的素材,那 NIRA=1000*(1000-1) 。NFA是错误接受次数。

4、FAR决定了系统的安全性,FRR决定了系统的易用程度,在实际中,FAR对应的风险远远高于FRR,因此,生物识别系统中,会将FAR设置为一个非常低的范围,如万分之一甚至百万分之一,在FAR固定的条件下,FRR低于5%,这样的系统才有实用价值。


4、错误拒绝率/拒真率/拒识率(FRR False Reject Rate):

1、定义:指将身份相同的两张照片,判别为不同身份,越低越好

2、FRR = NFR / NGRA

3、上式中NFR是类内测试次数,既同类别内的测试次数,打比方如果有1000个识别模型, 有1000个人要识别, 而且每人只提供一个待识别的素 材,那 NIRA=1000,如果每个人提供N张图片,那么 NIRA=N*1000 。NFR是错误拒绝次数。




四、行业应用

1、人脸识别(FR)+其他行业

1)FR+金融:

(1)实名认证:

金融机构传统上使用人工肉眼判断、短信验证、绑定银行卡等手段进行实名认证。这些传统手段存在准确率不高、客户体验较差、成本高等问题,对金融企业业务发展造成了巨大的困扰。基于人脸识别的实名认证方式具有准确率高(一亿人中才存在两人长相相同)、客户体验好(认证速度快、客户操作少)、成本低(相较于传统认证方式)的优点,已被众多领先金融企业所采用。

(2)人脸识别在银行远程开户上的应用:

在远程开户时,金融机构可以通过智能终端在线上进行身份鉴权验证,使用人脸识别技术开户可以极大提升业务办理的安全性、时效性,并节省大量人力;

(3)刷脸取款:

在这方面人脸取代了银行卡,只需要人脸+密码即可完成取款。在前两个方面,人脸识别技术已经被国内各大银行广泛采用,刷脸取款方面,农行和招行抢先一步在ATM上线了刷脸取款功能。


国外的人脸识技术研究起步较早,诞生了诸多知名的人脸识别公司和丰硕的人脸识别研究成果。而人脸识别技术在国内的发展则相对较晚,许多著名的人脸识别公司也是在近些年来成立并高速发展起来的,目前由这些新兴的人脸识别公司研发并采用的人脸识别技术基本上已经可以做到与国外水平媲美了,不过距离大规模的商业化实际应用还有很长的路要走。➤ 人脸识别技术的发展趋势 接下来企业服务汇就结合目前国内外知名的人脸识别公司采用的主流人脸识别技术的发展现状,来为你简单说明人脸识别技术在未来的发展趋势。

(一)机器识别与人工识别相结合 目前市面上主流的一些人脸识别公司在引用国内外知名的人脸图像数据库进行测试时,其人脸识别的精准性一般都可以达到95%以上,而且进行精准人脸识别的速度也非常快,这也从侧面为人脸识别技术投入实际应用提供了强有力的实践证明。不过在实际的生活中,每个人的人脸相对于摄像头而言并不是保持静止不动的,相反则是处于高速的运动状态之中,摄像机采集到的人脸图像会因为人脸的姿态、表情、光线、装饰物等不同而呈现出完全不同的样子,也极有可能会出现采集到的人脸图像不清晰、不完整、关键部位特征不明显的情况,这个时候人脸识别系统也就可能无法做到快速和精准的人脸识别了。 因此在设定了一定的人脸图像相似程度数值之后,人脸识别公司系统会对高于该相似程度数值的人脸图像作出提示,然后再由人工进行逐个的筛选,采用机器识别与人工识别相结合的方式才能最大限度的做到人脸图像的精准识别。

(二)3D人脸识别技术的广泛应用不论是时下主流的人脸图像数据库中已经保存好的人脸图像,还是在街边路口由摄像头实时采集到的人脸图像,绝大多数其实都是一张2D人脸图像。2D人脸图像本身其实存在着固有的缺陷,那就是它无法做到深度的表达人脸图像信息,在拍摄时特别容易受到光照、姿态、表情等因素的影响。而对于人脸来讲,人脸面部包括眼睛、鼻子、耳朵、下巴等诸多的关键部位并不是处于一个平面上的,人脸天然具有立体效果,拍摄2D人脸图像不能够很好的完全反映出人脸面部的全部关键特征。不过就国内人脸识别公司中3D人脸识别技术的实际应用而言,尚处于一个初级的应用水平,远未达到广泛应用的阶段。影响3D人脸识别技术的广泛应用的因素主要有如下几个:一是采集3D人脸图像往往需要特定的采集设备,例如3D摄像机或者是双目摄像机等,目前这一类型的摄像摄影设备的市场价格都比较昂贵,仅在特定的场景中使用较多;二是对3D人脸图像的处理需要进行3D建模,相对应的3D人脸识别技术对于硬件设施的要求比较高,需要比较强的计算能力,在目前也不能做到广泛应用;三是现有的3D人脸图像的数量类型较少,相对应的3D人脸图像数据库也没有搭建起来,缺少足够的3D人脸图像测试样本,即使是在理论研究阶段也无法深入,就更谈不上更加广泛的实际应用了。

(三)基于深度学习的人脸识别技术的广泛应用 目前主流的人脸识别技术大多都是针对轻量级的人脸图像数据库,对于未来完全可预见的亿万级的人脸图像数据库则还不太成熟,因此需要重点研究基于深度学习的人脸识别技术。通俗意义上来讲就是,目前国内人口有十三亿之多,由实力雄厚的人脸识别公司牵头在不久的未来建立起一个覆盖全国范围的统一的人脸图像数据库也是可以预见的,那么该人脸图像数据库存储的人脸图像的容量可能会达到数十亿甚至是数百亿的级别,这时候可能就会存在大量表征相似、关键特征点相似的人脸,如果没有基于深度学习的人脸识别技术,建立更为复杂的多样化的人脸模型,那么在实现精准和快速的人脸识别就会比较困难。

(四)人脸图像数据库的实质提升建立具备优良的多样性和通用性的人脸图像数据库也是一个必然的事情,与目前主流的人脸识别公司引用的数据库相比,其实质上的提升主要体现在如下几个方面:一是人脸图像数据库量级的提升,将会从现在的十万百万级提升至未来的十亿级甚至是百亿级;二是质级的提升,将会由主流的2D人脸图像提升至各种关键特征点更为明显和清晰的3D人脸图像;三是人脸图像的类型提升,将会采集每个人在各个不同的姿态、表情、光线、装饰物等之下的人脸图像,以充实每个人的人脸表征进而做到精准的人脸识别。小结与国外相比而言,我国的人脸识别技术研究尽管起步较晚但是发展十分迅速,现在市面上一些知名的人脸识别公司也都在近些年来成立并高速发展起来的,其人脸识别技术也已经在安全防护、金融等领域有了较为成熟的商业化应用。现在主流的人脸识别公司采用的人脸识别技术已经初步发展成熟,未来将在人脸图像质量提升、3D人脸图像应用、基于深度学习的人脸识别技术应用以及更具多样性和通用性的人脸图像数据库搭建等方面获得进一步的发展