7年卧薪尝胆 iPhone X面部识别前世今生

    2010年6月，乔布斯发布了堪称经典的iPhone 4，这一代iPhone距离加入指纹识别还有3年，而仅3个月后，苹果收购了一家叫Polar Rose的瑞典公司， 这是一家只有15人的小公司，苹果看中的是不是别的，正是Polar Rose独有的人脸识别技术。没错，这就是7年之后在iPhone X上搭载的Face ID的前身。

七年卧薪尝胆 iPhone X面部识别前世今生

     很难想象，就在指纹识别还没有诞生的2010年，苹果公司已经开始布局3D视觉，并在蛰伏7年之后，先以面部识别的形式出现。所以当有言论称Face ID只是iPhone解决屏幕下指纹之前匆忙上马的替代品时，不得不承认，我们太小看苹果帝国了。

    Polar Rose主要技术是利用人工智能从事图像视频分析，从二维图像中提取三维信息，但在3D视觉上的布局苹果还是比微软慢了一步。因为早在2009年6月份的E3大展上，微软正式发布了体感游戏设备Kinect，它改变了人们与游戏交互的方式，我们晃动身体就能玩游戏（此前任天堂的Wii仍需要遥控棒）。

Kinect体感游戏（图片引自gamefy）

     而这里的一个关键即使就是深度摄像头，它用于捕捉人的肢体动作，然后交由程序去去识别、记忆、分析处理这些动作，这项技术由一家叫做PrimeSense的公司提供。   

      PrimeSense是一家成立于2005年的以色列公司，并于2006年研发出了3D传感器，它的创始人都具有很强的科研背景，当时游戏行业已经有些停滞不前，他们一直在思考如何进行变革，比如让人拿起游戏中的剑而不是遥控手柄，最终PrimeSense锁定了摄像头。

Kinect（图片引自cnblogs）

     在当年的游戏开发者大会上，PrimeSense对外展示了3D传感器在游戏领域的前景，被微软慧眼识珠，催生了后来的Kinect。

3D识别鼻祖 结构光成就PrimeSense

    PrimeSense3D识别的技术主要是结构光的一种——Light Coding（光编码技术），我们知道摄像头想要捕捉人体的动作，需要通过判别景深来实现。结构光即将光线结构化，其原理是使用投射器将光栅或线光源等投射到被测物上,在被测物体表面形成畸变的形状，比如下图中的条状光栅，就在鱼表面投射出不规则的线条。

结构光技术原理

    这样一个畸变的图像被另外一个位置的摄像机捕捉到，就获得了从它的角度看到的线条，当投射器和摄像机的位置固定时，它所捕捉到的线条畸变程度也是一致的，这样畸变的二维图像可以还原物体表面的三维成像，这里主要运用了光学的三角法测量原理。

结构光技术原理

结构光技术原理

    而PrimeSense使用的Light Coding还有些不同，它会在空间上打出一种叫做“激光散斑”的光源，这种光源的特点是具有高度的随机性，随着距离的不同会出现不同的图案，这样不同空间的散斑都一样，这样光源打出去之后，相当于整个空间已经被标记，当有物体放入这个空间之后，通过散斑的变化就可以监测到物体的空间位置。

     PrimeSense会在空间中每隔一段距离记录参考平面的一幅散斑图案，形成一个立体的散斑图案群，当有人进入空间之后再记录一次与之前形成对比和相关运算，就能获得整个场景的三维图像，微软的第一代Kinect景深图像就使用的这一原理。

    从2009年开始，科技公司纷纷发现3D视觉是一个尚未挖掘的巨大宝藏，包括微软、英特尔、谷歌、索尼、三星等公司均通过收购和自主研发投入到3D视觉的开发中去。2009年和2010年，微软收购了3D-TOF相机公司canesta和3dv，2013年，英特尔推出RealSense实感技术，谷歌推出Project Tango项目。

    讲到这里，我们还没有看到多少苹果的影子，不过从微软宣布与PrimeSense分道扬镳之后，苹果才算刚刚登场。

微软自研TOF 苹果捡漏成就Face ID

     2013年新一代的Kinect面世，并没有继续用PrimeSense，而是选择自主研发3D传感器。事实上Kinect二代的采用了与PrimeSense结构光截然不同的3D视觉技术——TOF，这些技术积累正是来源于之前收购的公司canesta和3dv，3dv手里握着TOF摄像头的专利，此前一直认为一代Kinect使用的是TOF技术。

TOF 3D视觉（图片引自中国电子网）

    TOF是Time of flight的简写，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物距离。通常是通过LED发射红外线，成像传感器接受物体表面反射的红外线，设备会发射一个强度随时间周期变化的正弦信号，通过获得发射、接受信号的相位差来计算深度。

TOF技术原理

     除了结构光和TOF技术，还有一种双目立体成像技术，但因为技术不成熟这里就不展开介绍。

     无论结构光还是TOF技术，在3D视觉方面各有优势，比如结构光方案技术成熟，功耗低，平面信息分辨率高，但是容易受光照影响，在强光下的表现并不是很好，识别距离近，，但成本较高；TOF方案抗干扰性好，识别距离远，但是平面分辨率低，功耗较大，材料成本中等。

3种3D视觉技术对比（图片引自海通电子研究）

    不管怎样微软放弃了使用结构光技术的PrimeSense，PrimeSense虽然有些失望，但并没有停止研发的脚步，决定重新发明自己，并开发出了世界上体积非常小的3D传感器Capri，Capri具有3倍的深度分辨能力，50倍的耐光性(使其能在日光下工作)，但是体型却缩小了10 倍。

    或许正是PrimeSense在产品微型化做出的努力，让3D传感器可以在笔记本、平板电脑甚至手机上使用，也让苹果公司看到了它的潜力所在，微软对PrimeSense的放弃最终让苹果捡了漏。

     于是，终于在2013年9月份，苹果公司正式登场，花费3.6亿美元收购了PrimeSense，让这家有野心的公司掌握了核心的3D视觉技术。

Face ID背后那些看不见的买买买

     苹果收购PrimeSense还在不断推进3D传感器的小型化，并不断加大投入和专利布局。2015年4月苹果提交了3D手势控制技术专利申请；2015年7月苹果提交名为“低门槛面部识别”的面部识别专利。2017年3月苹果发布3D视觉新专利——利用景深信息进行人脸识别，一幅完整的人脸识别专利图谱逐渐清晰。

     接下来还有一系列疯狂的收购：

     2015年4月苹果收购LinX Imaging

          LinX Imaging主要为移动设备开发多孔摄像头，一方面可以降低摄像头高度，让摄像头不再突起。另一个黑科技则是利用多孔设计精准测算不同图像中像素之间的区别，从而创建景深图像，让我们仅通过拍照，即可对物体进行三维扫描。

LinX Imaging 3D扫描技术

     2015年11月苹果收购Faceshift

     Faceshift是一家动作捕捉公司，开发了实时追踪人脸表情，然后再用动画表现出来的技术，这项技术曾用于《星球大战》电影，让动画人物的表情更准确地模仿演员的表情。在游戏领域，用户可以使用根据自身表情实时更新的头像。   

Faceshift表情捕捉

     后来证明，Faceshift除了用作人脸识别之外，还被苹果用在iPhone X的Animoji中。

     2016年1月苹果收购Emotient

    Emotient这家公司致力于通过面部表情分析来判定人的情绪，这项技术会抓取人的面部，然后利用识别技术识别出面部表情。

感知人脸情绪

    2017年2月苹果收购RealFace

     RealFace擅长面部识别，该公司开发了一种独特的面部识别技术，其中整合人工智能并将人类的感知带回数字过程。

RealFace人脸识别

        大规模的收购让苹果公司迅速的掌握了3D视觉尤其是在人面识别领域的核心技术，也避免了竞争对手通过收购快速追赶苹果，于是在2017年秋季新品发布会上，搭载Face ID功能的iPhone X惊艳登场。

iPhone X面部识别

iPhone X真正的精髓：轻轻一瞥

     按照苹果完美主义的产品设计理念，iPhone X的“刘海儿”不应该存在，但乔纳森·伊夫还是心甘情愿的为“小小的空间”让路，因为他也明白，真正构建苹果下一个十年手机形态的不仅仅是正面一块全面屏，更重要的是“那轻轻一瞥”的惊艳。

    “ 一直以来，我们都心存一个设想，期待着能够打造出这样一部 iPhone：它有整面的屏幕，能让你在使用时完全沉浸其中，仿佛忘记了它的存在。它是如此智能，你的一触、一碰、一言、一语，哪怕是轻轻一瞥，都会得到它心有灵犀的回应。而这个设想，终于随着 iPhone X 的到来成为了现实。现在，就跟未来见个面吧。”

小小的空间

    回头来看“小小的空间”高度集成了苹果在人面识别上的研究成果，其中点阵投影器会投射超过 30,000 个肉眼不可见的光点，并对它们进行分析，为我们的脸部绘制精确细致的深度图。红外镜头会读取点阵图案，捕捉它的红外图像，然后将数据发送至 A11 仿生这款芯片中的安全隔区，以确认是否匹配，所利用的正是PrimeSense的结构光技术。另外苹果还通过泛光感应元件，借助不可见的红外光线，即使在黑暗中也能识别你的脸。

     苹果之所以选择PrimeSense的结构光而不是TOF，更多的看中了结构光恰到好处的识别距离和高分辨率，相比TOF较低的功耗也让结构光更适用于移动平台。不过结构光在强光下表现有着天然劣势，不知道iPhone X在大太阳下能够依旧表现优秀。

     值得一提的是Face ID仅仅是苹果积累7年的3D视觉所释放能量地的一部分，而在iPhone X上除了人脸解锁，还打造了一系列看似秀肌肉却很有趣的功能，比如“动话表情”。

    通过原深感摄像头这个复杂的系统iPhone X能够分析50多种不同的面部肌肉运动，来侦测面部3D轮廓。在此基础上就衍生出了“动话表情”，也就是将使用者的面部捕捉到3D建模上。我们经常在电影中看到的特效就属于此类，但这次我们通过手机就能实现。

动话表情

    结合A11仿生的深度学习，Face ID还具备了深度学习的能力，它带有一个特殊的神经元引擎，够利用机器学习技术来识别你样貌的变化，最近苹果披露的Face ID白皮书中透露，如果你的面部发生较大变化，比如刮了胡子，Face ID会通过密码输入的形式确认面部变化并自动记录在库，而不是让你重新录入面部。

Face ID小试牛刀 苹果3D大招是AR

    透过专利，我们看到苹果还储备了一系列3D手势操作技术，在体感操作一直不温不火的今天，我们很欣喜的看到，未来的体感操作仍需要苹果这个“后来居上”者来颠覆，而这才是3D视觉真正的用武之地。     

    3D手势操作可能在Mac平台上实现，移动平台上Face ID只是3D视觉的小试牛刀，苹果表示AR将是未来不可缺少的必要环节，后置双摄加入3D视觉所发挥的能量更是不可小觑。

iPhone X AR游戏

     目前苹果已经发布了ARKit开发平台，并一举成为体量庞大的AR开发平台，不过iPhone X的AR体验仍然基于传统摄像头，与3D摄像头差距甚远，因此当库克在发布会上热情洋溢的介绍iPhone 的AR功能时，不仅给出了未来十年手机的期待，更是早就已经瞄上了你下个十年的钱袋。

        以上是关于苹果iPhoneX产品评测的报道，有关苹果iPhoneX的外观、屏幕、拍照、续航、性能等后续内容，请持续关注中关村在线关于苹果iPhoneX评测的报道。