01什么是好用的手机专业影像
产品:X80 Pro(8GB/256GB) vivo 手机在我老家的墙上,有两个大玻璃相框。里面装满了三代人的相片,既有祖父母年轻时的留影,也有父母辈亲属的结婚照,也有我小时候过生日的大合影。对于家中的老人来说,这不仅仅是对生活瞬间的记录,也寄托了他们的生活热情。
而在这些照片中,我们也能看到摄影这门技术是如何变得越来越简单的,祖父母辈的照片都需要去照相馆拍摄,到了父母辈,摄影师已经可以脱离固定场景;进入本世纪后,数码相机的出现又进一步省去了繁琐的冲洗流程,让照片所见即所得;在智能手机快速发展的现在,每个人手中都有着堪比当年卡片机的相机。
但随着智能手机市场的不断内卷,影像技术的发展方向似乎出现了变化。在各种影像技术的堆砌下,相机的界面变得越来越复杂,想拍出一张最佳效果的相片,往往需要进行复杂的调试,甚至还需要动用专业相机同款的RAW文件来进行处理。
的确,拥有更好的拍摄效果是消费者所希望的,但绝大多数人并没有摄影的专业知识,一味追求“堪比相机”的专业感,显然与摄影技术发展的大方向背道而驰。
而到现在,智能手机品牌已经逐渐意识到这个问题,各家厂商对影像的理解或许不同,但对于如何提升用户拍照体验来讲,并不会有太大差异,比如在移动影像有独特理解的vivo,就提出了专业创作者可以用它满足极限环境下的创作需求、普通人也可以通过简单操作收获令人动容的影像的理念。
简单来讲,vivo要为用户带来人性化的专业影像体验,那在这探索之道上,vivo又是如何做的呢?
01 专业影像,不用逼用户成为大师
在探讨技术之前,我们先来了解一下什么是“人性化的专业影像”。在vivo的表述中,这是一种适合所有人的影像能力。专业创作者可以用它满足极限环境下的创作需求,普通人也可以通过简单操作收获令人动容的影像。为了实现这一目标,vivo希望把各种复杂的影像技术和经验都放进手机,只需要简单地按下快门,就能创作出足够出色的作品。
为了实现这一目标,vivo将自己积累的影像算法能力融合成vivo影像技术矩阵。这一影像算法矩阵由光学感知系统、臻彩还原引擎、超清画质引擎、算力加速引擎、环境理解技术、超感人像系统、苍穹夜景系统七大部分组成,覆盖了从镜头到芯片的摄影全链路。
靠着这一算法矩阵,vivo还提出了一个稍显夸张的目标:比肩专业影像设备,比肩专业摄影团队,比肩专业后期能力。接下来,我们就顺着这个目标,看看vivo影像技术矩阵能做些什么。
比肩专业影像设备:光学素质和色彩风格双管齐下
对摄影有所了解的朋友大概都知道,专业影像设备的优秀之处主要在于两方面:光学素质和色彩风格。
对于光学素质,一方面vivo通过光学感知系统对包括光学模组和镀膜等在内的硬件进行优化。比如VCS仿生光谱技术,通过改善Sensor QE光谱,提升信噪比和色彩还原能力,让传感器接收的原始信息不断接近人眼,打造良好的成像基础。另一方面,光学超分算法则通过对镜头的缺陷建模分析,恢复因硬件模组限制而损失的信息。同时将Denoise、Demosaic、Deblur等模块,进行耦合训练,形成了系统性的AI画质方案——超清画质引擎。可以实现多帧画质重建,达到更好的画质和更广的动态范围。
而在色彩风格上,臻彩还原引擎包含了智能白平衡和智能白加黑减等一系列算法,有效提升白平衡准确性和大面积“白”“黑”场景的曝光准确性,将vivo的色彩表现和影调观感优化到极致。
考虑到这些算法都需要在按下快门的一瞬间完成计算,硬件加速显然必不可少。vivo为此打造了算力加速引擎这样一套软硬结合的加速方案,vivo基于自研芯片和平台SoC设计研发了CV异构加速引擎和vDNN深度学习加速引擎,是分别针对传统CV算法和AI算法的加速引擎,可支撑多芯结合的异构加速,实现多信息协同并高速处理。
比肩专业摄影团队:感知环境智能调整
对于专业摄影团队,他们会针对不同的拍摄场景针对性调整白平衡、曝光等参数,实现最佳的成片效果。vivo的环境理解技术会对场景进行识别,比如色温和亮度检测的技术、运动检测的技术,基于环境的进行信息提取,协助3A等模块,作出最佳的拍摄判断。
比肩专业后期能力:不同场景针对性优化
在日常拍摄中,我们最下力气后期的照片往往都是人像。手机影像也在很早的时候就拥有了一系列人像优化技术。vivo的超感人像系统更进一步,拥有人像理解、人像美化、人像氛围三大核心技术模块。
想要优化人像成片,第一步就是要读懂人像信息。vivo“人像理解技术”会像专业修图师一般进行分区检测,对人脸进行语义重点和轮廓细节的提取,建立多达103个特征点的关键人脸坐标,点位精度误差小于2像素。同时,会对画面中的皮肤、手势、肢体关键点进行检测,主体分割IOU达到了96.15%的精确度,为静态人像重塑和动态人像抓拍提供了精细化的处理能力。
在手机对人像进行精确识别后,下一步就是进行针对性美化。这里vivo以不同年龄、性别、场景的数以百万计的素材,经过反复的机器学习成长,推出vivo全新升级的微米级焕肤塑颜技术,使皮肤观感更加自然、健康,也更好地保留了五官的立体感。
一张好的人像照片,除去精致的人像外,背景的氛围感同样重要。人像氛围融合技术基于人像语义理解,在影调、色彩、亮度、虚化等层面上进行人与场景的融合处理,实现人与景和谐、自然的效果。
而针对手机影像的另一大难点——夜景成像,苍穹夜景系统也进行了全面的AI升级,基于百万夜景照片训练出三个全新模型:超感光模型、全分割语义模型和臻彩影调模型。超感光模型:将感光能力最大提升了100%,ISO最高可支持102400;全分割语义模型和臻彩影调模型联合,实现了自适应的影调和色彩调整能力。
02 软实力背后,是vivo长期积累的“硬功夫”
这一系列影像算法虽好,但想实现出色的成片效果以及拍照体验,还有一点必不可少,那就是算力。如果没有强大的算力支撑,即使有再好的算法也发挥不出全部优势。而SoC自带的ISP处理器往往无法提供充足的算力支持,因此自研影像芯片就成了各大手机厂商的选择。
在手机影像上长期投入的vivo,也在2021年推出了自己的首款自研影像芯片V1。第一代V1芯片以低延时、高能效著称,并用极低延时进行数据交互,极大扩充ISP高速成像算力;而在之后升级的V1+芯片中更是被应用到众多应用场景,为夜景成像带来了质的提升。
在V2芯片的设计中,vivo升级了全新的架构,从传统ISP架构升级到了AI-ISP架构,实现了跨越式的技术革新。传统ISP能以极低延时处理大量的数据流水,但是只能解决已知的、特定的问题。AI擅长处理复杂的、未知的问题,但是延时较大。
AI-ISP结合两者的优势,相当于给传统ISP芯片加一个新的AI大脑,这个AI大脑的神经元分布是网状结构的,更适合海量的发散式信息处理。相比于传统的架构,AI-ISP能够通过硬件直连的方式将AI计算直接融入ISP的处理流程中,完成数据的无缝缓冲和处理,处理能力、处理能效都有大幅提升。
基于AI-ISP这个架构革新,vivo在下一代自研芯片上实现了三大突破: 片上内存单元的突破、AI计算单元的突破、图像处理单元的突破。
从而实现了片上内存、计算单元到自研算法的突破。而这分别对应了性能,如使用昂贵的DDR-Less近存片上数据储存架构,配合硬化在片上的超大SRAM,实现了运算快、功耗低、延时低的特征;利用更适合做复杂计一算成像运算的DLA加速器实现最优能效比,而自研图像处理单元带来了更好的夜景画面细节;而使用HDR影调融合算法、MEMC插帧算法、AI-NR降噪算法,则提升了夜景摄录降噪效果、画面流畅度以及更好的夜景细节。
03 写在最后
相信在看完上文后,大家应该都已经对vivo在影像能力上的投入有所了解。vivo影像技术矩阵的七大部分覆盖了光学技术、色彩风格等移动影像的全流程,以及人像、夜景等多个场景,再加上自研的V2芯片在计算层面全力支持,相信手机摄影未来会变得越来越简单、好用。
在文章最后,我想来做个小预言,猜测一下vivo下一代影像旗舰X90系列的影像配置。上文中提到的vivo影像技术矩阵与自研芯片V2显然都不会缺席,而与蔡司合作推出的蔡司自然色彩、T*光学镀膜、蔡司镜头包等一系列配置也将继续出现。硬件方面,vivo宣称下一代主摄CMOS比GNV传感器感光能力提升77%,考虑到GNV传感器的尺寸已经达到1/1.3英寸,X90极有可能将配备一英寸的大底主摄,而超广角与长焦镜头也将获得进一步提升。至于X90系列的影像表现究竟如何?敬请期待ZOL对vivo X90系列的进一步报道~