4 月 1 日消息 小米 11 Pro & Ultra 首发搭载了小米自研的 “夜枭”算法,号称能实现更好的照片去噪效果,恢复更多细节,最终获得清晰明亮图像。

今天小米官方详细介绍了这个 “夜枭”算法,称该算法能够带来噪声小、手持稳、色彩准三大优点,通过创新的深度学习 AI 算法,突破了暗光视觉极限,实现了在即使伸手不见五指的环境下,依然能拍出清晰、明亮的图像。

据了解,小米 11 Pro 与小米 11 Ultra 均搭载骁龙 888 处理器,将于明日正式开售,感兴趣的小伙伴可以关注一下。

附官方科普全文:

一个神奇的算法:「夜枭」

有些拍照场景,你可能 99% 都碰不到:当环境光线照度在 0.1Lux 以下时,人眼几乎很难见物,甚至钥匙掉在地面上都难以找到,这时拍出的照片会完全无法使用。但我们为了这 1% 的极限拍摄场景,自主研发了一个神奇的算法:「夜枭」。

极暗光环境下拍摄时,传统相机和手机会遇到哪些问题?

难题一、环境亮度低、噪声大,现有深度学习技术很难采集数据,很难有效降噪。

难题二、使用传统算法进行多张堆栈,只能缓解噪声和色差的影响,很难对已失去的图像信息进行恢复。

难题三、采用长曝光方式,通过增长曝光时间来提升图像质量,用户手持拍摄容易糊成一片。

难题四、传统提亮算法会大幅提高去噪声难度,同时还会影响白平衡导致校正颜色失去准确性。

针对以上问题,小米 11 Pro & Ultra 首发自研「夜枭」算法,通过获取连续 8 张曝光正确的 EV0 照片,结合自研图像测光算法、图像配准融合算法、图像重建算法、图像色彩矫正算法,实现更好的去噪效果,恢复更多细节,最终获得清晰明亮图像。

深度学习技术最大难点在于训练数据的获得。考虑极暗光场景环境亮度低、噪声大,很大程度上增大了数据采集的难度。

噪声小

画面纯净的不像夜景照片

小米「夜枭」算法自主研发了极暗光场景下的噪声标定系统,充分了解极暗光场景噪声的分布和形态,从而补充大量模拟噪声数据,提升了训练数据的丰富度,使去噪过程更具有针对性;同时「夜枭」算法自主研发了极暗光场景数据采集系统,使用多种真实相机进行数据采集,补充真实相机数据来获取更好去噪效果。

手持稳

达到三脚架长曝光 30 秒稳定效果

极暗光场景的最大特点就是噪声大,首先最大难点在于如何有效在去除图像噪声的同时,恢复出更多的图像细节。目前,即使使用多帧图像叠加去噪的方式,也会存在图像边缘信息丢失和部分内容失真。而神经网络可以在进行图像去噪优化,通过深度学习的方式,即使出现局部信息残缺的现象,也能恢复出丰富细节的高质量局部图像。「夜枭」算法中的 AI 去噪算法,结合多帧 EV0 RAW 域图片信息,进行图像对齐,降低拍摄手抖的影响;还可实现充分利用图内信息和图间信息互相补充,从而获得更好的去噪效果,恢复更加丰富的细节信息。

色彩准

AI 测光和颜色矫正模块解决色彩失真问题

亮度的提升和色彩的还原也是极暗光场景的另一大难题。进行过大的图像提亮会导致去噪难度提升,同时大量噪声会导致传统的白平衡过程无法获得准确关键信息点,导致矫正颜色失准。「夜枭」算法中还包含 AI 测光和颜色矫正模块,可根据场景信息、传感器信息综合计算出所需要的曝光参数、帧数以及颜色信息,根据不同的环境亮度和场景内容,实现不同程度的亮度提升和色彩还原过程,权衡了提亮和去噪的影响程度,有效解决了颜色失真问题,提升了夜枭算法的环境自适应能力。

「夜枭」算法通过创新的深度学习 AI 算法,突破了暗光视觉极限,实现了在即使伸手不见五指的环境下,依然能拍出清晰、明亮的图像。