科技实验室还原1920年京城生活，100年前的北京Vlog火了！AI修复古董纪录片( 二 ) 十三发自凹非寺量子位报道|公众号QbitA

文章图片
在修复帧率方面，主要采用的技术是AI插值。
据Shiryaev介绍，他采用的是一种叫做GigapixelAI的商业图像编辑软件(付费) 。这款软件由Topaz实验室创造，可以让图像的质量提升600% 。

文章图片
它利用一种专有的插值算法，对图像做分析、识别其细节和结构，最后将额外的“信息”填充到图像中。
这个工作量是什么概念？
普通的高清是1920×1080 ，总像素为2073600 ，而4K高清是3840x2160 ，总像素是8294400 。
也就是说，光是要把普通高清提升到4K高清，就需要额外填充600万个像素。
不仅如此，还需要弄清楚如何显示这些额外的像素，这就是插值过程的用武之地。
插值估计每个新像素要显示什么内容，这个过程是基于它们周边的像素。对于这一点，有许多方法可以来衡量。
最近邻(NearestNeighbor)方法，会简单地用与其最近邻相同的颜色填充空白像素。它虽然简单而有效，但结果是一个锯齿状、明显像素化的图像。

文章图片
双线性插值(BilinearInterpolation)方法需要更多的处理能力，但它基于最近的两个像素来分析空白像素，并在它们之间生成一个梯度，这会让图像变得更加清晰。

文章图片
而双三次插值(BicubicInterpolation)会对其16个最近邻像素进行了采样，这样就会让着色变得精确，但仍然存在图像模糊的问题。

文章图片
通过结合双线性插值和双三次插值，就可以生成光学质量损失最小的放大图像。
而这一过程， GigapixelAI利用深度卷积神经网络来完成。
解决了像素低的问题，还需要解决视频卡顿问题。
GigapixelAI在关键帧之间进行“想像”之后，把这些想像出来的帧插进去。
而它插入的帧数多到可以让视频速率提高到60FPS 。
这就是古董电影也能变得如此清晰、流畅的原因。
至于着色工作，同样是利用神经网络，从一堆彩色照片开始，将它们转换成黑色和白色，然后再重建彩色原图。
奉上完整视频，你想穿越吗？
最后，我们奉上大谷Spitzer的完整视频，里面还在各个场景中配上了背景音乐。
如此的场景，令不少网友想起老舍先生《想北平》中的一段话：
我所爱的北平不是枝枝节节的一些什么，而是整个儿与我的心灵相黏合的一段历史，一大块地方，多少风景名胜，从雨后什刹海的蜻蜓一直到我梦里的玉泉山的塔影，都积凑到一块，每一小的事件中有个我，我的每一思念中有个北平，这只有说不出而已。
那么，在看到百年前栩栩如生的生活状态，你会有想穿越回去的冲动吗？
快来评论区写下你的感受吧~
参考链接：
https://weibo.com/2395607675/J0ZsQnP6a?filter=hot&root_comment_id=4502616270201172&type=comment
https://arstechnica.com/science/2020/02/someone-used-neural-networks-to-upscale-a-famous-1896-video-to-4k-quality/
—完—
量子位QbitAI·头条号签约
【科技实验室还原1920年京城生活，100年前的北京Vlog火了！AI修复古董纪录片】关注我们，第一时间获知前沿科技动态