Beyond 超清回归，不止为情怀而来

7月3日晚，一场独特的演唱会上线抖音、西瓜视频、今日头条、鲜时光TV ，引发1.4亿乐迷集体怀旧。这是“BeyondLive1991生命接触演唱会”及纪念音乐会的精选重映。 Beyond ，是华语摇滚乐发展历史上的璀璨明珠，更是一代人的青春记忆。

文章图片
而这次当亿万观众沉浸在DNA被唤醒的怀旧情绪中时，可能也有很多朋友并不知道，他们看到的、听到的穿越31年时光而来的画面和声音，其实是经过超清修复的。只是在原汁原味的真实还原下，很多人并未发现而已。
完成这次超清修复的，就是字节跳动旗下的云服务平台火山引擎。
超清修复，不止是提升音画清晰度如果你看过BeyondLive1991生命接触演唱会原版视频，就能真切感受到这次超清修复版的提升。比如下面这张修复前后的效果对比图，就是肉眼可见的提升。

文章图片
时隔多年后依然能看到这场演唱会如此清晰的版本，的确是一件幸事。相信也有朋友会好奇，抖音到底施了什么魔法？火山引擎到底是怎么修复的呢？
这里不妨为大家解释一下。
首先，因为是演唱会的修复，所以不可避免会分成两个部分：画质修复和音质的修复。
画质修复方面，我们先看看存在哪些难点。
第一是画面的模糊受损，早期因为技术条件差，演唱会在拍摄、制作、压缩、传输等整个过程都会出现画面模糊、噪声多的情况。比如那时的影片一般都是隔行扫描，编码、显示都会带来交错条纹等瑕疵。
第二是演唱会独特的色彩、亮度和舞台氛围感，比如怎样平衡亮度调节和底噪被放大之间的矛盾，也是难点。
第三是需要对人像面部进行精细处理，普通的画质修复算法难以做到，而且调节人像效果和背景之间的差异也是难点。

文章图片
这些是演唱会修复的核心难点，对于这些难点，火山引擎则研发了专门的算法技术进行攻克。比如画面模糊受损的问题，他们有清晰度增强和瑕疵修复算法，这些是基于大量数据训练的深度学习算法，提升分辨率的同时，还能在缺少纹理的区域生成丰富的细节。
同时，还能利用基于运动补偿的深度学习多帧交错算法，解决各行扫描格式视频存在的拉丝和横纹情况。
下面这张照片就展现了修复前后的对比，可以明显看到修复前拨吉他的手部有横纹、模糊的情况，修复之后整个明显更清晰锐利了。

文章图片
提升画质的同时还要注重演唱会艺术氛围的保留。火山引擎给出了基于美学评分的自适应分区域色彩亮度增强算法，它会根据片源的效果，依据美学评分，在色彩，亮度，对比度，饱和度，人像ROI和背景区域分别增强，使亮区与暗区都能得到最好的表现效果。
比如下面这张修复前后的对比，修复之后的色彩明显更饱满，同时整体风格上也没有失去演唱会灯光的氛围感。

文章图片
而人像的修复方面，火山引擎则通过自研的自适应人像增强算法，进行人物高清五官重建。对不同大小（近景/中景/远景）、不同姿态（侧脸/俯视/仰视），不同遮挡程度的人脸都有较好的修复增强效果。

文章图片
音质修复方面，也是类似。原版演唱会视频天然存在早期设备条件不好导致的音质差的问题，还有环境噪声带来的干扰。另外那时的设备、压缩算法不成熟，也会导致音频截止频率低。演唱会混响过大影响收音质量、以及响度不均衡问题造成的听感不适等。这些都是音质修复存在的难点。
针对原版音频的噪声，火山引擎给出了多元素场景的自研降噪算法，可以针对音乐场景和人声场景实现兼容的AI降噪。普通的降噪算法主要针对人声，给演唱会降噪时难免对部分声音造成损伤，而火山引擎的这套算法可以保留人说话/唱歌/音乐的同时，抑制其他噪声。
比如下面这张对比图，原版携带噪声的音频频谱整体非常浑浊，噪音（紫色的部分）整个演唱会都存在，而经过AI音频降噪算法处理过后，频谱图清晰了很多。

文章图片
对于早期设备音频带宽不够的问题，火山引擎也有音频超分算法予以解决，它能够对演唱会中的人声部分进行频带拓展，丰富高频信息，提升音质，并且在处理过程中不会引入其他失真使体验变差。
此外还有响度算法，则是提取演唱会中的歌唱人声部分，然后进行响度的调整，使得整体的人声更加舒适。
当然，这次演唱会重映之后， IT之家也向火山引擎方面了解到，修复的工作也并不完全是AI算法进行的，也会有人工处理的部分，只是人工参与的很少。比如在画质修复时，主要是和色彩相关的会加入部分人工，而音频部分主要是在响度调整上做了一些人工的细节调整。
总体来说，这次演唱会的修复绝大部分工作通过AI算法技术来完成的，并且我们也能看到，修复的工作不仅仅是提升音画清晰度这么简单，还涉及到艺术氛围的保留、噪声、细节的取舍、色彩的调整、重编码等等，是一个成体系的复杂流程。而这个流程，火山引擎已经能用技术在无人工参与的情况下完成绝大部分。
最终呈现在我们面前的，就是一场音画全面焕发新生，同时艺术感又原汁原味的经典演唱会，成就了一场情怀的狂欢。
比情怀更重要的，是赋能从效果来说，这次Beyond演唱会的超清修复是让人惊叹的，看了上面的介绍，相信会有朋友自然地想到，这些修复技术这么厉害，而且很少需要人工参与，那如果能将它们开放出来，让更多的主体能参与到这种颇具意义的修复中去，岂不是更好？
其实这些，就是火山引擎视频云正在做的，而且他们提供的能力还有更多。
相信大家也能感受到，视频在如今互联网传媒时代的重要性。 IDC在年初曾发布一份《中国视频云市场跟踪（2021上半年）》报告，其中显示， 2021上半年中国视频云市场规模达到43.7亿美元，同比增长38.7% 。我们正在迎接一个全新的“超视频时代”：不管是企业到用户，还是用户到用户，一个行业内的信息传递有50%以上是通过视频承载，就可以认为是“超视频时代” 。

文章图片
总之，在广泛的商业场景正在从图文走向视频的大背景下，视频正在成为一种新的生产力，各行各业都在思考如何建设自己的视频能力。
而火山引擎这家字节跳动旗下的云服务平台，恰好通过视频云为各行各业带来完整的视频能力。这次修复Beyond演唱会所涉及的相关技术，其实只是火山引擎视频云能力的“冰山一角” 。
【Beyond 超清回归，不止为情怀而来】根据今年2月火山引擎公布的最新视频云产品矩阵，这是一个包含泛互联网、游戏、金融、广电等场景，视频点播、veImageX、实时音视频等核心产品，以此构成完整的解决方案。最底层的核心中台，则是火山引擎在服务抖音、西瓜视频等优秀应用积累和沉淀下来的技术能力，覆盖网络传输、智能生产和智能处理全链路的能力。

文章图片
而细分到每一项能力方面，火山引擎视频云也有对应的技术优势。比如在编码方面，火山引擎的BVC系列编码器在视频编码器全球顶级赛事MSU2020中获得17项冠军。
在视频播放体验上，火山引擎拥有独创的“零首帧”优化，实现短视频首帧起播小于100ms ，长视频首帧起播小于400ms ，带来无感知的流畅播放体验。
还有他们的VQScore画质评估算法体系也已经在多媒体领域世界级学术会议ICME2021拿到第一名，稳定性方面更是能将应用崩溃率降到低于1/100000 。
正因为拥有这些技术优势，火山引擎视频云才能为不同的行业提供极致的视频体验。并且在视频体验方面，火山引擎也建立了自己的数据体系标准，从互动体验、播放体验、画质体验、性能体验四个方面做细致优化，从而让用户体验可量化、可优化。
举例来说，现在很多“超新Z世代”喜欢在快看上看“漫剧” ，这种全新的视频内容形式背后就有火山引擎视频云的助力。火山引擎视频云为快看“漫剧”创作提供了强大的视频编辑，推动UGC内容的繁荣，同时还为快看提供了零首帧的相关优化经验，提升了用户观看体验。

文章图片
（快看世界技术VP安尝思）
再比如今年5月， Pico以8K3DVR的方式举办了郑钧“WeAre”VR私人唱聊会的互动直播，火山引擎视频云为Pico提供了从VR采集、VR编码推流、VR云导播、虚拟现实特效叠加到VR播放器的全链路能力。

文章图片
（郑钧“WeAre”VR私人唱聊会）
总体来说，目前火山引擎视频云已经服务了很多的行业，覆盖游戏、电商、金融、教育等各个领域。包括前面我们说的修复Beyond演唱会过程中所使用的各种技术，在各行各业也都已经有很成熟的应用。也许，修复Beyond演唱会并和大家一起来一场免费的怀旧狂欢，是一件很有情怀的事，但小编觉得，能够将这些能力开放出去，赋能给千千万万需要用视频建设生产力的主体，是比情怀更重要的事情。
结语BeyondLive1991生命接触演唱会的重映已经结束，但小编相信，类似这样用技术修复文化的情怀不会止步。去年，抖音、西瓜视频联合火山引擎已经为我们修复了超百部经典动画，这次是Beyond的经典演唱会，未来，也许还有更多被时光侵蚀的作品会重新焕发生机。
而这样的事情，只靠为数不多的企业来完成，远远不够，相反需要更多的企业或主体参与进来。火山引擎视频云的赋能，对推动这样有价值的事情，无疑会起到非常重要的作用。