万余首钢琴作品一千多小时,字节跳动全球最大钢琴MIDI数据集( 二 )


万余首钢琴作品一千多小时,字节跳动全球最大钢琴MIDI数据集文章插图
模型训练完毕后 , 在推断阶段 , 研究者提出了一种计算绝对触发和抬起时间的算法 , 可预测任意时间精度的音符触发和抬起:
万余首钢琴作品一千多小时,字节跳动全球最大钢琴MIDI数据集文章插图
转谱结果
00:00/00:00倍速
下图显示了郎朗演奏《爱之梦》片段的音频对数梅尔谱图、音符转谱结果和踏板转谱结果:
万余首钢琴作品一千多小时,字节跳动全球最大钢琴MIDI数据集文章插图
此外 , 研究者使用一款名为雅马哈 Disklavier 的自动演奏钢琴播放转谱的 MIDI , 重构了伟大钢琴家们的历史演出 。 业内人士分析 , 这项工作无疑是令人振奋的 , 字节跳动可能会将这项技术应用于后疫情时代的线上音乐直播、智能音乐创作中 。
示例参见:
自动演奏钢琴重构李云迪《钟》:
自动演奏钢琴重构古尔德 1981 年《哥德堡变奏曲》:
参考文献:
[1] Qiuqiang Kong, Bochen Li, Xuchen Song, Yuan Wan, and Yuxuan Wang. "High-resolution Piano Transcription with Pedals by Regressing Onsets and Offsets Times." arXiv preprint arXiv:2010.01815 (2020).
[2] Qiuqiang Kong, Bochen Li, Xuchen Song, Yuan Wan, and Yuxuan Wang. "High-resolution Piano Transcription with Pedals by Regressing Onsets and Offsets Times." arXiv preprint arXiv:2010.01815 (2020).
代码&数据集: