约克大学的一位音乐研究者称，最近出现的一项能让音乐家与人工智能生成的声音即兴演奏现场音乐的有趣技术，可能是自采样技术出现以来，甚至是自录音技术发明以来最大的创新。
约克大学艺术与创意技术学院的费德里科·鲁宾博士即将发行一张名为《潜在印记》的自由爵士即兴演奏专辑。这张专辑由萨克斯风手詹姆斯·梅因沃林和鼓手埃米尔·卡尔森录制，以乐队“斯韦伊德”（Sveið）的名义发行。
革命性的技术
然而，这张专辑有一个革命性的特点——它是在现场使用一种名为神经音频合成（neural audio synthesis 简称 NAS）的新兴技术演奏的。神经音频合成技术使音乐家能够在现场环境中与人工智能生成的声音即兴演奏，实际上相当于在舞台上与人工智能“一起即兴演奏”。
费德里科解释说：“神经音频合成利用深度学习，这是一种人工智能技术，程序会在大型数据集上进行训练——在这种情况下，是声音录音的集合——以在数据中找到特征和模式，从而生成类似于原始数据集中声音的新声音。”
争议
费德里科承认，这项技术的潜在影响已经引起了一些艺术家的担忧，其中包括埃尔顿·约翰爵士，他最近强烈反对他认为的创意产业中人工智能监管的不足。
尽管承认版权法的复杂性，费德里科强调，这些技术为艺术家和观众都提供了巨大的潜在好处。
“一旦人们看到这些工具所提供的创作可能性，我认为他们会真正兴奋起来。”费德里科说。他描述了一种名为“音色转换”的特定神经音频合成技术。
“例如，通过音色转换，一个在语音录音数据库上训练的人工智能模型可以实时响应放置在鼓组前的麦克风输入。当鼓手演奏时，人工智能会生成模仿鼓声的语音声音，创造出类似口技的效果。”
令人惊叹
费德里科说，这种效果“令人惊叹”，因为人工智能会尝试用语音声音来近似鼓的节奏和特征。
在他的自由爵士三人组“斯韦伊德”中，费德里科被归功为“笔记本即兴演奏者和现场编码员”，该乐队在演出中即兴发挥。
“我已经和几位音乐家在现场使用了这种技术，但这次专辑标志着一个新乐队的首次亮相，其中包括获得水星奖提名的萨克斯风手詹姆斯·梅因沃林和挪威鼓手埃米尔·卡尔森。”
在舞台上，费德里科使用笔记本电脑和控制器，通过连接到他电脑的麦克风捕捉其他音乐家的声音。
“我在每位音乐家面前放置一个麦克风来分析他们的声音信号。”他解释说，“我认为表演中的人工智能是一种‘共同创作的纠缠过程’——我在即兴演奏过程中现场编码并探索人工智能模型，对其他人的演奏做出反应。这种交流产生了各种意想不到的声音和全新的音乐想法，这确实让表演充满了活力。”
费德里科还表示，这种技术可能会惠及音乐产业的其他领域。除了自由爵士乐之外，费德里科还有正在进行的研究项目，探索神经音频合成更广泛的可能性。他与弗朗齐斯卡·施罗德教授合作，研究与人工智能模型更具身体性的互动方式——使用呼吸、声音、触摸、动作以及人体的生理信号，而不是文字提示。
另一个名为“莲花密码”的项目旨在通过与日本音乐家合作创建代表日本音乐传统的数据集，从而丰富人工智能的数据集。
“像乌迪奥和太阳人工智能这样的人工智能公司的一个重要问题是，它们依赖于以流行商业西方音乐为主的数据集。”他说，“这可能会导致文化和审美上的同质化，这就是为什么丰富神经音频合成数据集是至关重要的。”
变革性的技术
费德里科认为，神经音频合成可能会彻底改变音乐产业，他将其描述为录音历史中最具变革性的最新发展之一。
“这一切都是全新的，而这正是它令人兴奋的原因。”费德里科说，“这无疑是录音技术应用范式的一个转变。当采样技术出现时，它为音乐家开辟了一条新的探索途径，最终催生了像嘻哈乐这样的整个音乐流派。”
“我认为神经音频合成在音乐制作和现场表演中代表了类似变革性的转变。通过将人工智能视为合作伙伴，而不是取代音乐家的工具，它可能会为全新的音乐流派和表达形式打开大门。”
Sveið 专辑《Latent Imprints》介绍：
“斯韦伊德”的《潜在印记》将于6月27日通过577唱片公司发行。
（文：AI音频时代）