新的 VR 音乐技术让音乐家可以使用逼真的头像和智能手机同步、无延迟地一起演奏。
一个新平台让音乐家们可以在虚拟现实中一起排练和表演，并拥有实时同步和富有表现力的虚拟形象。（图片来源：ARME 项目）
如今，世界各地的音乐家们距离实时同台演出的激情又近了一步——无需身处同一房间。一项新技术正在改变音乐的创作、练习和教学方式，它将视频录制转化为栩栩如生的虚拟表演。
这一突破将现场音乐的节奏与虚拟现实的力量融为一体，带来超越物理界限的生动而个性化的音乐体验。
联合活跃音乐会议（简称 JAMS）是一个虚拟音乐平台，旨在让远程演出更具真实感。该平台由一个研究团队开发，允许音乐家使用虚拟角色在虚拟空间中排练、表演和教学。这些数字角色模拟真实人类的动作和表现力，让艺术家能够像在现场一样进行互动。
库尔四重奏乐队在弦乐器上演奏时，使用了动作捕捉标记。他们周围环绕着动作捕捉摄像机。（图片来源：玛丽亚·维泰克）
要加入演奏会，音乐家只需一部智能手机录制自己的演奏，并戴上虚拟现实耳机。软件会将视频转换成虚拟形象，与其他用户完美同步演奏。音乐家们可以在恰当的时机看到彼此的动作——例如小提琴手琴弓的倾斜或关键的手势。
这种精准的协调至关重要。在现场音乐中，演奏者之间哪怕是最轻微的延迟都可能打乱节奏和注意力。这种延迟，也就是所谓的“延迟”，即使只有10毫秒，也可能会造成问题。但JAMS彻底解决了这个问题。
“延迟是指声音从发出到到达听众之间的延迟，”该平台的创始人之一、伯明翰大学的马克斯·迪·卢卡博士说道。“表演者甚至会感受到低至 10 毫秒的延迟的影响，这会让他们节奏失调、注意力分散，或者让他们无法专注于演奏的技术细节。”
有了 JAMS，每一次节奏都恰到好处，每一次眼神交流和动作都自然流畅，每一次会议都如同亲临现场般轻松惬意。体验流畅自然，无任何中断或延迟。
JAMS 远不止简单的视频分享。它使用能够实时响应的虚拟形象，为表演者提供重要的视觉提示。这包括一些细微却重要的元素——例如眼神交流或肢体语言——帮助音乐家在演奏时保持同步并进行交流。这种共同临场感是音乐的核心。
与传统的视频通话不同，VR 头戴设备能够提供高度沉浸式的体验。它将音乐家置于一个共享的虚拟空间中，他们的虚拟形象可以像身处舞台或排练室一样进行互动。即使将面部与视线齐平，也能增强表演者之间的联系。
这种视觉精准度不仅提升了真实感，还能促进学习。近距离观察技艺精湛的音乐家的演奏，可以帮助经验不足的演奏者更快地提高水平。“你可以调整其他人演奏的虚拟形象，或者通过与大师练习来提高演奏水平，”迪·卢卡博士说道。
计算机展示了 ARME 中栩栩如生的虚拟形象的数字化创作过程。（图片来源：Maria Witek）
JAMS 的愿景远不止于虚拟练习课程。它旨在打造一个数字空间，让音乐家们能够相互交流、表演、教学，并作为一个社群不断成长。它或许会成为类似 Spotify 或 Myspace 的音乐版，人们可以在这里相聚创作音乐、分享作品，甚至为更广阔的虚拟观众表演。
该平台专为音乐人打造——无论他们是经验丰富的专业人士还是初出茅庐的新手。这种包容性正是 JAMS 的优势之一。它为初学者提供了提升的空间，同时也为高级演奏者提供了专业演奏的工具。
这些虚拟形象并非只是摆设——它们是利用增强现实音乐合奏团 (ARME) 项目期间创建的特殊算法构建的。该项目汇集了心理学、计算机科学、工程学、音乐、运动科学和数学等多个领域的专家。
他们共同构建了一个模型，能够捕捉真实音乐家复杂的节奏和动作。最终，他们打造出了一个反应灵敏的虚拟形象，能够以惊人的精准度匹配人类对应的肢体动作。
JAMS 不仅仅是一个练习工具，它还开启了许多其他用途的大门。它可以调整用于电视或电影中的唇形同步和配音。它还能收集表演数据，用于创建音乐家的数字“孪生”。这些数字版本可以授权用于游戏、动画或虚拟音乐会，为艺术家提供更多分享和获利的方式。
这也可能改变音乐版权的处理方式。数字化身演绎真实作品或许能让音乐以新的方式跨平台分享，为出版商提供更多控制权和发行选择。
教育发展方面也蕴藏着巨大的潜力。音乐教师可以使用 JAMS 为学生创建练习伙伴，帮助他们提升节奏感、技巧和音乐表达能力。学生可以与以著名演奏家为原型的虚拟人物互动，让学习更加有趣，更具亲和力。
激光雷达（LiDAR）捕捉音乐家的3D数据，为虚拟现实和增强现实表演创建逼真的虚拟形象。（图片来源：Maria Witek）
JAMS 的优势在于它能够重现现场音乐的情感和技术体验。通过消除延迟、捕捉肢体语言并提供交互式虚拟世界，它可以帮助音乐家感受到真正的联系——无论他们相距多远。
这个平台不仅仅是一个科技项目，更是一场迈向未来的运动，人们将以前所未有的方式创作和分享音乐。无论是通过远程即兴演奏、虚拟教学，还是大型数字音乐会，JAMS 都在重塑音乐世界。
正如迪卢卡博士所解释的那样，“我们的目标是将亲身演奏音乐的魔力带入虚拟世界。”
本文所发布的内容和图片旨在传播行业信息，版权归原作者所有，非商业用途。 如有侵权，请与我们联系。 所有信息仅供参考和分享，不构成任何投资建议。投资者应基于自身判断和谨慎评估做出决策。 投资有风险，入市需谨慎。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
南京高中投档线公布，金中江心洲校区分数线“意外”下降？绝大部分进档学生超630分
AI、Web3、Meta聚合型精选内容分享。以前沿视角，探索科技未来；让每一个人，都走在时代的前沿
《编码物候》展览开幕 北京时代美术馆以科学艺术解读数字与生物交织的宇宙节律
古茗：营利增速放缓，产品安全与质量问题频发，公司治理亟待提升ESG案例
