资讯正文

被VR拯救的3D音效 专注欺骗大脑一百年

放大字体  缩小字体 2017-09-08 11:36:44  阅读:7754 来源:新浪科技 作者:贾晓晨

  VR受到无数追捧,随着自身技术的发展,带动了一批产业的升级换代3D音效正是其中的一员。在开发者对游戏画面、内容多年来越发...

  VR受到无数追捧,随着自身技术的发展,带动了一批产业的升级换代3D音效正是其中的一员。在开发者对游戏画面、内容多年来越发精益求精的发展下,游戏的VR化,终于迎来了游戏音乐的春天。Waves Audio发明带有头部追踪器的Waves Nx耳机实现3D空间音效;谷歌的开源项目Omnitone,为网页VR提供真实的音频系统。3D音效,在音乐发烧友的世界之外,获得了更多行业的和投资。不过,这个通过音效让人身临其境,仿佛与表演者身处同一个空间的3D音效,和所有人以为的“现代”、“前沿”不同的是,它的开发有着上百年历史。

  3D音效:人头录音

  3D音效的目的就是让你完全置身于现实声音的原始环境中,你能感到鸟从头顶飞过,左边有耳语,右边有街头表演,感受到声音的位置,在脑海中浮现出真实的画面。

  传统上,录音被分为单声道(Mono)和双声道(Stereo)两种,区别在于捕捉声音的传声器的数量。在双声道录音的基础上,人们改进发明了立体声录音(人头录音),在仿真头的两侧,放置两个人耳形状的传声器。人脑定位声音位置基本依靠三个要素:耳朵的形状、听到声音的时间差和声音对两耳的产生的不同的压力。因为仿真耳朵在外形和密度上都离去还原人耳,所以这类的传声器能和人耳一样地捕捉和传输声音,保持左右耳间的差别。

  3D音效的历史

  人头录音的历史可以追溯到19世纪末期,法国的工程师Clement Ader。1881年,Ader开发出了电话戏剧(Theatrophone),一种通过电话服务转播的巴黎戏剧表演,一套套的麦克风从舞台的左边一路排到右边,信号通过电话输,听众只需要一副接收器,就可以在巴黎工业宫中的包厢中听戏。

  1933年,AT&T的贝尔实验室在芝加哥博览会上展出了双耳立体声,带来了一个在双颊耳前安装了麦克风传输器的机械仿真人奥斯卡。奥斯卡在玻璃房间中捕捉声音,而外面的访客可以听到和它一样的声音。AT&T的这项技术,由Ader的发明改进而来,不过两者的音质都没有什么本质的提升。

  经历二战,3D音效依旧过不去高音质这道坎,直到1973年,一个德国麦克风公司Neumann生产了革命性的KU-80,也是后来的人头录音设备的原型:一个仿真头,左右两边各有一个传输器,并极大提升了对声音位置的捕捉的灵敏度。同时,人头录音也找到了自己适合的领域,这项技术在广播、实验音乐上都得到了大力发展。摇滚主唱们,如Lou Reed,Thom Yorke,Imogen Heap等都进行了人头录音的实验。

  上世纪90年代末,一个叫Aureal的公司发布了A3D技术。Aureal的技术能利用电脑本身的两个台式的音箱,不外接音箱的情况下,制造出3D音效,通过A3D,你能够清楚地辨别声音前后左右和上下的位置。A3D是声学工程师们根据3D音效的原理建立了一套数字模型算法,称之为头相关变换函数(Head-related Transfer Function, HRTF)。在精确的HRTF值下,体验者不仅能够感受到声音的方向,并能确切地感受到不同声音来源的远近,并随着自己的移动而感受到和声音源距离的变化。理论上来说,个体差异导致每个人的HRTF值都不相同,不过,人类的大脑有着很强的适应能力,虽然你在一开始使用别人的HRTF数值时,可能产生声音定位困难,但是当你习惯以后,人脑就会自动学习,并主动进行适配。

  不过,由于Aureal和对手公司Creative的恶性竞争,一场劣币驱逐良币的商业之战下,历经在大量官司的重创Aureal最终因无力经营而倒闭。

  VR,3D音效的伯乐

  经历一个世纪的发展,3D音效的技术再次获得了科技界的青睐,不论是VR设备还是VR游戏、视频资源,3D音效都作为VR系统的一个部分,youtube在4月推出的VR直播,就增加了立体声录音。

  3D音效提供了一个扩展版的虚拟现实,它帮助了很多游戏和设备在视觉上的局限,完整了360°无死角的体验感受,没有声音的执导,人的视觉可能不受画面控制,而仿真的3D听觉的加入,能够很好地控制人的大脑,吸引用户的注意力。

  乐队U2,Kanye West的音乐制作人Chris Milk,在过去的机场大型音乐会上,采用了3D音效。一个拥有8个耳朵的全方位立体声头,4对3Dio双耳麦克风,保证覆盖每个90°的空间,在VR设备下,保正观众的听觉和视觉的统一。在阿波罗工作室的Jean-Pascal Beaudoin看来,没有3D音效的VR体验是非常容易失败的:当你的大脑定位到声音来自左边时,它会预判当你左转90°后,声音的来源应该在你的正前方,而如果此时,声音依旧在你的左边,那么大脑就会将你从刚才的沉浸式体验中抽离出来。

  不过,3D音效在VR内容中占的比重依旧不高,不论是电影还是游戏,音效常常是最后一个被考虑到的因素,VR不论是作为媒介还是内容,从设计伊始就考虑到内置人头录音,才能让让3D音效获得最大化的充分利用。

  普伦斯顿大学机械与航空工程教授Edgar Choueiri,领衔3D音效和应用声学实验室数十年,在自己位于纽约上东区的家中,以一个世纪前的理论为基础,复原并优化了一套完整的双声道录音系统:BACCH SP,一个让每对音响都保留声音提示的过滤器,并以此创造出3D音效。Jawbone采用普林斯顿大学的这个算法,为无线蓝牙音响jambox制造过滤器,创造3D音效。运用同一套算法的App,BACCH-dSP,在头部追踪器的配合下,能够定位听者的头部动作,更精确地创造出3D音效的环境,软件的OS版本也实现了3D音效在笔记本上的应用。

  VR对音效的高要求,被遗忘在历史角落的3D音效终于再次复苏,各家的VR设备都让它不再是可有可无的佐餐小菜,而是沉浸式体验成败的关键。