关于题主提到的几年前红遍全网的这条神奇的3D音频, 当时小探的好友们转发的配文都是“太逼真太可怕了”,“听完感觉头发都被剪光了!好凉啊!”
这条音频之所以可以如此逼真动人,是因为它采用了“ 人头录音 ”技术,还原了真实的声场。
换句话说,就是用复杂的录音方式,模拟还原了人耳在现实环境中的听音效果,比如剪刀在靠近右耳的地方“咔嚓咔嚓”,此时在音频中双耳听到的声音大小、时间都有会有一定的区别。虽然同样是用耳机来听,但由于3D音频对声场空间的还原,骗过了我们的耳朵和大脑,所以会让人感觉“震撼”、“真实”,有极强的 沉浸感 。
也许你要问,既然3D音频这么“带感”,为什么我们没有在生活中看到它的应用呢?其实最简单的应用,就是在电影院。
为什么人们喜欢在电影院看电影呢? 当然是因为视听体验好,有“现场感”。比起大银幕和放映厅的光线环境给人在视觉上带来的影响以外,影院对音响位置的精心设计是更重要的因素:从环绕声到全景声,影院在放映厅的各个方位摆放音响设备,尽可能地扩充声音维度的准确性。
题主的第二个问题是3D音频在哪些地方能发挥重要作用。答:VR。
这么多年过去了,随着虚拟现实(Virtual Reality)技术的发展,我们已经可以轻松拥有沉浸式的视频观看体验了,但 VR 的音频内容却没有跟上视频的脚步。VR 作为给人带来沉浸感的视听体验方式,仅仅有充分模仿现实的视觉设施,缺少声音的刺激,不仅会让体验者觉得“少了点什么”,还有可能因为声画的不一致,给人带来晕眩感。
最近,硅谷密探(微信公众号 SVS-007)独家专访了一家叫 Mint Muse 的公司。CEO向奕裴告诉小探,目前VR行业的一大短板,还是在内容。VR给人的体验感是其他方式无法比拟的,但是即使平台和设备开发得再好,优质的内容始终是决定行业格局的关键。不管VR在设备和科技上有了怎样的突破,如果音频制作一直处于滞后状态,VR在发展上仍会受到制约。可以很直接地说, VR内容的行业格局将会在很大程度上依赖于VR音频的发展 。
每一个看好VR 发展的人都热情高涨,民用的360度摄像机、支持手势的VR头显都已不再新鲜,然而,用于VR的内容质量仍然参差不齐。虽然有很多专业的VR内容制作公司和游戏公司,但是最终给VR内容产业带来繁荣的强心剂,很可能还是UGC(用户产生内容)的参与。
业内领先的 VR 内容创作公司 Jaunt 首席工程师 Adam Somers 曾说:“ 在沉浸感这件事上面,听觉占了五成,视觉占剩下五成 。然而,无论是游戏还是电影,很多人过分关注了视觉元素,很多时候音频都被当作最后添加的内容,被忽略了其重要性。”
为什么会这样呢?原因只有两个字——难啊!
其实早在十几年前,人们就已经开始着手发展3D音频了。自 VR 开始强势发展以来,很多公司也已开始投入大量物资为VR提供与之匹配的音频编辑系统。Facebook 收购了著名的空间音频技术公司 Two Big Ears, 并发布了 Facebook 360 空间音频工作站。
Google、Valve 等也都为VR内容制作者提供了 VR 音频编辑的 SDK,方便制作者将3D音频嵌入视频当中, 但是目前最严重的问题是:3D音频源文件的制作还存在很多限制 。
向奕裴在采访中告诉小探,传统的3D音频制作,可以通过“人头录音”设备来实现,就像我们熟知的3D虚拟理发店这类内容一样。这样产生的3D音频直接可用,但是价格昂贵,并且音频的各类要素都完全依赖现场的录制状况,后期完全不可编辑。然而视频的制作是需要视、音频文件严丝合缝的对应的,一旦音频无法二次编辑,这将给视频制作带来很大的阻碍。
(人头录音设备)
况且,就传统的影片拍摄方式来说,直接实现3D录音是不现实的。“人头录音设备价格非常昂贵。影片的摄制团队较为庞大,对于预算和工作周期有严格的要求,在有限的条件下,如果要全程录制3D音频,工程量将非常大,”向奕裴说,“目前一般都还是采取后期制作的方式来进行声画一致性的调节。”
然而,目前后期制作3D音频的插件编辑器又太不人性化了!
比如下图 Panorama 5 3D 音频编辑器的这种画风,制作者不仅得业务熟练,万一脑补力不足,想象不出与画面对应的3D场景,工作起来也是寸步难行。由于这需要音频制作者在想象声场空间设置的基础上,手动调节每个节点的坐标数值,依赖这类软件,3D音频制作周期也会变得非常长。
(Panorama 5 的操作界面)
“想象一下,音频编辑一会儿在2D屏幕上拖动各种按钮,脑补3D声音的场景,一会儿又得带上VR头显监听监看,这种操作方式简直是反人类!”向奕裴说。
为了彻底解决这个问题,向奕裴想到: 为何不直接让制作人员戴着头显,直接在 VR 的环境下进行视频、音频的编辑呢 ?这样一来,小编们再也不用冥思苦想,脑补实况,监听监看也变成了顺便的事情。CEO 向奕裴告诉小探,他们所开发的产品,将彻底打破 VR 视听发展不平衡的尴尬格局,解决这个难题。
Mint Muse 近期在 Steam 发布的 VR 3D 音频编辑器 Sound Flare,就突破性地 让制作人员全程在 VR 环境中,直接根据全景视频文件进行 3D 音频制作,打破了以往3D 音频制作的各种限制。
(在Sound Flare上拖动音频位置,与视频进行对应)
这款发布在 Steam 上的编辑器,允许人们带上 VR 头显,用 所见即所得的方式 进行音频编辑和制作。
(Sound Flare 让VR音频编辑变得生动可见)
内容制作者可以戴着 VR 头显,在所看到的软件界面上直接拖动音频文件,除了调整市场、剪接、调音量等基本功能,通过打点、拖动关键帧等方式,也可以根据发声路径改变声音的远近,让发声的人物和声音效果相符。
(在Sound Flare 上可以直接进行拖动操作)
Sound Flare 到底能实现怎样的效果呢? 举个简单的栗子,你就懂了。
在一段 VR 视频里,探长 Peter 和 Paul 都在硅谷密探的办公室里,Peter 在呼噜呼噜地吃牛肉面,Paul 在打电话。使用 Sound Flare 将音频进行 3D 处理编辑后,小探用 VR 头显观看视频——从门口走进办公室,如果将画面拉近 Peter,Peter 吃牛肉面的声音就大一些;如果把画面拉近 Paul,小探就能听清 Paul 在说什么;把画面对向墙壁时,甚至可以听到回声。如果把画面拉到门口之外,就什么也听不清啦。
这样一来,人物的位置信息在声音和画面上都保持了一致,VR视频将真正做到给人有“能忘却所佩戴设备的真实空间感”。
(用户可以直接在Sound Flare上实现音频文件的混缩输出)
目前在 Sound Flare 上已经可以轻松实现两耳3D音频的制作,在未来的版本中,Sound Flare 将增加对环境立体声(ambisonics)的支持,让VR音频实现全沉浸式的空间音效效果。
除了带来行业变革的 VR 3D 音频编辑器,Mint Muse 还为包括优酷在内的多个VR 视频播放平台提供全景声解决方案,让3D音频的播出不受平台技术限制,让人们更全面地体验到全景声带来的奇妙感受。
Sound Flare编辑器可以说是行业首创的直接可在VR界面工作的后期处理工具,对于这个痛点实现了针对性地解决。向奕裴说,他希望 Sound Flare 不仅是为VR内容制作者提供便利,更希望通过 Sound Flare 的普及,可以让VR在内容上有新的爆发。
有相关资源并且对 Mint Muse 感兴趣的投资人,欢迎添加探长微信与我们联系。 (请务必注明您的机构名及职务!)
模拟3D音效。
日常生活中,我们用两只耳朵来听东西,从各处音源中获得信息,再通过人脑的计算来定位声音。计算机模拟人脑的3D音效计算,通过数字音源播放出来,让我们感到自己处身于虚拟的世界。
既然在现实世界中,我们可以用一双耳朵分辨出3D音场,那么仅靠贴近耳朵的两只耳机也能实现近似效果。你可能会问,用两只扬声器也可以吗?答案是否定的,因为扬声器离人耳的距离太远了,在空气中传播时造成了失真,效果绝对没有多扬声器系统那么好,否则各厂商也不会狂推四声道产品。
以两个音箱实现的3D音效,对算法有很高要求,但不需要太复杂的硬件。用多音箱达到的3D音效,需要极为昂贵的硬件和复杂的扬声器位置设定,对软件的要求相对较低。
二、人类的听觉
为了更好地说明3D音效对我们的影响,有必要先讲解一下人类的听觉系统。人耳的基本声音定位原理是IID和ITD。IID(Interaural Intensity Difference,两侧声音强度差别)指距离音源较近的哪一边耳朵,所收到的声音强度比另一侧高,感到声音更大一些。ITD(Interaural Time Difference,两侧声音时间延迟差别)指方位的不同,使声音到达两耳的时间有差别,人们会觉得声音位于到达时间早些的那一边,IID+ITD的结果是把音源定位到以听者两耳这间连线为轴线的锥体范围之内。
耳廓(外耳)的作用是滤波器,根据声音的不同角度,加强/减弱音波能量,过滤之后传给大脑,让我们更准确地声源的位置。耳廓的大小有限,因此能够收到的音波范围也有限,通常是20Hz到20KHz,即波长16米到1.6厘米的音波。换言之,低于此范围是次声波,高于此范围是超声波。
由于两耳机的距离约为15厘米(除非你的头特别大),当波长大于15厘米时IIT和ITD将会减弱。频率低的声音波长大,因此我们很难判断出低音的位置,却能轻易分辨高音的方位。实际上,耳廓对于声音的定位,是至关重要的一环,没有外耳的人难以判断声音发出的位置。
声音波长=音速/频率,假设频率为10 KHz,即每秒振荡10000次,音速定值为330米/秒,波长
Virtual Barber Shop was originally created in 1996 for a QSound client. Here is a long version:
.
More demos can be found in
.
之前看到楼上介绍的产品,3Dio我也有,而且前几天刚好碰上了Lifelike在京东首发,就手欠的买了一副,对于音频方面的设备完全没有抵抗力,有了新品就想试试,哈哈哈……
我先来说说用了Lifelike的感受吧,森声Lifelike是一款全景声录音设备,它通过lightning接口连接iPhone,插上耳机用iPhone自带的视频拍摄或语音备忘录就能够录制全景声,不用下载其它什么APP,操作非常简单。
既然两个设备都有,我就对比一下两个产品吧~
1、从录制效果来说,全景声效果比普通录音设备的沉浸感更强,这一点没得说。
2、携带便利程度,Lifelike做的就比3Dio更易于携带。3Dio是把录音设备埋在了直接里,是一体的,Lifelike把录音耳机和主播支架拆开。如果在室内录音,耳机可以直接带在支架上,如果要到户外录制,拿上耳机就能直接出发。
3、操作上,这个就不能单纯的比啦,因为3Dio是TRS接口,连电脑的;而Lifelike是Ligthning接口,支持的是iPhone的设备。
所以,就我个人来说的话,这些人头录音设备的出现,会在越来越多的场景会使用到,如直播、旅游、全景声视频拍摄、音乐制作等等。
标签:3D,哪些方面,音频