濠博娱乐场安卓版·VR也需要3D的声音 这家公司已经给出了解决方案

2020-01-11 19:15:32

阅读(2302)

濠博娱乐场安卓版·VR也需要3D的声音 这家公司已经给出了解决方案

濠博娱乐场安卓版,智东西(公众号:zhidxcom)

文 | 海中天

著名导演乔治•卢卡斯曾经说过:声音和音乐占了电影的50%。到了虚拟现实世界,它的比例可能更高。

在vr世界里,声音是“导游”。在不真实的虚幻世界里,正是有了声音的引导观看者才不会漫无目地漂浮下去,在电影或者游戏的叙事中,声音相当于路标,纠正偏离的方向。

开发mp3的fraunhofer在做些什么

一些企业为新的虚拟世界创造3d声音,它们是幕后英雄,比如fraunhofer。在庞大的研究设施内,fraunhofer在20世纪90年代制定了mp3音频标准,它还是aac开发团队的成员。

现在,fraunhofer准备用自己的技术为用户带来更好的vr体验,2015年,它开始授权mpeg h编码解码器,当今的大多数家庭娱乐企业都用mpeg h来提供3d声景,不单单覆盖vr领域,还包括回音壁。

“我们从‘端到端’的角度来看待vr声音——从内容抓取到设备的播放。” fraunhofer业务发展资深总监jan nordmann说,“三星在gear vr中使用了我们的技术,在我们的首批客户中就有三星。从gear vr诞生第一天起,三星就使用了我们的cingo耳机技术。现在lg 360也使用相同的技术。”

要提供恰如其分的3d音频是相当复杂的,但是fraunhofer制作了一些插件,声音编辑者可以利用插件来移动麦克风声音中的物体,恰如区分音轨一样。将声音移到离收听者近的地方,音量就会变大,将它们从左边移到右边,就会感觉到物体环绕听众移动。

在vr世界你可以自由移动,可以在巨大的空间注视任何地方,不断变化的声音可能会导致观看者头痛,幸好,我们可以通过声音感知和头部追踪来解决这些问题。

声音追踪

“在平板上观看电影和在vr中观看电影有一个主要的技术区别:那就是头部追踪。” nordmann解释说,“在vr中,我们知道你在看什么,在平板上不知道。如果vr没有头部追踪,声音就不能移动。我们会用vr设备提供的头部追踪数据来追踪音频。”

fraunhofer编码解码器足够强大,完全可以为所有移动式vr设备提供出色的音频。cingo技术能够提供尽可能真实的虚拟现实体验。

nordmann表示:“如果设定正确,vr就能带来完全的沉浸式、存在式幻觉。如果出现错误,这种幻觉就会被破坏。”他还说,“你会感到恶心。在vr中如果音频和视频不匹配,它所带来的损害比电视音频视频不同步要严重得多。一旦出现差错,你就会质疑vr处理是否出现问题,你会被幻觉所抛弃。”

为了避免不好的体验出现,fraunhofer建立了一个实验室,它可以为3d音频测试提供最佳环境。工作室用大量的扬声器阵列来制造3d声音,最重要的任务就是用可调整高度的扬声器为vr环境营造空间感知。

fraunhofer并没有制造任何vr头盔,但它向头盔制造商授权编码解码器,它帮助其它企业掌握抓取3d声音的技术,它还开发自己的原型产品来展示技术。

“尽管富有经验的操作员可以使用‘麦克风树(microphone tree)’,但是最近推出的360度摄像头拥有不同的形态,它的音频功能受到了限制。我们希望消费者和专业人士可以更轻松地制作3d音频,所以我们不断研发,推出原型产品。我们已经开发出新的处理技术,它可以为大量的麦克风提供3d音频,到时我们就能用自己的编码解码器来解码。”

建立实验室是关键的一步,它可以最大限度提高vr音频的效果。正如nordmann所说的,一旦搞砸了幻觉就会消失;一旦正确,你不单可以推动故事前进,甚至还可以讲故事。

“在360度视频和vr中,观看者想去哪里就可以去哪里,动作无处不在。导演可以用音频线索来引导用户穿越故事。远处的爆炸声可以吸引你转动头部,在那片空间里故事会继续演绎下去。”nordmann说,“从环绕立体声过渡到3d音频,恰如几十年前从立体声过渡到环绕立体声。你必须实验,搞清问题在哪里。我们已经开发出一些工具,可以让过程变得更容易些。”

热门新闻

最新新闻