为优化AR/VR体验 Meta将开发基于AI的空间音频工具
近期,metaAI部门宣布将为AR/VR开发全新的空间音频工具:AcousticSythesis,以增强虚拟内容的视听体验。据悉,该空间音频工具可对不同的视觉环境做出相应的声音反馈,从而提升环境/场景模拟的保真性和沉浸感。
meta表示:我们一直在研究人们与周围声音的互动感知,发现人们通常会根据声音的位置去预判听到的音效。比如,如果你站在洞穴里,可能会期待听到回声,而远处的声源可能会听的不清楚。也就是说,环境特征会影响声音,包括空间的结构、空间中物品的材质、麦克风和声源之间的距离。
目前,AI模型已经可以理解视频中的图像场景,因此metaAI希望在此基础上,开发一个多模态的AI环境理解模型,也就是说AI将不止能够视觉分析场景,还能理解不同场景中的声音。简单来讲,就是通过视觉提示来匹配目标场景坐标的声音,还可以融合虚拟和现实场景音,去除混响和噪音,强化虚拟音效,从而提升AR/VR观影、社交体验的沉浸感。
同时,为了推动沉浸式空间音频内容生态,meta将向开发者开放三个支持视听理解的AI模型,这些模型专注于分析视频中的人类语言和声音,可让视频体验更加身临其境。未来,meta计划将这种技术与音频翻译技术结合,以推动全新的应用场景。
【重要提醒】
↘↘点我免费发布一条本地便民信息↙↙(微信搜索13717680188加小编好友,注明,免费拉您进群聊),优先通过审核。内容来源网络如有侵权请联系管理员删除谢谢合作!
延伸阅读:
- 可罚款数十亿英镑,英国加大对苹果、谷歌等科技巨头的监管力度
- 日本首个商业登月项目失利,着陆器于今日失联
- 假冒 ChatGPT 应用冲刷 Mac 应用商城:代码 99% 相同,“换脸”骗取钱财
- OpenAI急于为“GPT”注册商标,美国专利局却不买账
- 2022年联网汽车销量同比增长12%:大众第一,特斯拉首次进入前十
- Meta硅策略动荡,挖来微软高管领导芯片业务
- 谷歌CEO皮查伊预告Google I/O 2023亮点:AI赋能Pixel,Android 14令人兴奋
- 腾讯发布机器人灵巧操作研究成果,自研灵巧手与机械臂首次亮相
- 2023先进机器人与仿真技术大会在三亚崖州湾科技城开幕
- 精彩在即!第八届广东国际机器人及智能装备博览会新闻发布会召开