Voyage Audio 官方新闻
Voyage Audio SDK:把空间音频接入实时应用
Voyage Audio SDK 面向多通道话筒阵列,提供解码、虚拟话筒、沉浸式格式输出和方向分析能力。
Voyage Audio SDK 面向需要空间感知能力的实时和离线应用。它围绕多通道话筒阵列建立统一的空间处理流程,并从同一套声场信息中同时输出音频、格式和方向数据。
适用方向包括空间感知会议、AR/VR、声学摄像机、预测性维护、工厂与设备监测、音频分析、研究、消费类产品、汽车和环境分类等。
概览
Voyage Audio SDK 是一套空间音频 SDK,服务于基于多通道话筒阵列的实时处理和离线处理工作流。
它可以在同一条空间处理链中完成话筒阵列解码、虚拟话筒生成、沉浸式音频格式输出和方向分析。对于需要场景感知、方向上下文或空间选择性音频信号的应用来说,它可以作为前端空间处理层。
架构
这套 SDK 被设计成独立的空间处理引擎。
宿主应用负责音频输入输出、设备管理和用户界面;SDK 专注于空间音频处理本身,包括解码、空间滤波、格式生成和方向分析。
官方提供了一个基于 JUCE 的示例宿主应用,便于评估和集成。Voyage Audio 也为自家的空间话筒系统提供参考硬件规格;如果项目有特定系统要求,SDK 可以通过集成和验证工作进行适配。
主要能力
Ambisonics 解码
使用经过验证、面向具体阵列的空间滤波器,将多通道话筒信号解码为一阶或二阶 Ambisonics。其他阵列配置可通过滤波器集成方式加入支持。
空间控制
SDK 支持空间处理链中的方向和滤波控制。对于特定集成需求,也可以在不改变底层处理模型的前提下开放更多空间参数。
虚拟话筒
SDK 可以根据空间分析生成可转向的虚拟话筒信号。虚拟话筒由方向和指向性定义,而不是由物理振膜位置定义。
支持的指向性包括 cardioid、figure-eight、MaxRe、in-phase 以及相关模式。
立体声混音
SDK 提供用于监听和路由虚拟话筒输出的立体声混音总线。单个 beam 可以静音、独奏、声像定位,也可以直接送往下游系统。
沉浸式输出格式
SDK 支持 Ambisonics、双耳渲染、Mid-Side 以及最高 7.1.4 的环绕声配置。
方向分析输出
SDK 会在音频输出之外持续生成声源到达方向估计和方向能量信息,这些数据可供可视化、分析或控制系统使用。
跨平台 SDK
SDK 以轻量级 C++ 库的形式提供,并配套文档和参考应用。主要开发和验证集中在桌面端集成;其他平台可根据集成需求进一步评估。
无界面部署
SDK 架构允许空间处理在没有用户界面的情况下运行,适用于嵌入式或服务器环境。具体部署方式仍取决于目标系统和集成场景。
SDK 范围与扩展方式
Voyage Audio SDK 提供的是一组明确、聚焦的空间音频能力,适合用于集成、评估和部署。
底层处理引擎内部支持更多空间控制和配置选项,并可在项目需要时通过 SDK 开放。功能扩展以集成需求和合作伙伴用例为驱动,而不是单纯追求泛化配置。
把空间音频作为系统级信号
Voyage Audio SDK 的核心思路是:空间音频不应只被当作展示或可视化功能,而应被视为系统级信号。
SDK 会为同一个声学场景生成多种并行表示,包括具有空间选择性的音频信号、沉浸式声场格式,以及描述声音来源和变化过程的方向元数据。
这样一来,应用可以按自身需求选择使用多少空间信息:有的系统主要使用音频信号,有的使用沉浸式格式,有的则更依赖方向数据或可视化。SDK 支持这些不同用法,而不会强制采用单一交互模式。
由于这些空间输出在时间上保持一致,音频信号和空间上下文在实时与离线工作流中都能保持对齐。
因此,同一条空间处理链可以同时服务通信、监测、分析和研究类应用,而不必为每个应用重新设计空间架构。
虚拟话筒:更容易接入现有音频系统
虚拟话筒是应用使用 SDK 空间信息的方式之一。
它并不代表固定的物理换能器,而是由话筒阵列空间分析生成的软件定义音频信号。每个虚拟话筒都对应声场中的一个监听方向和一种指向性。
因为虚拟话筒的表现形式仍然是常规音频通道,所以它可以顺畅接入现有音频链路:监听、录音、推流、混音或后续处理都可以使用标准音频工具完成,下游系统不一定需要理解空间元数据。
虚拟话筒的方向和指向性参数可以实时动态调整,因此监听视角可以在不改变话筒配置和信号路由的情况下变化。
实时与离线处理使用同一套模型
Voyage Audio SDK 对实时输入和已录制的多通道音频使用同一条空间处理链。
实时运行时,输入音频会被连续处理,并生成时间对齐的音频输出、空间格式和方向数据,用于监听、交互和现场系统反馈。
离线工作流中,同样的处理模型可以应用到已录制素材上,从而对过去采集的音频进行确定性的空间解码、虚拟话筒生成和方向分析。
实时与离线共享处理路径,可以简化开发和评估。离线测试中观察到的行为,能够直接反映实时系统的表现。
阵列几何与系统假设
Voyage Audio SDK 使用的是针对特定话筒阵列设计并验证过的空间处理滤波器。
目前,这些滤波器与 Voyage Audio Spatial Mic Converter 插件所使用的滤波器一致,因此 SDK 能继承已经验证过的空间行为和性能特点。
话筒几何关系不会作为用户可自由配置的参数开放。若要支持新的阵列配置,需要在 SDK 中完成对应的滤波器设计、集成和验证。
这种方式优先保证空间行为的可预测性,也避免了通用或推断式几何模型可能带来的不确定性。
集成方式
Voyage Audio SDK 适合作为大型应用中的专用空间处理组件。宿主应用负责音频输入输出、设备处理和用户交互;SDK 通过清晰的处理接口提供空间解码、格式生成、虚拟话筒输出和方向分析。
官方提供的 JUCE 参考宿主应用可以展示典型集成方式,并加快评估流程。SDK 既可用于交互式应用,也可用于无界面运行的空间处理配置。
由于虚拟话筒输出本质上是标准音频信号,它们可以继续进入其他信号处理或机器学习流程。例如在会议系统中,具有空间选择性的音频可以送入降噪、回声消除、语音增强或分析系统,而这些下游系统本身不必具备空间感知能力。
开始集成
如果你正在评估通信、监测、分析或沉浸式应用中的空间音频能力,可以联系 Voyage Audio 申请演示、讨论集成细节或了解授权方式:info@voyage.audio。
更多信息:https://voyage.audio;Spatial Mic 产品页面:https://voyage.audio/spatialmic。
来源:Voyage Audio 官方页面。本文依据 Voyage Audio 官方内容翻译整理,图片素材保留自原始官方文章。