AI Melody
让 AI 配合直播中的演唱

客户长期从事音频相关的自媒体内容，希望开发一款能在音乐直播中使用的 AI 工具。最初的需求很直接：主播演唱时，软件自动配合播放 AI 人声；主播停下来时，保留伴奏，减少直播过程中频繁操作软件的负担。

当我把这个想法拆开后，发现它同时涉及 AI 人声生成、麦克风检测、音轨同步、专业声卡与直播软件。我的工作是把这些能力组织成一款主播能直接使用的产品，并按可供更多主播使用的通用工具来规划。

最重要的架构判断，是将 AI 音频生成与直播时的控制拆开。如果在演唱过程中才生成人声，计算速度、稳定性和延迟都会进入实时链路。直播场景需要的是声音在正确的时刻出现，因此我选择先生成整首 AI 人声，再控制已有音轨。

产品由此分成两个阶段：直播前负责人声分离、音色克隆与歌曲人声生成；直播中负责检测、同步、切换与输出。这让复杂的模型运算退出实时路径，也让用户清楚知道哪些工作需要提前准备。

如果把模型单独交给用户，主播需要在多个工具之间反复导入和导出文件。我将这些操作收进 AI Melody：先创建曲库条目，导入原歌、伴奏、人声和歌词；只有完整歌曲时，也可以通过 UVR 自动拆分音轨。

接着，主播上传自己的语音或演唱录音，由本地模型建立对应音色，并提前生成整首歌曲的 AI 人声。Electron 桌面端承接操作与反馈，Python 模块负责主要音频处理和模型调用，核心生成过程在本地完成。

在 Auto 模式下，软件持续采集麦克风，通过 VAD（人声活动检测）判断当前发声状态。检测到主播开始演唱时，系统播放伴奏与提前生成的 AI 人声；主播停止演唱后，关闭 AI 人声音轨，伴奏继续。

这不是从头重播一段人声，而是在同一个歌曲播放位置上控制音轨。VAD 判断、音轨状态与输出需要相互对应；呼吸声、环境噪声和非演唱语音也可能影响检测，因此误触发、切换延迟与实际听感是我在集成和测试中重点关注的问题。

主播通常已经有专业声卡、Studio One 和 OBS 等直播软件。我把 AI Melody 放在这条工作流中：将不同音轨按通道输出到声卡，交给 Studio One 继续处理，再进入后续直播链路。

麦克风在 AI Melody 中主要承担 VAD 检测与播放触发，主播的原始麦克风声音并不由 AI Melody 直接作为最终直播声音输出。这意味着我既要处理软件中的播放状态，也要在真实硬件环境里确认每条音轨最终去了哪里。

主界面左侧是曲库，中间集中呈现当前歌曲、播放模式、音频波形和进度，右侧承接歌词与音频设置。主播可以在同一视野里确认正在播放什么、处于哪种模式，以及声音将输出到哪个设备。

我用深色界面、半透明层次与蓝紫渐变波形组织视觉，突出播放状态与声音反馈。输出设备、声道预设、VAD 灵敏度、伴奏变调和 Python 服务状态都有直接可见的位置，方便在准备和直播过程中定位配置与连接问题。

项目开发周期约一个半月，主要投入集中在产品逻辑、AI 音频整合、音轨控制和实际环境联调。测试不只检查页面是否可用，还要确认声卡输出是否正确、Studio One 能否接收对应音轨、VAD 是否稳定，以及切换是否影响听感。

AI Melody 已经交付客户，并在真实直播环境中稳定运行。从最初的自动跟唱想法，到本地 AI 处理、桌面产品和专业音频链路，我独立完成了整个过程。这个项目体现了我将产品、设计、软件与硬件环境一起推进到实际使用的能力。