语音模型是什么
语音链路由两段组成：ASR（自动语音识别）把音频转成文字，TTS（文本转语音）把文字合成为音频。ASR 侧有开源的 Whisper 系与各家云语音识别服务，TTS 侧有云厂商的合成接口与开源方案。计费口径多为按音频时长或按字符数，长会议与批量播报的成本差异很大。工程上真正的难点不在模型调用，而在音频前处理：采样率、声道、静音切段与专有名词识别。
基本信息
| ASR 代表 | Whisper 系列、各云语音识别服务 |
|---|---|
| TTS 代表 | OpenAI TTS、Azure TTS、ElevenLabs、CosyVoice 等 |
| 计费口径 | 按音频时长或字符数，各家不同 |
| 常见工程点 | VAD 切段、热词表、采样率与声道匹配 |
| 输出格式 | 文字带时间戳，或音频文件流 |
| 限制 | 上传大小与格式限制以各平台文档为准 |
典型使用场景
- 会议记录：长录音转写后再做摘要与待办抽取
- 客服质检：批量转写通话录音，按关键词与情绪做抽检
- 字幕生成：用时间戳生成字幕文件
- 语音播报：把告警、通知文本合成为音频推送
- 语音助手：ASR + 大模型 + TTS 组成完整对话链路
- 视频配音：批量合成旁白，按字符量控制成本
ASR 与 TTS 最小调用
ASR 与 TTS 最小调用
# 先把音频转成单声道 16k 采样，兼容性最好
ffmpeg -i input.mp3 -ac 1 -ar 16000 -vn clean.wav
# ASR：上传音频文件转写
export OPENAI_API_KEY=你的密钥
curl -s https://api.openai.com/v1/audio/transcriptions -H "Authorization: Bearer $OPENAI_API_KEY" -F file=@clean.wav -F model=whisper-1 -F response_format=verbose_json
# TTS：文本合成音频，注意平台按字符还是按秒计费
cat > tts.json <<'EOF'
{"model":"tts-1","voice":"alloy","input":"系统将于十分钟后维护，请提前保存作业"}
EOF
curl -s https://api.openai.com/v1/audio/speech -H "Authorization: Bearer $OPENAI_API_KEY" -H "Content-Type: application/json" -d @tts.json -o out.mp3语音链路常见故障怎么读
| 现象 | 常见原因 | 处理方向 |
|---|---|---|
| 转写全是乱码 | 采样率或声道不匹配 | 统一转 16k 单声道再上传 |
| 专有名词错字多 | 缺少热词与领域提示 | 注入热词表或先给模型术语提示 |
| 长音频中途断句异常 | 静音段未切分导致分段错误 | 先做 VAD 切段再逐段转写 |
| 合成音很生硬 | 数字、缩写未做文本规范化 | 先把符号与数字写成可读形式 |
| 账单远超预期 | 按音频时长计费被忽略 | 先压缩静音段与裁剪无效时长 |
长会议音频先按静音检测切成短段再转写，比整段提交更稳定；切段还能并行处理，缩短端到端耗时。
录音可能含个人信息与敏感内容，转写前确认授权与用途，转写结果按同等敏感级别存储与访问控制。