定位与取舍参考
行业产品与开源实现的横向参照，用于判断 vanling 该做什么、不该做什么。优先级与待办只在 Roadmap 维护，本文不构成承诺。
开源语音模型
开源 TTS/语音模型，按质量/体积/许可证排序。vanling 可直接集成。
| 模型 | 参数量 | 许可证 | 延迟 | 声音克隆 | 适合 vanling |
|---|
| Piper | ~20M | MIT | 55ms（10s 音频） | 否 | ★★★★★ CPU 运行，30+ 语言，边缘部署首选 |
| Kokoro v1.0 | 82M | Apache 2.0 | CPU 实时 | 否（KokoClone 扩展支持） | ★★★★★ 最佳质量/体积比，54 声音 |
| Step-Audio-TTS-3B | 3B | Apache 2.0 | 需 GPU | 是 | ★★★★ 最佳中文语音质量+情绪控制+方言 |
| Coqui XTTS v2 | 467M | CPML（非商用） | <200ms | 是（6s 样本） | ★★★★ 最佳克隆，17 语言，但许可证限制 |
| F5-TTS | 335M | CC-BY-NC | 需 GPU | 是（零样本） | ★★★ 克隆质量优秀，中英混杂，但非商用 |
| Orpheus TTS | 3B | — | 需 GPU | 否 | ★★★ Llama 骨干，风格控制 |
| Bark (Suno) | — | MIT | 0.8x（太慢） | 否 | ★★ 表现力强（笑声/叹气/音乐），但实时性差 |
推荐架构
ESP32 (边缘) 服务器 (vanling)
┌──────────┐ ┌─────────────────────┐
│ VAD │ │ ASR: sherpa-onnx │
│ Piper/ │◄── WebSocket ──│ LLM: Qwen3 candle │
│ Kokoro │ │ TTS: Kokoro/ │
│ (本地 │ │ Step-Audio-TTS-3B │
│ TTS) │ └─────────────────────┘
└──────────┘
- Piper 或 Kokoro 用于 ESP32 边缘 TTS（轻量、快速、CPU 运行）
- Kokoro 用于服务端 TTS（最佳质量/体积比，Apache 2.0）
- Step-Audio-TTS-3B 用于服务端高质量中文语音（情绪控制、方言支持）
相关项目
以下是 vanling 定位和功能取舍的主要参考项目，按类别组织。
后端服务（替代实现）
客户端实现
MCP 生态工具
Home Assistant 集成
MQTT 网关
嵌入式硬件适配
部署工具
管理监控
商业产品参考
闭源商业产品的关键技术和 UX 模式，供 vanling 取舍参考。
语音 AI 平台
| 产品 | 关键技术 | 对 vanling 的参考 |
|---|
| OpenAI Realtime | 端到端 S2S、语义 VAD、WebRTC、~232ms 延迟 | 语义 VAD 是轮替/中断金标准；WebRTC 传输架构可参考 |
| Cartesia Sonic 3.5 | SSM 架构 TTS、<90ms 延迟、3 秒声音克隆 | SSM 是 TTS 新方向，比 Transformer 更快 |
| ElevenLabs | 语音克隆（1-25 样本）、Expressive Mode、11.ai MCP 语音助手 | 语音 + MCP 集成模式；Agent coaching/evaluation |
| MiniMax Speech-2.8 | 插入标签 (laughs) (sighs)、7 情绪 + 0-100% 强度、逐句情绪控制 | 简单实用的情绪表达方案，无需 SSML |
| Inworld AI | 15 秒声音克隆、文本描述生成声音、<130ms TTS | 最低门槛声音个性化 |
| Hume AI EVI | 600+ 情感标签、情绪自适应语调、检测犹豫/讽刺/宽慰 | 情绪检测 + 自适应语调是关键差异化 |
| Sesame CSM | 对话韵律（呼吸/犹豫/笑声）、开源 Apache 2.0 | 可直接使用的开源模型，让语音更像真人 |
语音 AI 基础设施
| 产品 | 关键技术 | 对 vanling 的参考 |
|---|
| LiveKit / Pipecat | 开源 SFU 架构、50+ AI 模型集成、OpenAI ChatGPT 底层 | 语音 AI 基础设施标准，可用作传输层 |
| Retell AI | ~600ms 端到端（免调优）、专有轮替模型、BYO-LLM | 轮替检测是核心差异化 |
| Vapi | BYO-stack（自选 STT/LLM/TTS）、A/B 测试、1000+ 模板 | 可组合架构模式 |
智能音箱 / 手机助手
| 产品 | 关键技术 | 对 vanling 的参考 |
|---|
| Amazon Alexa+ | 自主任务执行（Uber/OpenTable/Grubhub）、模型无关路由、跨设备连续性 | Agent 链式执行模式；vanling 可通过 MCP 实现 |
| Google Gemini for Home | 自然语言创建自动化（"Ask Home"）、AI 摄像头理解 | "描述自动化" UX 模式 |
| 小米超级小爱 | 声纹识别家庭成员、AI 通话代接、灵动气泡视觉反馈 | 多成员声纹 + 家庭功能 |
| 小度 | 蓝牙 Mesh 本地网关、无网控制、声音人格持久化 | 本地网关架构；声音人格是情感纽带 |
| 天猫精灵 | "1+3+N" 架构、空间智能体、边缘场景调度 | 空间智能体：从命令式到上下文感知 |
| 讯飞星火 | 一句话声音克隆、74+ 方言、端到端语音翻译 | 一句话克隆是杀手级功能 |
| 豆包 | 超能模式（自主任务分解）、100M+ DAU、Coze 智能体平台 | Agent 任务分解 + UGC 角色平台 |
AI 可穿戴
| 产品 | 关键技术 | 对 vanling 的参考 |
|---|
| Meta Ray-Ban | 76% 市场份额、音频优先、视觉感知、7+ 语言实时翻译 | 音频优先 + 视觉感知是成功模式 |
| Omi（开源） | $89、MIT 许可、250+ 社区 App、本地录制+云端同步 | 最接近的开源可穿戴参考 |
| Bee AI（Amazon） | $50、7 天电池、无音频存储隐私策略 | 低价 + 长续航 + 隐私优先 |
| Looki L1 | 30g 挂坠、12 小时电池、AI 环境感知 + 生活日志 | 最小形态 + 感知共鸣理念 |
| Limitless Pendant | 始终监听、说话人分离、MCP 服务器集成、100+ 语言 | 环境上下文捕获 + MCP 集成模式 |
AI 陪伴应用
| 产品 | 关键技术 | 对 vanling 的参考 |
|---|
| Character.AI | 1000万+ 用户角色、Lorebook 世界观、PipSqueak 2 模型 | UGC 角色市场 + 持久人格模式 |
| Replika 2.0 | 跨月记忆重建、主动提醒、AR 体验、视频通话 | 主动记忆驱动建议是强大 UX |
| ChatGPT Voice | 端到端音频模型、320ms 延迟、22 种神经 TTS 声音 | 消费级语音 AI 标杆 |
| Microsoft Copilot | Work IQ 持久记忆、Agent 365 治理、计算机使用代理 | 最成熟的企业级记忆系统 |
关键行业趋势
| 趋势 | 代表产品 | vanling 机会 |
|---|
| 语义 VAD | OpenAI（模型级轮替检测） | 比纯 VAD 更智能的中断处理 |
| 对话韵律 | Sesame CSM（呼吸/犹豫/笑声） | 让 TTS 更自然 |
| 端到端 S2S | OpenAI/Hume/Sesame | 终极目标，当前级联更实际 |
| 情绪自适应 | Hume AI（检测→自适应语调） | 语音助手关键差异化 |
| SSM 架构 TTS | Cartesia（State Space Model） | 更快的 TTS 推理 |
| 持久记忆 | Work IQ / Replika / Character.AI | 从 chat history 到长期记忆 |
| MCP 语音集成 | OpenAI + MCP、ElevenLabs 11.ai | 语音对话中调用工具 |
| 声音克隆民主化 | Cartesia 3 秒 / Inworld 15 秒 / MiniMax 10 秒 | 最低门槛声音个性化 |
| 隐私优先 | Bee（无音频存储）、Omi（本地处理） | Always-listening 的隐私策略 |
垂直行业语音
汽车、医疗、教育、翻译等垂直行业的语音 AI 方案，供 vanling 垂直场景参考。
| 行业 | 代表产品 | 关键技术 | 对 vanling 的参考 |
|---|
| 汽车语音 | NIO NOMI、小鹏天机、SoundHound | 边缘离线处理、14 种情绪语调、RAG 车辆手册、Speech-to-Meaning | 边缘离线是关键；情绪语调定制；RAG 参考 |
| 医疗语音 | Nuance DAX、Nabla、Abridge、Suki AI | 环境临床记录、隐私优先（不存储数据）、HIPAA 合规、引导推理 | 被动监听模式；隐私优先架构；引导式对话 |
| 教育语音 | Duolingo Max、作业帮 P50、有道子曰 | 逐步引导推理、个性化学习路径、游戏化、实时发音纠正 | 引导式对话模式；游戏化驱动参与 |
| 翻译设备 | Pocketalk、Timekettle、Vasco | 双麦降噪、<1s 延迟、离线翻译包、专用硬件 | 双麦降噪+低延迟是关键；离线能力 |
| 智能家居 Hub | Echo Hub、HomePod、SmartThings | Matter 1.3/Thread 1.4、离线语音（0.2-0.4s 本地）、预测性自动化 | ESP32 作为隐私优先本地控制器 |
中国 AI 创业公司（2025-2026）
中国 AI 六小虎等新兴公司的语音 AI 技术，供 vanling 技术选型参考。
| 公司 | 关键技术 | 对 vanling 的参考 |
|---|
| 阶跃星辰 StepFun | Step-Audio 2（130B S2S）、Step-Audio-TTS-3B、Apache 2.0 开源、情绪控制+方言 | 最相关：最佳开源语音 AI，可直接使用 |
| 智谱 AI | GLM-4V 视觉模型、85% 收入来自本地部署、港股 IPO | 本地部署商业模式参考；视觉能力 |
| MiniMax | 海螺 AI、星野、1.75 万亿周 Token 调用量、Speech-2.8 | 消费级 AI 产品运营参考；情绪 TTS |
| 月之暗面 Kimi | Kimi K2.5 + Kimi Claw、估值 3 个月从 $4.3B→$18B | 超长上下文 + 语音 AI 结合 |
| 百川智能 | 医疗垂直 LLM、3B 现金储备 | 垂直行业深耕模式 |