2025年对话式AI发展白皮书

1 对话式 AI 发展白皮书 前言 对话式 AI 开启人机对话的新纪元 现实中人与人的沟通以语音为主，视觉其次，视觉的重要性在于信息的丰富度，信息浓度和沟通效率主要靠语音，而在生成式 AI 的浪潮下，人与 AI 的交互中亦是如此。从图灵测试到生成式 AI 爆发，人类对“机器对话”的探索已跨越半个世纪。对话式 AI 正以颠覆性姿态推开新纪元的大门——它不再是机械式被动应答的工具，而是具备感知、理解与创造能力的交互主体。这一变革的核心动力，源于多项核心技术的不断演进。例如，自然语言理解的质变，大模型突破语义泛化瓶颈；实时互动技术的成熟，低延迟交互让对话更自然、流畅；多模态感知的融合，语音、视觉、情境的协同决策等等。 2024 年 5 月，GPT-4o 的发布开创了 AI 实时语音交互的先河，推动了 AI 语音交互进入对话延迟更低、互动更流畅的 RTC 方案。同时，在 10 月份，OpenAI 发布了与 Agora（声网兄弟公司）、Livekit、Twilio 共建的 RealtimeAPI 公开测试版，用于构建基于 GPT-4o 语音到语音的 AI 应用和智能体，所有付费的开发者都能在应用程序中构建低延迟、多模态的实时互动体验。 当前对话式 AI 的应用有两个技术路线，分别是端到端模型方案和级联模型方案，两者在性能、成本、灵活性、扩展性以及集成部署等方面各有优缺点。同时，对话式 AI 的交互体验伴随着技术升级和应用扩展正在快速发展，对于开发者与 AI 创业者而言，如何选择最适合自身业务的技术方案与产品供应商显得至关重要。 对此，声网研究院联合 RTE 开发者社区推出《对话式 AI 发展白皮书》，基于对行业的洞察、调研，并结合自身的业务经验，从对话式 AI 发展的背景、技术方案与产品生态、对话体验质量评估方法、应用实践落地等多个维度系统的梳理对话式 AI 的发展现状与未来的趋势方向，希望能为行业的从业者带来更多的帮助。 2 目录 第一章：对话式 AI 发展的背景 ......................................................................................................... 5 第二章：对话式 AI 核心技术 ............................................................................................................... 7 2.1 对话式 AI 的发展 .......................................................................................................................... 7 2.2 对话式 AI 的主要技术方向 ....................................................................................................... 7 2.3 级联对话式 AI 的基本原理 ....................................................................................................... 8 2.4 响应延迟 .......................................................................................................................................... 9 2.5 智能打断 ....................................................................................................................................... 11 2.5.1 打断机制的核心类型 ....................................................................................................... 11 2.5.2 避免意外的打断 ................................................................................................................ 12 2.6 选择性注意力锁定 .................................................................................................................... 13 2.6.1 技术特点 ............................................................................................................................... 13 2.6.2 场景应用 .............................................................................................................................. 14 2.7 对话上下文管理 ......................................................................................................................... 14 2.7.1 为什么上下文很重要 ....................................................................................................... 14 2.7.2 如何做好上下文？ ........................................................................................................... 15 2.8 视觉理解 ....................................................................................................................................... 16 2.8.1 实时视频解析能力：动态场景的