AI+RTC：如何用实时音视频技术创造AI实时对话自然交互

AI+RTC：如何用「实时音视频技术」创造「AI实时对话自然交互」目录 Menu•AI对话应用场景•TRTC实时对话式AI解决方案•TRTC产品介绍和核心优势 前 言Voice Agent 可能是今年最值得关注的一个方向，是下一代人机交互界面，多模态改变交互GUI -> LUI语音交互以其与人类自然沟通方式的高度一致性，提供了一种更为直观和低能耗的交互体验，而打字文本交互的使用门槛更高低延迟、高智能GPT-4o 是第一个实现端到端 voice-in, voice-out 的大模型，低延迟、真实情感表达、很强的语义理解能力重新发明电话围绕实时对话构建的产品受到投资人青睐，利用AI定制特定类型的实时对话，更高效地提供上下文和价值AI对话应用场景自24年下半年以来，涌现了哪些新场景？0102030405060708大模型/搜索：实时AI对话已经成为标配AI+游戏：AI陪玩、AI NPC、AI队友AI+泛娱乐：AI陪伴、语聊房助手AI+健康：问诊助手、心理健康咨询AI+教育：实时字幕、在线课堂助手AI+客服：智能客服、智能外呼AI+IoT：可穿戴设备、AI玩具AI+工作：招聘、实时翻译应用场景01：大模型/搜索——实时AI对话已经成为标配 大模型厂商长对话意图漂移•当前仍需解决长时对话中的意图漂移问题（如30轮以上对话的上下文丢失率约12%）未来挑战与演进方向多语种混合准确性•多语种混合场景的实时翻译精度（如中英文混杂语句的识别错误率约8%）从「会思考」到「能对话」•在嘈杂的地铁场景中，用户仍可通过语音与大模型完成复杂问题交互，且支持随时打断和话题切换，接近真人对话体验RTC+AI的方案不断优化有效提升对话轮次和客户粘性•相比仅用IM单次对话，加入AI实时语音对话平均轮次提升3-5倍应用场景02：AI+泛娱乐沿着虚拟陪伴和互动内容两条路进化•NSFW可能是目前AIGC产品里停留时长和付费意愿最强的品类•据了解有些做海外的已经实现了盈利（主要靠擦边和强收费）•虚拟体验需求，一段虚拟的剧情体验,用户使用该产品的目的性比较明确，通过和AI的互动获得「情绪价值」•想办法满足更广泛人群的虚拟体验需求，成为一个大DAU的产品情感陪伴NSFW（Not Safe For Work）AI陪伴分类Crushon.aiJanitor.aiSpicychat.aiYodayoPoly.AI星野TalikieCharacter.ai目前阶段的 AI 虚拟陪伴，还有很多难点需要解决1.记忆力不足 2.成本较高 3.没办法完美模仿一个 IP4.文字太单薄，需要多模态虚拟陪伴互动内容今天的 C.AI，并不是真正的恋爱陪伴，而是一种新的“内容消费”形式，是一种全新的互动内容。用户和 AI 在共创一个故事，并且不同于看小说，AI 每次回复的内容，可能都是不一样的， 会往完全不同的剧情发展。应用场景03：对话式AI在教育行业的应用场景语言学习、口语陪练多模态能力解题讲解•LLM+Voice Agent是下一代交互的开始：低延迟、高智能。•长链路的延迟是用户难以接受的，RTC+LLM使得延迟降低，加入了智能打断等功能让用户交互起来更像在于真人交流。•这对于互动/实时要求性高的教育场景具有显著意义。典型场景如语言学习、儿童兴趣引导、阅读伴侣等。AI大模型参与教学的能力逐渐增强，难度逐渐增大软件类硬件类实时字幕+AI助手同声传译儿童陪伴：实时阅读伴侣AI学习机：实时辅导单词笔：语言学习、实时对话应用场景04: IoT AI对话智能手机电脑助手（一）手机&电脑硬件行业搭载了大模型的手机语音助手响应更快，质量更高国产手机厂商正在加快脚步进行调研这里是我们的机会点Google Pixel 9 with Gemini Live搭载了大模型的电脑语音助手可以与 AI 助手聊天、向它提问，并像与朋友或同事交谈一样打断它应用场景04: IoT AI对话扫地机器人智能摄像头智能门铃Enabot 赋之 Ebo Air 智能机器人科沃斯｜YIKO语音2.0大语言模型技术萤石AI三摄全自动人脸视频锁行业首款接入蓝海大模型的智能锁（二）智能家居行业更好的自然语言理解，清晰指令追觅、科沃斯、石头、云鲸等头部玩家均在比拼陪伴机器人从摄像头延伸出来的宝宝陪伴、陪伴机器人都有机会通过摄像头实时识别并理解视频内容多模态视频能力落地的典型场景应用场景04: IoT AI对话智能手表智能眼镜智能耳机Ray-Ban Meta智能眼镜儿童手表时空壶W4Pro（三）智能穿戴设备智能手表的屏幕较小，对语音交互的诉求更强小天才、360手表、其他白牌厂商均有机会在智能眼镜中加入摄像头、AI 等功能通过 AI 提升语音交互能力智能眼镜可能是AI+多模态最适合的场景，智能眼镜是最完美的AI助手，行业还在早期，未来还会有新的玩家出来，密切关注智能耳机目前主要应用在1对1翻译，支持双方对话过程随时发言创业公司+老牌耳机公司均有机会应用场景05: 对话式AI在游戏中的应用场景1. AI NPC2. AI陪玩/指导3. AI队友：接收指令/执行大模型参与游戏流程的能力逐渐增强应用场景06: 对话式AI在医疗健康行业的应用医疗场景心理咨询场景智能辅助诊疗与决策支持•AI诊疗助手•疑难病例多学科会诊•个性化药物推荐心理健康支持与危机干预•24小时情感疏导与心理评估•虚拟现实疗法与社交训练应用场景07: AI+客服——快速实现智能外呼和智能呼入能力创建语音智能体，开放接入大模型，支持接入自定义TTS音色并配置效果。绑定智能体至电话号码，用户呼入后由智能体接待。配置智能体发起外呼拨打400或固话号码调用外呼接口实现呼入2025趋势：多模态交互升级、垂直场景深化、物理实体走得更远多模态交互升级垂直场景深化物理实体•语音交互更加自然流畅，能够准确识别各种口音和复杂语义，用户通过语义打断•视觉交互取得新突破•垂直场景进一步深化，目前还属于探索期，25年有可能迎来新的爆发，例如，教育领域出现单月使用超100小时的AI辅助教学场景•“物理实体”是“陪伴赛道”中与“智能”同等重要的要素：搭配了物理实体的“AI陪伴”产品可以走得更远视频多模态的应用场景如何和AI陪伴结合起来？声音的 agent 和泛娱乐各个场景的结合是不是能孕育一个新交互模式的抖音应用机会？消费电子终端Agent化能够带来哪些新的应用场景和机会？关注点潜在机会TRTC实时对话式AI解决方案CONFIDENTIAL PROPERTIES方案概述现有的AI语聊场景主要是基于IM场景的离线文字聊天或者语音聊天，GPT-4o的发布，把多模态大模型的应用场景提升到了实时的语音或者视频交互。使用Tencent RTC，结合第三方的大模型和TTS等，您可以轻松创建一个媲美GPT-4o所演示的AI实时交互体验，应用到您的业务场景内。CONFIDENTIAL PROPERTIES功能特点和技术优势全新降噪引擎，输入端音频实时AI降噪，提升ASR的识别准确度。红框内客户自定义 腾讯侧：客户端和服务端的一体化集成方案，提供智能打断、降噪能力。 客户侧：自定义大模型和TTS，接入到腾讯AI服务，保持业务灵活性。技术优势双讲打断AI降噪服务稳定AI聊天过程，实时打断，