解码AI时代的实时交互秘籍：万物互联，实时互动

当IoT遇见AI，让你的公仔温暖起来TWeTalk Voice Agents for Hardware 黄成言腾讯云音视频TWeTalk产品负责人产品介绍01应用场景02功能与特点03技术架构04标杆案例05AIoT行业趋势06产品演示07产品介绍01TWeTalk: 重塑AIoT的语音交互体验• 音频处理：3A音频降噪、唤醒• 编解码：支持opus格式端侧• 场景化AI：含情绪识别的语音识别（ASR）、语音播报（TTS）、场景精调大模型（LLM）• 特色功能：音色定制、对话集锦• 应用技能：微信通话、音乐播放等• 微信与设备（VoIP）的双向音视频呼叫• P2P/TRTC/WebSocket通道云端通信腾讯云音视频TWeTalk是面向智能硬件的AI对话软硬一体化产品方案。TWeTalk与主流嵌入式芯片及模组厂商合作，整合端侧、云端与通信能力。该方案已应用于AI陪伴玩具、具身智能、智能穿戴（耳机、手表、眼镜）、智能点餐、导览、AI面试等AIoT场景，实现人与硬件的自然“对话”（Talk）。嵌入式芯片模组方案商音频输入适配智能硬件的AI方案通道&微信电话设备呼叫与被呼双向音视频通话TWeTalk：快速接入按业务需求，积木式组装。同时提供语音智能体，开箱即用。基础产品语音端到端情绪识别音色定制对话集锦设备控制应用技能微信通话音乐播放微信支付讲故事查询天气服务货架SDK/API平台/网页公有云：按量计费按设备：订阅制应用场景AI陪伴玩具具身智能智能耳机/手表/AI眼镜智能点餐、导览AI面试出海/安防/家居应用场景02TWeTalk应用场景与行业方案方案核心：端云协同+场景化AI，支持AIOT一站式接入。场景类别典型应用技术赋能亮点行业价值消费电子AI陪伴玩具/智能耳机/手表/AI眼镜/故事机/AI拍学机情绪识别+音色定制+场景精调大模型+微信互通构建拟人化情感陪伴，拓展硬件即时通讯、社交属性泛互/出海智能点餐/导览/AI面试意图理解ASR+工作流调度+多轮对话 降低人力成本，提升服务标准化与响应速度家居通信语音控制/多端协作/设备与小程序互拨微信通话/播放音乐端侧降噪+RTC实时音视频+微信call实现复杂环境下的无障碍跨设备协同工业制造AI机器人/设备控制端云协同降噪+工业精调大模型+Function Call提升设备智能化，具身智能走向日常生活芯片原厂嵌入式语音模组开发低资源占用SDK+多芯片适配+开发者社区+IP赋能缩短IP方接入周期，推理成本优化模组方案商车载语音中控/智能门锁微信双向音视频呼叫+云端录制+安全认证快速集成第三方硬件，方案交付效率提升功能与特点03独特的意图理解ASR引擎，不仅支持语音识别，更能精准捕捉用户的情绪与意图；TTS支持音色定制；精调大模型适配玩具、机器人等场景，提供准确执行function call的高性价比引擎。语音端到端TWeTalk：快速接入按业务需求，积木式组装。同时提供语音智能体，开箱即用。可根据IP打造专属声音，结合实时交互与灵活打断，定制音色，让我们的AI伙伴更鲜活，带来独特的陪伴体验。音色定制依托先进的语音处理技术与精调场景大模型，精准捕捉语调、语速、语义的细微特征以感知用户情绪，及时给予礼貌、贴合心境的回应。情绪识别智能生成与AI的精彩对话片段，留存暖心交流、趣味对话、Baby’s first word等瞬间，搭配情感化交互与BGM动效。“声波日记”就是您的时间胶囊！对话集锦支持微信与设备双向音视频呼叫，设备可直接拨打微信电话。微信通话支持音乐的点播功能（音乐版权方对设备端有单独的授权）。音乐播放智能手表、AI眼镜，支持可穿戴设备一站式接入微信支付（探索中）。微信支付安防、家居场景下语音控制设备。语音指令直达，操控便捷，让您轻松用语音掌控物联智能生活。设备控制TWeCall（微信通话）应用场景：消费电子（AI玩具、机器人）、穿戴（智能耳机/手表/AI眼镜）、家居（中控屏、音箱）、安防（门铃、门锁）。• 设备一键呼叫，微信持续响铃提醒，保有与微信原生音视频通话一致的触达率和流畅通话体验• 秒Call，设备拨打微信可以做到秒级响应高触达率的微信原生音视频通话• 支持Linux/RTOS/Android• 适用于低功耗、轻量化系统，资源占用低广泛适配主控芯片平台，资源占用低• 提供设备端和小程序SDK，快速完成全功能接入• 无须额外搭建服务器，维护云端呼叫状态低成本一站式接入设备呼叫与被呼双向音视频通话基于微信原生VoIP采用独特的意图理解ASR引擎，不仅能准确识文，更能精准捕捉用户的情绪与意图。结合自研的语义端点检测技术，实现了流畅、无感的语音交互起点。Hear-感知层搭载TWeTalk场景精调大模型，优化玩具、机器人等场景，语言风趣拟人，函数调用精准，支持长记忆。还能讲故事、播音乐、查天气，可微信通话。Think-大脑中枢层独家自研的TTS引擎支持输入情绪标签与音色克隆功能，让硬件的每一句话都充满情感，并能化身为任何您喜爱的声音。整套对话系统支持实时交互与灵活打断，打造出真正“活”起来的AI伙伴。Talk-声音表现TWeTalk技术特色TWeTalk智能硬件AI对话解决方案驱动，深度集成三大核心技术模块。TWeTalk方案架构提供可扩展、可定制的灵活架构，适用于具体场景下的AI应用扩展。SDK支持小存贮需求。全球实时传输网端侧3A算法唤醒词定制微信通话音频采集/播放ASR/STT多语种支持说话人识别意图理解情绪识别IoT SDKTWeTalk AgentLLM/VLMTool UseMCP长期记忆知识库RAGTTS极低延时情绪标签音色定制对话录制微信音视频通话（TWeCall）音乐点播有声书声波日记TRTC话轮判断语义VAD打断智能体TWeTalk ServiceWebSocket音视频 AIGC音视频音视频实时字幕实时字幕音视频技术架构04腾讯云AIoT整体产品功能架构LinuxRTOSAndroid小程序摄像头NVR设备端TRTC/MQTT IoT Explorer多平台SDK接入视频品类接入陪伴玩具/机器人行业应用SDK/API设备分组资源管理固件升级规则引擎产品开发设备管理智能耳机/手表/眼镜智能点餐/导览全屋智能安防IPC/智能门锁云API应用端API二期一期消息管理设备分享TWeTalk对话集锦语音端到端情绪识别TWeSee行为检测精彩视频视频摘要视频搜索应用技能音色定制MQTT/HTTP 物模型定义应用监控视频浓缩目标检测GT/B 28181/RTMP 微信通话（TWeCall）TWeSee与TWeTalk的协同价值TWeSee与TWeTalk共同构成腾讯云AIoT交互矩阵：能力互补、场景融合、交替进化。维度TWeSee（视觉智能体）TWeTalk（语音智能体）协同价值产品定位视频图像理解与交互中枢（视觉Agent）语音交互与情感对话中枢（语音Agent）双模态融合：视觉+语音构成AIoT完整感知闭环技术架构端云协同多模态引擎：- 端侧：视频分析（实时感知）- 云端：多模态大模型+NLP分析（认知决策）- 平台服务：云存视频+热力图分析端云协同双核架构：- 端侧：降噪/唤醒- 云端：情绪识别+音色定制+RAG知识库- 通信：P2