腾讯-音视频领域下AIGC的应用与创新探索

⾳视频领域下AIGC的应⽤与创新探索演讲⼈⼁%喜马拉雅AI产品专家-张慧敏⽬录PART%1⾳视频创作的挑战PART%2喜马拉雅研发的⾳频⼤模型PART%3喜马拉雅AIGC的应⽤成果⾳视频创作的挑战)01腾讯云城市峰会·无锡峰会新兴媒体闭门专场传统有声内容制作流程⽂本内容上下⽂理解拆场景⾓⾊设计⾓⾊台本找剧组主播演绎（演员+配导）画本（编剧+导演）主播理解⾓⾊对戏主配⾓⾊声⾳演绎旁⽩⾓⾊声⾳演员环境⾳效⽣成审⾳修⾳⾳频对轨剪辑⽂摘输出标题输出封⾯输出封装上架推⽂视频⽂稿改写制作场景视频素材制作⼈物视频素材视频⽂稿配⾳视频剪辑后期制作发布制作（后期）营销（宣发）腾讯云城市峰会·无锡峰会新兴媒体闭门专场有声内容⾳频⾏业两⼤核⼼痛点成本⾼门槛⾼12道⼯序/12周/50万元成本腾讯云城市峰会·无锡峰会新兴媒体闭门专场有声⽤户的旅程图喜马拉雅研发的⾳频⼤模型)02腾讯云城市峰会·无锡峰会新兴媒体闭门专场长篇章强演绎语⾳⼤模型01⾳频/⽂本指令⾳频指令⽂本指令⾳频/⽂本内容⽂本内容⾳频内容⾳乐内容⾳频情感、副语⾔理解⾳频情感⾳频副语⾔⾃然语⾔控制语⾳⽣成⼤模型·遵循指令：⾳频或⽂本指令·理解⾳频或⽂本内容、情感·⽣成富有情感的⾳频或⽂本内容·学习⽅法：海量数据预训练、下游任务对齐⾳频/⽂本内容⽂本内容⾳频内容⾳乐内容腾讯云城市峰会·无锡峰会新兴媒体闭门专场双引擎驱动，构建AI⾳频全流程产线语⾳⼤模型技术引擎⼯业化⽣产管线引擎技术破局实现声⾳克隆（10秒⽣成商⽤声线）、剧本⽣成（4000亿参数⼤模型）、情感合成（56种复合情绪表达）等智能化创作构建全⾃动产线（24⼩时完成有声书制作）、动态算⼒调度（A800+4090混合部署）、质量控制系统（多维度⾃动审核）腾讯云城市峰会·无锡峰会新兴媒体闭门专场情感轮精细化控制56种复合情感腾讯云城市峰会·无锡峰会新兴媒体闭门专场智能化⽣产管线— 演进历程喜马拉雅AIGC的应⽤成果)03腾讯云城市峰会·无锡峰会新兴媒体闭门专场⾳频创作AI3agent成果AIGC播客韵律停顿⾃然，⾃发式⼝语化表达特⾊演绎⽅⾔⾳⾊郭德纲相声Aduiodubbing有声⼩说•极致情感表现•哭出来、笑出来、骂出来“爱因斯坦给我讲失眠的问题”腾讯云城市峰会·无锡峰会新兴媒体闭门专场通过AIGC，完美还原已逝的单⽥芳先⽣的声⾳，制作的单⽼专辑数量在喜马拉雅上线100多张，总播放量超过1亿。其中，有15张专辑播放量破百万，例如，《民国四⼤家族》播放量近730万，《⼗⼆⾦钱镖》播放量近700万，《卧虎藏龙全集》播放量超390万。单⽥芳先⽣⼉⼦单瑞林评价：“听到AIGC声⾳，⼼魂间猛然⼀阵，仿佛⽗亲⼜回到这个世界！”⾳频创作AI3agent扩展⾳频艺术的时间边界单⽼中英混合单⽼拟声词表现腾讯云城市峰会·无锡峰会新兴媒体闭门专场AIGC⼴告业务联合“AI李⽩”吟诗“AI李⽩”⼴告词腾讯云城市峰会·无锡峰会新兴媒体闭门专场【⾳剪AI创作⼯具2.0】随时随地开⼯的“3数字制⽚场”腾讯云城市峰会·无锡峰会新兴媒体闭门专场《温柔的背叛》累计播放：4000w)+创作模式：AIGC)独⽴创作《妻⼦的秘密》累计播放：5000w)+创作模式：AIGC)独⽴创作《混在洪武当咸鱼》累计播放：1400w)+创作模式：AIGC)+)真⼈《⼀⼈⼀剑，我镇守孤城@70@年》累计播放：1400w)+创作模式：AIGC)+)真⼈《⽆敌风⽔师》累计播放：2000w@+创作模式：AIGC@独⽴创作《教⽗三部曲》累计播放：13.4@亿创作模式：AIGC@+真⼈AIGC有声书-多播🎧å《⽩夜剧场：教⽗》 奥斯卡电影原著，极致还原电影原声停⽌播放Thanks