大模型时代的内容治理

⼤模型时代的内容治理腾讯云传媒物联与新⽂创业务中⼼更多智能，更多内容，更多知识内容治理业务分析01内容治理技术发展02内容治理方案建设03内容治理业务分析现有治理依旧存在痛点媒体⾏业的内容是丰富的、多元化的，是重要的业务资产各类稿件：书籍、新闻素材稿、技术⼿册、⽩⽪书等⾳频（⼴播⾳频、采访⾳频、⾳乐等）各类栏⽬成品视频、素材、赛事、活动、历史影像等拍摄图⽚、历史图⽚、地标风光图⽚等⼴播、采访、⾳乐、播客等新闻稿、采访稿、规章制度、⽩⽪书、书籍、政策等运营报表、节⽬播出统计表、活动调研表、语料数据等视频图⽚⾳频⽂稿企业知识内容管理现状：缺乏全域的内容管理，内容应⽤受技术和数据限制融媒转型中，内容管理和应⽤/⼯具系统拓展，因多⽅⼚商参与建设，标准及拓展性各有差异，导致⼤部分项⽬业务系统带对应的内容库，落 地 成 “ 烟 囱 式 ” 的 系 统 架构，实则重复建设、数据割裂。AI应⽤没有全⾯渗透⾄媒体各个业务，尽管诸如ASR、翻译、转码等在⽣产场景中有⼀定提效，但从内容检索、内容运营上，依旧存在AI处理结果与业务标注需求的明显差异、检索⽅式和召回不够、已建AI平台不满⾜多业务调⽤等。内容需要进⼀步盘活、挖掘价值，⽣产、管理、运营⾃⾝的特⾊内容，是新型媒体的内容范式趋势。现有媒资系统或内容管理系统 体 系 ， 因 智 能 化 ⽔ 平 不⾜、流程设计固化、数据信息⽋缺等原因，⽆法⽀撑特⾊品质内容的⽣产范式。随着⼤模型和Agent的技术发展，不管是知识问答、内容⽣产等场景，在实际应⽤后，都体现了好的落地 业 务 ， 除 了 依 赖 于 技术，更需要有“可信内容数据”基础，进⼀步建设媒体⽣产模型、⾼质量数据集基 座 ， 打 造 媒 体 数 据 飞轮。内容数据烟囱化AI应⽤存在局限需要发展特⾊内容需要建设可信数据回到需求思考，新型的内容资源管理中⼼落地关注点和建设⽬标全域数据基座内容处理引擎⾼质量数据集多组合检索服务全域内容各处理数据纳管标准化处理可编排⼯作流全端内容平台数据标注模型精调⽀撑内容运营⽀撑多模态检索问答式检索组合检索AI=时代的内容管理中⼼，需要多元、灵活、特⾊、可靠，才能进⼀步增效、创收多级联通平台多端联通平台多⾓⾊使⽤平台内容治理技术发展⼈⼯——AI原⼦能⼒——⼩模型智能应⽤——⼤模型⼯作流内容治理随着AI的发展，开始从单模态、离散状态，转变为跨模态、强关联状态•语⾳识别：字幕⽣成、播报转写•翻译：新闻⽂稿翻译•⼈脸识别：系统登录、安防场景•⽂字识别：发票扫描、AI 原⼦能⼒多数服务于单点业务•智能编⽬：结合基础信息识别AI能⼒、视频场景拆条算法、摘要算法等进⾏•智能审核：融合涉政、涉黄、涉暴等多个⼩模型算法打造审核应⽤⼩模型智能应⽤跨模态能⼒弱，落地场景不全•更强的语义理解、⾳视频理解模型，带来更有关联性的跨模态理解•更灵活接⼊媒体AI处理插件•能更充分解析到内容的深层含义，让治理更准⼤模型⼯作流全⾯、灵活、聪明以视频治理为例：转写、图像识别离散单模态信息⼈⼯单点AI跨模态检索编⽬、图向量图像⽂本语义对齐视频理解全视频内容信息全⽂图/⽂向量+基于智能标签的视频治理应⽤现状：通过多项AI能⼒的融合串联和并⾏处理，实现结果信息全⾯⾼效输出。存在的问题：视频类型发⽣变化后，需要重新训练；难以将视频画⾯、⾳频做关联理解的打标。基于跨模态理解的视频治理现状：教室⾥穿着粉⾊外套的男⽼师的背影传统query：教室、⽼师传统query：草原、合照传统query：天安门、合照抱着孩⼦、穿着传统服饰的⼥⼦站在草原上沙尘暴⾥的天安门⼈物形象描述： 发型、服装、性别、年龄等动作描述：体育动作、⽇常活动、⼯作活动等物体、风景、场景描述：⽀持多描述的组合清泉⽯上流灰⾊西装的⽼头拿着拐杖坐在公园⾥C罗的进球瞬间video006 05:39-05:46video027 00:19-01:56video287 01:21-0:35传统query：⽼年⼈、公园传统query：C罗传统query：溪流基于⽂本-图像对的跨模态学习⽅法，能够理解并关联视频中的图像、⽂本信息，⼤⼤改善了传统⽂本关键词检索的局限。存在的问题：主要是画⾯镜头维度配对，⽆法检索到如具体事件、具体话题的检索（如**领导站在**地⽅，发表**演讲的⽚段）。基于全⽂+向量检索的视频治理基于媒体AI类能⼒，将视频的⾳频、画⾯信息，结合LLM\MLLM，转成⽂本描述，并存⼊⾄向量库中，结合RAG检索增强⽣成的能⼒，对内容检索。优势：能更全⾯地考虑到视频的多维度信息，并且建⽴关联，处理更加⾼效。媒资库视频⾳频图⽚治理流程编排平台数据读取⼯作流⽚段理解镜头理解图像理解⾳频理解内容治理⼯作流视频预处理⼈脸识别…语⾳识别LLM/ MLLM图像识别媒体 AI 插件节⽬⽚段镜头图⽚…知识库C 端APP媒资库其他…业务前端RAG检索内容治理⽅案建设⾳视频治理——⾼质量⾳视频数据集——⽂档数据治理——企业知识管理⾳视频治理——新闻类、赛事类、资讯类视频治理视频类媒资该场景的媒资要求：有完整的节⽬台本，或是播报/访谈类的节⽬等。可基于视频的⼝播内容让进⾏内容理解和切⽚⽰例：新闻联播、财经新闻、养⽣堂...智能体开发平台业务应⽤基于媒资内容的专业知识问答，如养⽣助⼿、财经助⼿等拆条标注智能体专业助⼿智能体⼯作流视频⾳频提取ASRLLM拆条标注视频url视频⽚段C&C⽂本描述对输出：输⼊：知识⽂档视频⽚段信息表⼯程处理视频⽚段ID知识⽂档问答结果知识⽂档导⼊建库RAG⽤户query⼯程处理提取命中知识对应的视频⽚段RAG输出：输⼊：⾳视频治理——纪录⽚、电视剧类治理视频类媒资该场景的媒资要求：镜头变化明显，⾮固定场景画⾯（如采访等），视频⽆明显质量问题。⽰例：乒乓球⽐赛、航拍中国...智能体开发平台业务应⽤•专栏内容快速⽣产，如某⼈物的集锦回顾•赛事⾼燃集锦•地标特⾊内容库镜头拆分标注智能体专业助⼿智能体⼯作流镜头拆分抽帧LLM/MLLM/⼩模型标注C.视频url镜头段C&C镜头描述对C&镜头标签输出：输⼊：⼯程处理镜头描述⽂档问答结果知识⽂档导⼊建库RAG⽤户query⼯程处理提取命中知识对应的视频⽚段RAG输出：输⼊：语⾳识别镜头01镜头02找⼀下乒乓球⽐赛中⽐分为1⽐4的镜头故宫慢镜头合集图⽚类治理⽅案⼩模型+MLLM分析，保证细分标签的同时，更懂图像内容，⽅便后期检索全模态内容管控与搜索⽅案数据源视频⾳频图⽚其他……语⾳识别AI 引擎⼈脸识别特定图像标签识别LLM跨模态理解⽚段理解引擎MLLM视频切分视频转码⽚段理解引擎图像理解引擎⾳频理解引擎内容治理 引擎搜索引擎RAG 检索⽂搜图/视频多模态检索⽂搜⽂图搜图跨模态检索⽂搜图/视频内容治理检索重排多检索对象组合下的具体搜索抽象、意境类搜索相似性检索、⽂本检索⾼质量视频数据集建设数据源媒体⽂件管线确定数据集范围和内容• ⼴告素材⽣产• 视频模型训练• 垂类内容识别• ⽂化遗产数字化• 多类型⽂章配图• 虚拟配⾳模型• 内容校对模型定时任务or批量任务视频数据集内容安全审核元数据提取（语⾳⽂字⼈脸识别）整合标注描述标注结果导出图像/视频理解数据切分镜头/⽚段切分、抽帧描述⽂件数据⽂件可⽤性检查是否侵权、是否重复图⽚数据集其他