传媒行业海外应用跟踪(五)ControlNet：AI文生图工具标杆，释放商业化潜力

本报告由中信建投证券股份有限公司在中华人民共和国（仅为本报告目的，不包括香港、澳门、台湾）提供。在遵守适用的法律法规情况下，本报告亦可能由中信建投（国际）证券有限公司在香港提供。同时请参阅最后一页的重要声明。 证券研究报告·行业动态 传媒 海外应用跟踪（五）ControlNet：AI文生图工具标杆，释放商业化潜力 核心观点 ControlNet 解决了 Stable Diffusion 等文生图扩散模型，有时难以创作出严格符合用户需求的内容的痛点，其可为 AI 工具扫除以下问题： 1）内容处理不够精细：ControlNet 可以让扩散模型更符合用户输入的文字指令，此外用户还可对图片细节进行调整； 2）与多种内容生产工具结合：用户可在文生图工具 Stable Diffusion、视频工具 EbSynth、3D 模型工具 Houdini 等应用中接入 ControlNet 插件，实现多种内容形式创作。 我们认为 ControlNet 以一种通用型插件形式，将图片/视频编辑应用从娱乐工具、生产辅助工具，转变为真正的新型专业性创作平台，有效生产可直接商业化的内容，扫除专业工具“不专业”的问题。相关工具标的包括万兴科技、美图。应用场景包括广告营销、游戏原画和建模、虚拟人、影视特效制作等。 行业动态信息 ControlNet 是一款可以精细化控制文生图扩散模型的插件。来自斯坦福大学的团队于 23 年 2 月在 GitHub 发布了这款基于神经网络的插件。通过在扩散模型中添加额外的条件，ControlNet可以让扩散模型更好地创作出符合文本指令的内容。用户可以通过 Stable Diffusion 等扩散模型调用该插件，实现对图像细节的精细调整。调整内容包括局部物体的姿态、颜色、风格、人手等。 ControlNet 的应用场景：1）专业图片和视频编辑工具：提升内容质量，从而提升产品价值和用户付费意愿，相关标的包括万兴科技、美图、视觉中国等；2）广告营销素材生成：高频、大量素材需求场景，提升生产力，相关标的包括易点天下、蓝色光标、值得买、壹网壹创、元隆雅图、若羽臣等；3）游戏原画：精细化创作，减少画师修改时间，解放生产力，相关标的三七互娱、巨人网络、吉比特、完美世界、恺英网络、昆仑万维等；4）虚拟人建模：以开源工具接入元宇宙平台，精细化调整 3D 模型，相关标的包括蓝色光标、新华网、捷成股份、天娱数科等；5）特效制作：颠覆传统特效和动捕制作流程，相关标的中国电影、博纳影业、光线传媒。 维持 买入 杨艾莉 yangaili@csc.com.cn 18910213127 SAC 执证编号：s1440519060002 SFC 中央编号：BQI330 发布日期： 2023 年 03 月 29 日 股价表现 相关研究报告 23-03-26 【中信建投传媒】ChatGPT 发布插件：大模型向下游扩张，新一代应用商店雏形已现 23-03-24 【中信建投传媒】AIGC 应用系列（四）：重塑交互体验，看好虚拟人、教育 23-03-22 【中信建投传媒】AIGC 应用系列（三）：多模态下，音视频内容受益 23-03-19 【中信建投传媒】AIGC 应用系列（二）：重塑生产力，看好办公、电商、营销方向 23-03-16 【中信建投传媒】GPT-4 发布，图片/视频应用、游戏和虚拟人有望加速融合 23-02-16 【中信建投传媒】传媒：AIGC 系列跟踪（四）：应用如何落地 23-02-07 【中信建投传媒】传媒：游戏：AIGC技术发展+政策修复双击 23-02-01 【中信建投传媒】传媒：生成式 AI：海内外公司布局梳理 23-01-29 【中信建投传媒】传媒：从 Chat-GPT到生成式 AI（Generative AI）：人工智能新范式，重新定义生产力 -16%-6%4%14%24%2022/3/152022/4/152022/5/152022/6/152022/7/152022/8/152022/9/152022/10/152022/11/152022/12/152023/1/152023/2/15传媒上证指数传媒 1 行业动态报告 传媒 请参阅最后一页的重要声明 ControlNet 的优点：解决 Stable Diffusion 等文生图扩散模型有时难以创作出严格符合用户需求的图片的痛点。比如有时模型生成的图片细节不符合文字指令，或是不能仅对图片的某一细节进行修改。 ControlNet 可以释放 AIGC 工具在专业场景的商业化前景。在营销、游戏、MCN 机构等面向 C 端用户利用图文和音视频内容进行商业化的机构，对内容产出质量的要求甚高。而 Stable Diffusion 等目前主流的文生图AI 工具，因创作的内容质量还有待改进，因此仅能作为辅助工具，而不能成为替代性创作平台，从而限制了文生图工具的商业化前景。而我们认为 ControlNet 的出现弥补了目前文生图 AI 工具的短板，有力释放 AI 工具的商业化潜能。 1、ControlNet 的技术原理 ControlNet 核心原理为，既让扩散模型保留原有的“知识储备”，也学会“新知识”。具体在训练时： 1）掌握“新知识”：经微调后可完成特定任务。在使用 Stable Diffusion 等扩散模型时，ControlNet 插件会先复制一份各层神经网络中神经元的权重，一份作为“可训练副本”，另一份为“锁定副本”，保证 ControlNet不会破坏原有的扩散模型。锁定副本会保留原扩散模型的一些关键特征；可训练副本会通过训练、学习来调节其他特征，两部分再协同工作。可训练模型的训练方向和相关算法包括 HED Boundary（边缘测算）、Openpose（人体姿势识别）、Semantic Segmentation（语义分割）、Midas depth estimation（深度测算）等，通过这些算法，ControlNet 得以实现对扩散模型实现“control”。 2）保留原有的“知识储备”：原有大模型参数不变。可训练副本的微调，不影响原有扩散模型中的参数，因此保持了原有的强大图像生成能力。 基于上述 ControlNet 的原理，在推理过程中，扩散模型可根据用户的文本指令与参考图像，以及特定的修改条件，对图像进行重新生成。基本技术原理见下图： 图表1： ControlNet 模型的基本技术原理 资料来源：GitHub，中信建投 2 行业动态报告 传媒 请参阅最后一页的重要声明 图表2： Stable Diffusion 的基本图片生成流程 资料来源：澎湃新闻，中信建投 可训练模型的训练方向和相关算法主要包括： 1）HED Boundary（边缘测算）：如左上角的线稿，该边缘测算算法可以更好地保留图片的细节，从而使模型更加适合用于更改其中物体的颜色、材质等。 图表3： ControlNet with HED Boundary 的线稿为左上角，其余为根据文字指令，并通过线稿控制后生成的图片 资料来源：GitHub，中信建投 3 行业动态报告 传媒 请参阅最后一页的重要声明 边缘测算