王良：大模型金融支付类企业ToC应用探索与落地

⼤模型⾦融⽀付类企业ToC应⽤探索与落地平安壹钱包 —王良OPEN AI chatGPTWhats APPinstagramTikTok电话⼿机TwitterChat GPT2个⽉9个⽉2.5年3.5年5.5年16年75 年100000000+2个⽉⽤户破亿80%到 2026 年，接⼊⽣成式 AI 或⼤模型的企业前期调研确定未来AI⼤模型未来的前景是明确的AI必然会重构世界确定现在要想不掉队就必须现在进⼊不确定落地选择什么场景？解决什么需求？降本增效还是扩⼤收益？⽤什么技术？开源闭源？。。。。。。找落地场景找落地场景的思路从最熟悉的领域⼊⼿让AI学习最优秀员⼯的能⼒，再让它辅助其他员⼯，实现降本增效“⽂本” 进 —> “⽂本” 出不要求⼤⽽全，将任务 拆解，先解决⼩任务，⼩ 场景制定落地⽅案理解⼤模型原理,不懂原理就不会举⼀反三，⾛不了太远⼀定要有实践经验，没有 实 践 就 只 能 纸 上 谈兵，做事不落地认知要⾼，认知不⾼就⽆法做出最优决策，天花板太低理解⼤模型原理,不懂原理就不会举⼀反三，⾛不了太远⼀定要有实践经验，没有 实 践 就 只 能 纸 上 谈兵，做事不落地认知要⾼，认知不⾼就⽆法做出最优决策，天花板太低选择模型在线⼤模型开源⼤模型在线模型普遍性能更强，调⽤时技术⻔槛和硬件⻔槛更低，配套模型⽣态和服务更加完善，不需要维护模型⽂件、项⽬⽂件、还有模型权重、等等在本地部署，因此可以更好的确保数据安全性API 调⽤私有化部署需求国外⼤模型国内⼤模型开源⼤模型国内 2C国内 2G国内 2B出海数据安全合规要求国徽《⽣成式⼈⼯智能服务安全基本要求》提供者在向相关主管部⻔提出⽣成式⼈⼯智能服务上线的备案申请前应按照本⽂件中各项要求逐条进⾏安全性评估，并将评估结果以及证明材料在备案时提交《⽣成式⼈⼯智能服务管理暂⾏办法》已经 2023 年5⽉23 ⽇国家互联⽹信息办公室 2023 年第 12 次室务会会议审议通过，并经国家发展和改⾰委员会、教育部、科学技术部.⼯业和信息化部、公安部、国家⼴播电视总局同意，⾃ 2023年8⽉ 15 ⽇起施⾏《⽣成式⼈⼯智能服务管理暂⾏办法》明确，提供者违反本办法规定的,由有关主管部⻔依照《中华⼈⺠共和国⽹络安全法》、《中华⼈⺠共和国数据安全法》、《中华⼈⺠共和国个⼈信息保护法》、《中华⼈⺠共和国科学技术进步法》等法律⾏政法规的规定予以处罚;法律、⾏政法规没有规定的,由有关主管部⻔依据职责予以警告、通报批评,责令限期改正;拒不改正或者情节严重的,责令暂停提供相关服务。构成违反治安管理⾏为的,依法给予治安管理处罚;构成犯罪的,依法追究刑事责任报备经验分享应具有充分的证明材料应说明不符合的原因，采⽤其他技术或管理措施能达到同样安全效果的，应详细说明并提供措施有效性的证明应说明不适⽤理由评估 结论为符合的评估 结论为不符合的评估 结论为不适⽤的落地场景介绍视频展示知识库(资料库、官⽹、⾏业规范、操作⼿册)提取⽂本⽂本分割划分段落区块⽂本区块 chunk⽂本嵌⼊0.7-0.10.40.3-0.4-0.1-0.3问题⽂本的嵌⼊向量匹配K 段和问题相关知识库原⽂提示词Prompt(包含原⽂和问题)平安 GPT⽣成答案反馈相似匹配⽤户输⼊⼀个问题⽂本嵌⼊向量库什么是向量化serpentine sidekicks0.0040.0030.002——0.014TextText as vectoranatine amigos0.0270.0010.020——0.023TextText as vector将⽂本转化为固定⻓度的稠密向量，实现⽂本在向量空司的映射Embedding的本质是⽤⼀串数字代表⽂本，从⽽让计算机认识⽂本Embedding在⽤户意图认\别以及私有知识库搭建⽅⾯发挥着⾄关重要的作⽤这是⼀种将每个词表示为唯⼀的向量的⽅法。向量的维度等于⽂本中不同词的数量，对于给定的词，它在向量中的值为1，其余位置均为0。这种表示⽅法简单直观，但⽆法表示词与词之间的语义关系。独热编码（One-hot Encoding）狗猫⻢⽜狗1000⽺0000猫0100⻢0010Word2Vec和GloVe等，它们利⽤深度学习⽅法，通过训练⼤规模语料库学习词的向量表示。这些模型能够捕捉词的语义和语法信息，使得语义上相似的词在向量空间中的位置相近词嵌⼊模型（Word Embedding）是将整个句⼦转换为⼀个数值向量的过程，以便计算机和机器学习模型能够理解和处理句⼦级别的⽂本信息句⼦向量化⽂档向量化⼤模型的局限RAG能提供什么模型训练数据 cut-off真实信息为什么⽤ RAG私有数据、保密数据、新数据更新可解释性、幻觉问题私有信息及时与动态信息投产⽐不⾼可控改变模型权重不改变模型的权重Fine-tuning（微调） 和 RAG技术实⼒不⾜会有副作⽤技术难度⼩RAG 落地过程中需要关注的事项挑战 01挑战 02挑战 03挑战 04挑战 05挑战 06挑战 07挑战 08数据源加载与处理数据切分难检索效果不好检索结果过多或过⻓可解释性与鲁棒性复杂 query 的处理⾃动化的问题反馈、评估与迭代01:数据源加载与处理数据源多样复杂数据结构解析问题1. txt2. chm3. csv4. markdown5. ⽹⻚6. PDF7. excel8. Doc1. 标题2. 列表3. 表格4. ⻚眉5. ⻚脚6. 阅读顺序7. 图表1. 扫描⽂件2. 动态⽹⻚3. 数据同步02:数据切分难indexing TimeRetrival TimeGeneration Time• embedding输⼊⻓度限制• 影响 embedding效果• ⽆法定位到关键区域• context_size 有限chunk_size⼤⼩选择?• TextSplitter试验• Chunking解耦:IndexingTime和Generation Time常⻅五种技术的实现⽅式系统消息内输⼊外部⽂本⾼效但受限的⽆损信息传递⼿⼿动切分与Embedding匹配灵灵活⾼效的短⽂本传递策略利⽤LangChain等⼯具固定化的⻓⽂本读取⽅⼤模型微调与知识灌注⾼⻔槛的⻓期知识注⼊利⽤OpenAI Assistant API进⾏⻓⽂本读取⽆损的⼤规模⽂档处理010203040503:检索效果⽆法检索到有⽤的信息• 语义相似度问题• 切分问题• 元数据检索包含⽆效信息• 邮件、聊天记录等• 使⽤摘要• 相关性过滤04:检索结果过多或过⻓01.切分阶段02.检索阶段03.后处理阶段04.答案合成阶段• 更⼩的chunk_size• 按 sentence 切分• 提取原chunk摘要• ⽣成元数据过滤• ⽣成top_k• 关键字过滤• 相关性过滤• 业务逻辑过滤• 不相关句⼦移除• 重排• Compact/stuff• lterative Refine• 单独回答+总结• 对 chunk做摘要• ⾃定义合成策略05: 可解释性与鲁棒性数据引⽤• 在必要的时候引⽤• 在准确的位置引⽤⾃举• query generation• self-consistency• self-correcting0