⼤模型最强外挂——向量数据库

⼤模型最强外挂⼀向量数据库腾讯云向量数据库助⼒⼤模型激活企业内部数据价值主讲⼈：腾讯云向量数据库 产品经理 熊鑫1.8长⽂本杀不死RAG2.8召回率提升最佳实践3.8企业应⽤场景介绍章节⽬录01 长⽂本杀不死RAG向量数据库：⼤模型重要外部知识库2021年ChatGPT3.5企业A实时公域数据历史公域数据⼤模型的通病企业B企业..预训练模型的局限私域数据外部知识库补充正确的废话知识停滞⾮结构化数据检索需求与⽇俱增企业对向量的采⽤⽐AIGC应⽤向量采⽤占⽐权威机构Gartner预测，在2026年将出现⼤规模向量数据增长结构化数据：20%⾮结构化数据：80%据IDC预测，⾄2025年，全球每年产⽣的数据量将达到175NZB，这表明注重数据价值的时代已经来临，并逐渐取代了从模拟数据向数字化转变的时期；且其中超过80%的数据为⾮结构化数据什么是向量数据库向量数据库是⼀种专门进⾏⽂本、图⽚、⾳视频等⾮结构化数据存储和检索的数据库系统，其核⼼是将⾮结构化数据转换成向量的形式存储在数据库中，并通过相似性检索的⽅式快速查找和⽬标数据最相近的结果文本图片音频视频0.28370.51820.1928...0.1293向量数据0.28370.51820.1928...0.12930.28370.51820.1928...0.1293Embedding模型向量数据库向量数据库是 AGIB时代的「数据枢纽」通过将企业内部的结构化和⾮结构化数据转为向量并存储于向量数据库中，即可构建企业内部的数据枢纽，相较于之前的单⼀的检索逻辑，借助向量的相似性检索，可做到对企业搜索、智能推荐等应⽤系统进⾏全⾯升级，并结合⼤模型LLM的能⼒，实现效率、⽤户体验等⽅⾯质的飞跃部门数据架构数据多云数据向量数据库企业数据DeepSeekSearchUpsert企业知识库搜索/推荐代码助手AI 数据打标……应⽤数据02召回率提升最佳实践多类型的索引⽀持，满⾜不同场景下的需求FlatHnswIVFDiskANNDiskFlat数据规模<100K<100M>100M<10M<10K Per Search召回率100%~90%~90%~90%100%成本(100%Mem)100%100%100%20%5%性能(Per Node)< 1k < 50K<100K< 10K< 1kHNSW优化性能提升50%+向量量化成本降低50%-75%DiskFLAT多租户场景成本下降90%召回率100%AutoIndexNext：根据数据规模⾃动构最佳召回率索引企业提升检索效果的主流⽅案：HybridBSearch优势: 语义检索,能够召回近义、关联内容不⾜: 可能会过度泛化,混⼊⽆关内容优势: 全⽂检索⽅案,精确匹配关键词不⾜: 可能遗漏语义相关的内容,也可能检索出⽆关结果融合向量 &U关键字两种检索⽅式的优势,各取所长,提⾼召回率向量检索(稠密向量)全⽂检索(稀疏向量)混合检索(HybridUSearch)企业提升检索效果的主流⽅案：HybridBSearch向量检索（ANN）• 语义搜索• 多语言支持• 输入容错性稀疏向量检索（关键字）重排序（Rerank）• 精确匹配• 关键词汇匹配• 倒排索引性能提升、内存压缩• 按权重排序• RRF排序• 模型排序向量+关键字双路检索⽅案，融合向量语义检索和关键字全⽂检索，提⾼RAG、搜索等场景的检索召回率03企业应⽤场景介绍源⾃集团多年沉淀，开放明星产品能⼒腾讯云向量数据库（Tencent Cloud VectorDB）源自腾讯集团自研向量检索引擎OLAMA，自2019年上线至今，经过6年打磨，集团内部已有60+业务线上使用，覆盖搜索、推荐、AI场景，日均处理超8500亿次检索请求01000200030004000500060007000800090002019/12/12020/4/12020/8/12020/12/12021/4/12021/8/12021/12/12022/4/12022/8/12022/12/12023/4/12023/8/12023/12/12024/4/12024/8/1OLAMA向量引擎日检索量（亿次/天）2023年11月2024年3月腾讯云向量数据库发展关键历程2024年9月2023年8月腾讯云向量数据库正式对外发布首家上线Embedding及AI套件功能腾讯云向量数据库正式商业化支持“关键字+向量”两路混合检索2024年6月迭代新版内核吞吐提升两倍提供精细化权限管理功能2025年1月内部推出OLAMA向量检索引擎2019年业务场景在智能CRM系统中集成智能客服，通过机器人识别用户意图、分析多轮对话，从知识库中提取相关内容并精准回复 ，从而提升用户的接入效率、降低接入门槛方案效果•一站式方案：一站式知识检索方案，同时提供数据切分和Embedding服务，降低算法工程投入、提升效率•准确率提升：通过腾讯云向量数据库为大模型提供外部知识库，提高大模型回答的准确性，人力成本大幅降低企业知识导入知识条目向量数据客户问题上下文对话意图识别知识检索Embedding向量数据库VectorDB文档拆分xxx大模型智能平台①输入问题向量写入②提炼问题③问题向量化④向量搜索⑤相关知识+问题生成答案⑥输出答案外部落地案例：基于RAG的智能客服系统业务场景在拍照搜题的应用场景中，除了文本检索之外，还有 1/4 的题目包含图片信息，希望借助向量数据库以图搜图的能力，进一步提高拍照搜题的效果和准确率客户收益•运维成本低：开源数据库（Milvus）运维难度高，腾讯云VDB云上托管，99.99% 可用性承诺替换自建Milvus•高性能：分布式架构，平均QPS 2000+，延迟<20ms•双库切换：支持别名，模型更新后业务无感切换ü 性能提升业务痛点•自建数据库运维难度高、服务不稳定•性能要求高，其他产品难以满足ü 替换⾃建，免运维外部落地案例：拍照搜题业务业务场景根据用户画像及内容的向量，计算某用户画像下感兴趣的内容或用户阅读过内容的相似内容，从而实现个性化推荐•满足大规模数据存储、稳定性要求：单机群可支持上千节点的管理，单索引可支持千亿级数据存储规模，SLA > 99.99%•多年沉淀，性能领先：分布式向量数据库架构，针对向量检索场景专门优化，性能领先行业平均水平1.5倍以上核心能力外部落地案例：内容推荐THANKS