360（张锋）：智能纽带：AI+Agent在解决大模型+应用难题中的关键作用

www.top100summit.com智能纽带：AI Agent在解决大模型应用难题中的关键作用张锋 奇虎360 AI研究院技术总监www.top100summit.com张锋奇虎 360 AI研究院技术总监“360人工智能研究院认知引擎负责人天津大学硕士毕业后，任职华为技术有限公司，先后从事计费产品的研发、设计及项目管理工作，主持参与参数AI Lab的建设，负责大数据平台、推荐平台和建模平台的建设和实施。其中推荐平台在四川电信落地后，显著提升了用户观看时长，大数据平台作为标品，落地数百个据点，成为部门主要现金流来源后续加入360公司，深耕于人工智能在互联网、物联网、数字化等领域的落地，带领团队主导360大模型的数据、训练、推理、应用等落地工作，以及建模平台、推荐平台、知识图谱平台等产品开发、设计及管理工作，相关成果落地于安全大数据、互联网、企业数字化、AIoT等360集团全量业务场景，支持千万级硬件设备，服务亿级用户”请插入您的照片讲师简介www.top100summit.com• LLM落地应用-长板和短板，及当前解决方案• AI Agent的整体框架• AI Agent 的应用案例目录www.top100summit.comLLM落地应用-长板和短板及当前最优解决方案www.top100summit.comAGI被认为是人工智能的更高层次，它可以实现自我学习、自我改进、自我调整，解决任何问题而不需要人为干预。ChatGPT 的探索，被认为是强人工智能拐点的到来、是超级人工智能雏形，即：LLM to AGIAGI发展回顾19501997201620222023未来图灵机&图灵测试的提出深蓝战胜卡斯帕罗夫AlphaGo战胜李世石ChatGPT发布AGI ＆ More…www.top100summit.comGemini：再强大的模型，也不万能Gemini：你在玩石头、剪刀、布。我们以为的Gemini问题1：告诉你看到什么Gemini：我看到一个人的右手。手掌张开，手指分开Gemini：一个人敲木门Gemini：我看到一只手伸出两个手指，这是数字二问题2：你觉得我在做什么？提醒：这是一个游戏。Gemini：你在玩石头、剪刀、布。实际的GeminiGemini演示中并没有直接采用Agent，但是实际流程并没有两样www.top100summit.com7大模型应用的能力长板——搜、读、写、画AI生产力New Bing，Perplexity，You，PhindJasper，Copy AI ，QuillbotCanva AI，ClipDrop，PikaChat Doc，Ask PDF你可以轻易地让任何一个GPT生成一首诗、计算一道奥数题。然而工作中你不需要作诗，也不需要算奥数题。工作中面对是写不完的方案，做不完的报告，和看不完的邮件1写作3搜索2绘画4阅读www.top100summit.com8LLM应用的能力短板——幻觉、知识/记忆、交互商业场景使用对内容生成质量容错率极低，只通过简单知识问答，无法生成满意的内容和答案1生成的幻觉问题面对复杂问题，我们发现除了IT类员工，绝大部份企业员工没有兴趣去学习怎么写提示词3提示词工程难度问题参数再多、再强的模型，都无法也无法深入的了解一个行业。“海莲花常用的攻击方式是什么？”2记忆和行业知识问题企业不可能将现有信息化系统推倒重来大家的共同诉求是大模型能增强、协同、而非取代4与现有信息化系统的协同问题 我们需要一个工具平台，让大模型“扬长避短”，实现大模型实际落地的“最后一公里”www.top100summit.com9LLM的落地工具：长期记忆、接口对齐、任务规划任务规划接口对齐长期记忆堆提示词技巧复杂任务规划调度存储外部上下文和行业知识对接外部系统www.top100summit.com特 定 复 杂 任 务 ： 多 工 具 使 用开 放 复 杂 任 务 ： 自 主 性 协 同领域任务汇率问题，调用工具获取实时数据广州国庆七日游的亲子游计划，工具使用+多步执行自主规划和决策的树状复杂问题，路径优解10解决靠堆参数、堆提示词无法解决的复杂推理等问题工具可以有效拓展LLM的能力边界www.top100summit.com用LLM作为大脑或这些智体控制者的主要组成部分，并通过多模态感知和工具利用等策略扩展其感知和行动空间比照行业发展，我们做的就是AI Agentwww.top100summit.comAI Agent的整体架构www.top100summit.comAI Agent的架构：一套以LLM作为核心控制器的应用开发工具以LLM为核心控制器，结合Planning、Tools工具、Memory记忆等组件，解决实时数据获取、复杂任务等各类应用落地问题。AgentsPlanning（任务规划）Agent协作任务分解LLMToolsMemory…Tools（工具箱）搜索资讯天气汇率代码执行…Memory（记忆体）LLM（大脑）FunctionCallPromptReActlong-term Memoryshort-term MemorySensory Memory① LLM大脑：核心控制器。模型一键适配，Prompt模版降低写提示门槛。② Planning：将任务拆解，流程具象化，就像工厂流水线一样，在这个流水线中，可以放置不同的工具完全任务的处理。③ Tools工具：让Agent学会调用各种外部工具，涵盖搜索、文档检索、数据分析、代码编写、教育、投资、出行、娱乐等各种应用。④ Memory记忆：获取、存储、保留和后续检索信息的过程。包括知识库使用、长短期记忆。使用外部向量存储和快速检索。LLM辅助规划规划调用LLM*本架构与经典Agent架构略有区别www.top100summit.comAI Agent：Planning规划能力，即任务分解和编排能力Planning任务规划能力，实现方法主要两类： 人类参与：复杂任务，需要拆解为更小、更易于处理的子目标，需要人类进行辅助规划、结果校准。 自动编排：简单任务，通过Prompt Engine来引导LLM实现规划，主要方式ReAct ，FunctionCallingwww.top100summit.comAI Agent：ReAct，增强LLM的推理和执行能力根据输入规划后续及流程何时终止整理参数及调用API整理返回结果辅助后续流程思考行动观察 ReAct框架，发挥LLM推理和执行能力的协同作用，通过问题分解+依靠外部能力来解决问题。 ReAct框架，在可解释性和可信赖性等方面，优于其他先进的基线。www.top100summit.comAI Agent：FunctionCall 可以让开发者在调用语言模型时，通过用户提问和描述函数让模型智能地输出一个包含调用这些函数所需参数的JSON 对象。 这种功能可以更可靠地将 模型的能力与外部工具和 API 进行连接。工具定义System Prompt选择调用函数，例如：API： CallSearchParam：北京要哪些景点？Assistant调用对应的ToolsCallSearch(“北京要哪些景点？”)Action用户提问，例如：北京要哪些景