深入浅出讲解AI Agent（繁体）-李宏毅

AI Agent 李宏毅免責聲明：AI Agent 是一個被廣泛使用的詞彙，故本課程中所講的 AI Agent 不一定跟其他地方一樣AI Agent 的翻譯今天使用 AI 的方式AI Agent 人類給予明確指令人類給予目標AI 自己想辦法達成「人工智慧代理人」(解決某個研究問題)假設 … 實驗 … 分析需要多步驟、靈活調整計畫AI 一個口令一個動作AI Agent GoalActionObservationAI Agent (AlphaGo)GoalAction贏棋“5-5”Observation好像在那裡聽過這個段落？這是 Reinforcement Learning (RL) 常見開場如何打造 AI Agent? RL?GoalAction贏棋RL: Learn to Maximize Reward Reward(RL: Reinforcement Learning) “5-5”侷限：需要為了每一個任務以 RL 訓練模型Observation如何打造 AI Agent? 直接用 LLM！GoalActionLLM“你要贏得勝利”“我要下在 5-5”以文字描述轉譯為行動(option)Observation以 LLM 直接實踐人類對於擁有 Agent 的渴望LLM 能不能下棋？• BIG-benchhttps://arxiv.org/abs/2206.04615LLM 能不能下棋？https://youtu.be/JHq4EKMg7fI?si=izKsH-GCVnZkooq_如何打造 AI Agent? 直接用 LLM！GoalActionLLM還有多遠？還可以多做什麼？“你要贏得勝利”“我要下在 5-5”以文字描述轉譯為行動(option)Observation以 LLM 直接實踐人類對於擁有 Agent 的渴望從 LLM 的角度來看 Agent 要解的問題goalobs 1obs 2action 1action 2obs 3action 3LLMLLMLLM一直都在做接龍AI Agent 倚靠的是語言模型現有的能力請注意在這堂課中沒有任何模型被訓練AI Agent 不是最近才熱門• 2023 年春天曾經爆紅過一次https://youtu.be/eQNADlR0jSs?si=4yGZEluAUzKK2VD0AutoGPT, AgentGPT, BabyAGI, Godmode …以 LLM 運行 AI Agent 的優勢Typical AgentLLM AgentAlphaGo事先設定好有限行為近乎無限的可能只能在棋盤上的 19x19 個位置落子可以使用工具以 LLM 運行 AI Agent 的優勢AI programmerReward = -1Typical AgentLLM AgentCompile ErrorCompile Error為什麼是 -1???更多資訊AI programmerAI Agent 舉例：AI 村民組成的虛擬村莊https://arxiv.org/abs/2304.03442https://youtu.be/G44Lkj7XDsA?si=cMbKG3tqPbIgnnBqGoalActionObservation舉辦情人節派對、準備考試 ……"getting ready for bed“AI Agent 舉例：Minecraft 中的 AI NPChttps://www.youtube.com/watch?v=2tbaCn0Kl90AI Agent 舉例：讓 AI 使用電腦Computer Use, Operator AI Agent 舉例：讓 AI 使用電腦GoalActionObservation訂披薩、上網購物 …AI Agent 舉例：讓 AI 使用電腦• World of Bits: An Open-Domain Platform for Web-Based Agents (ICML, 2017)WebArenaAI Agent 舉例：讓 AI 使用電腦https://arxiv.org/abs/2306.06070Mind2Webhttps://arxiv.org/abs/2307.13854VisualWebArena https://arxiv.org/abs/2401.13649AI Agent 舉例：用 AI 訓練模型goalobs 1obs 2action 1action 2obs 3action 3LLMLLMLLM過 Strong BaselineAIDE: The Machine Learning Engineer Agenthttps://arxiv.org/abs/2502.13138https://arxiv.org/abs/2410.20424AutoKaggle: A Multi-Agent Framework for Autonomous Data Science CompetitionsAI Agent 舉例：用 AI 做研究https://research.google/blog/accelerating-scientific-breakthroughs-with-an-ai-co-scientist/邁向更加真實的互動情境goalobs 1obs 2action 1action 2obs 3action回合制互動即時互動goalobs 1action 1obs 2action 2立刻轉換行動例如：語音對話邁向更加真實的互動情境Usertellmeastoryokstop I don’t like the storyobs 1action 1action 2obs 3obs 2Once upon a time in a small village Sorry ……邁向更加真實的互動情境https://arxiv.org/abs/2503.04721v1Guan-Ting Lin (with collaborators from Berkeley, UW, and MIT)AI Agent 關鍵能力剖析AI 如何根據經驗調整行為AI 如何使用工具AI 能不能做計劃根據經驗調整行為根據經驗調整行為goalobs 1obs 2action 1action 2LLM寫一個 …你是軟體工程師 …Update ……Update ParametersFeedback(Not Today) 根據經驗調整行為goalobs 1obs 2action 1action 2LLM寫一個 …你是軟體工程師 …Update ……Feedback根據經驗調整行為goalobs 1action 1LLMobs 10000……不斷回憶整個 Agent 一生的經歷 … ?????超常自傳式記憶 (Highly Superior Autobiographical Memory, HSAM) 超憶症 (Hyperthymesia)根據經驗調整行為obs 10000Agent’s Memory ?????goalobs 1action 1……obs 9999action 9999ReadRelevant E