大模型时代的具身智能-哈尔滨工业大学

大模型时代的具身智能RESEARCH CENTER FOR SOCIAL COMPUTING AND INFORMATION RETRIEVAL什么是智能机器人？RESEARCH CENTER FOR SOCIAL COMPUTING AND INFORMATION RETRIEVAL哈尔滨工业大学社会计算与信息检索研究中心3HARBIN INSTITUTE OF TECHNOLOGY机器人的从古至今穆王惊视之，趋步俯仰，信人也。巧夫！领其颅，则歌合律；捧其手，则舞应节。千变万化，惟意所适。王以为实人也，与盛姬内御并观之。——《列子·汤问》周穆王西巡狩猎遇见了一个名叫偃师的奇人。偃师造出了一个机器人，与常人的外貌极为相似，达到了以假乱真的程度。那个机器人会做各种动作。掰动它的下巴，就会唱歌；挥动它的手臂，就会翩翩起舞。公元前9世纪4HARBIN INSTITUTE OF TECHNOLOGY机器人的从古至今公元前4世纪古希腊数学家 阿基塔斯 研制出一种由机械蒸汽驱动的鸟状飞行器，并被命名为“鸽子”。其腹部是一套用于产生蒸汽的密闭锅炉。阿基塔斯“鸽子”设计图5HARBIN INSTITUTE OF TECHNOLOGY机器人的从古至今公元15世纪莱昂纳多·达·芬奇在 1495 年左右绘制了人形机器人的草图。现在被称为莱昂纳多的机器人，能够坐起、挥动手臂、移动头部和下巴。莱昂纳多的机器人6HARBIN INSTITUTE OF TECHNOLOGY机器人的从古至今公元20世纪机器人从“玩具”变成“工具”，并应用于工业领域1961年，世界上第一台工业机器人Unimate，用于堆叠金属1973 年,KUKA公司推出的世界第一台拥有六个机电驱动轴的工业机器人，FAMULUS一定的自主性：编程后可自主运行，自主判断和决定接下来的操作7HARBIN INSTITUTE OF TECHNOLOGY机器人的从古至今公元21世纪工业机器人已经相对成熟，人们开始探索更多场景、更智能的机器人医疗微创机器人物流运输机器人展厅服务机器人家庭清洁机器人更好的自主性：应对的场景和任务更复杂，涉及多机器人协调8HARBIN INSTITUTE OF TECHNOLOGY智能机器人机器人智能机器人 ≈ 人类①自主能力：尽可能少的人类干预②泛化能力（通用能力）：具备强大的综合能力9HARBIN INSTITUTE OF TECHNOLOGY最受关注的智能机器人——类人机器人世界第一台全尺寸人形机器人人形运动能力重大进步人形机器人成功商业落地人形动作能力迈入新纪元1972200020082013ASIMO，日本本田制造，历经数次迭代，掌握双足奔跑、搬运托盘、上下楼梯等功能 WABOT-1，日本早稻田大学加藤实验室，行走一步需要45秒，步伐也只有10公分法国 Aldebaran公司研发的小型教学陪伴用人形机器人NAOAtlas机器人，美国波士顿动力公司研发，有很强的运动控制能力运动控制型机器人智能机器人重点关注机器人的运动能力新的关注点：机器人智能11HARBIN INSTITUTE OF TECHNOLOGY机器人与人工智能工业机器人已经相对成熟，人们开始探索更多场景、更智能的机器人医疗微创机器人物流运输机器人展厅服务机器人家庭清洁机器人视觉技术视觉技术语音技术自然语言处理视觉技术语音技术人工智能真的让机器人智能了吗？RESEARCH CENTER FOR SOCIAL COMPUTING AND INFORMATION RETRIEVAL哈尔滨工业大学社会计算与信息检索研究中心13HARBIN INSTITUTE OF TECHNOLOGY我们设想中的智能机器人是什么？像人类一样工作的机器人？各方面强于人类的机器人？有意识和情感的机器人？14HARBIN INSTITUTE OF TECHNOLOGY纵观人工智能发展p1956年—20世纪60年代初，使用人工智能做符号推理，进行数学证明p20世纪60年代—70年代初，启发式的搜索算法能力有限p20世纪70年代初—80年代中，构建专家系统处理医疗、化学、地质等特定领域应用p20世纪80年代中—90年代中，专家系统需要海量的专业知识，实用价值有限p20世纪90年代中—2010年，机器学习算法处理实际问题p2011年之后，深度学习算法用于图像、文本、语音等信息处理p2022年之后，可以处理通用任务的大模型ü 一定的自主能力ü 一定的泛化能力（通用能力）但离我们设想的智能还有多远？15HARBIN INSTITUTE OF TECHNOLOGY大模型与人形机器人结合形成智能机器人p上个世纪对未来人工智能的幻想，主要表现为智能人形机器人，但目前人工智能技术仍然停留在电脑屏幕，没有以实体的方式进入物理世界p目前智能程度最强的大模型，与目前最先进的人形机器人，能否结合形成智能机器人？如何构建一个智能机器人？RESEARCH CENTER FOR SOCIAL COMPUTING AND INFORMATION RETRIEVAL哈尔滨工业大学社会计算与信息检索研究中心人工智能真的让机器人智能了吗？先要说明的问题：17HARBIN INSTITUTE OF TECHNOLOGY构建智能机器人（以人形机器人为例）机器人躯体的所有硬件结构2D视觉信号或3D点云信号语音信号触觉信号或力反馈信号位姿信号硬件方面：软件及算法方面：Ø 收集所有传感器采集的环境信息和自身状态。并综合分析当前所有状态（具身感知）Ø 根据当前状态，对自身下一步的运动做出决策和规划（具身推理）Ø 向下位机下发送运动指令（具身执行）Ø 下位机通过运控技术执行指令大脑小脑（形式包括代码、技能库API、关节旋转角度等）18HARBIN INSTITUTE OF TECHNOLOGY举个不是特别形象的简单例子机器人采集视觉信息，分析出应对咖啡进行清理机器人视觉传感器信号Ø 收集所有传感器采集的环境信息和自身状态。并综合分析当前所有状态（具身感知）清理咖啡需要如下几步：1.扶正杯子并拿起杯盖2.找到抹布3.用抹布擦拭地面4.将抹布放回5.将杯子和杯盖扔掉Ø 根据当前状态，对自身下一步的运动做出决策和规划（具身推理）生成机器人的运动轨迹，包括手臂如何运动、手掌如何运动、腿部如何运动等Ø 向下位机下发送运动指令（具身执行）机器人执行Ø 下位机通过运控技术执行指令人工智能真的让机器人智能了吗？RESEARCH CENTER FOR SOCIAL COMPUTING AND INFORMATION RETRIEVAL哈尔滨工业大学社会计算与信息检索研究中心回到问题：20HARBIN INSTITUTE OF TECHNOLOGY构建智能机器人的技术，我们具备和不具备哪些？机器人躯体的所有硬件结构2D视觉信号或3D点云信号语音信号触觉信号或力反馈信号位姿信号硬件方面：我们已经能造出具备基本性能的机器人硬件和高精度的传感器21HARBIN INSTITUTE OF TECHNOLOGY构建智能机器人的技术，我们具备和不具备哪些？软件及算法方面：Ø 收集所有传感器采集的环境信息和自身状态。并综合分析当前所有状态（具身感知）Ø 根据当前状态，对自