基础智能体的进展与挑战第 1 章【引言】

长期以来，人工智能（AI）的发展一直受到人类创造出能够模仿人类智能、适应性和目标驱动行为的实体的雄心所驱动。这种迷恋的根源可以追溯到古代神话和早期的工程奇迹，这些都说明了人类创造智能、自主存在的持久梦想。像克里特岛的青铜自动机塔洛斯（Talos）的故事，描述了一个由众神建造的巨人，用于守卫岛屿，能够在其海岸巡逻并抵御入侵者。这样的神话象征着将类人能动性和目的性赋予人造创造物的愿望。同样，文艺复兴时期的机械发明，包括列奥纳多·达·芬奇的人形机器人——旨在模仿人类运动和解剖结构——代表了将这些神话转化为有形的、功能性物品的首次尝试。这些早期的想象和原型反映了连接想象与技术的根深蒂固的渴望，为机器智能的科学追求奠定了基础，最终在艾伦·图灵（Alan Turing）1950年提出的开创性问题“机器能思考吗？”[1]中达到高潮。为了解决这个问题，图灵提出了图灵测试，这是一个判断机器是否能通过对话展现类人智能的框架，将焦点从计算转向了更广泛的智能概念。几十年来，AI已经从依赖预定义逻辑的符号系统发展到能够从数据中学习并适应新情况的机器学习模型。随着大语言模型（LLMs）的出现，这一进程达到了新的前沿，这些模型在理解、推理和生成类人文本方面展现出卓越的能力[2]。这些进步的核心是“智能体”（agent）的概念，它是一个不仅处理信息，还能感知环境、做出决策并自主行动的系统。最初作为一个理论构想，智能体范式已成为现代AI的基石，推动了从对话助手到具身机器人等领域的进步，因为AI系统越来越多地处理动态的、真实世界的环境。

1.1 AI智能体的兴起与发展

“智能体”的概念是现代AI的基石，代表了一个能够感知其环境、做出决策并采取行动以实现特定目标的系统。这个想法虽然在20世纪中叶在AI中被形式化，但其根源在于早期对智能系统中自主性和交互性的探索。其中一个被广泛引用的定义，由[3]提出，将智能体描述为“任何可以被视为通过传感器感知其环境并通过执行器作用于该环境的东西”。这个定义强调了智能体作为观察者和行动者的双重性质，能够动态地适应其周围环境，而不是遵循静态规则。它概括了AI从仅仅进行计算的系统向与环境互动的系统的转变。智能体的历史发展与AI本身的发展并行。早期的符号系统，如纽厄尔（Newell）和西蒙（Simon）的通用问题求解器（General Problem Solver）[4]，试图通过将任务分解为逻辑步骤来复制人类解决问题的过程。然而，这些系统受限于它们对结构化环境和预定义逻辑的依赖。智能体范式作为对这些限制的回应而出现，专注于自主性、适应性和真实世界的交互。罗德尼·布鲁克斯（Rodney Brooks）在20世纪80年代提出的包容体系结构（subsumption architecture）是这一转变的例证，它引入了能够在机器人学中实现行为驱动、实时响应的智能体[5]。与早期方法不同，这些智能体在操作时无需对其环境进行详尽的建模，展示了一种更灵活和可扩展的设计。此后，智能体已成为AI各子领域的多功能框架。在机器人学中，它们实现了自主导航和操纵；在软件中，它们构成了用于模拟和协调的多智能体系统的基础[6]。通过将感知、推理和行动整合到一个连贯的结构中，智能体范式一直充当着理论AI构想与实际应用之间的桥梁，增进了我们对智能系统如何在动态复杂环境中运行的理解。

大语言模型（LLMs）的出现重新定义了智能体的能力，改变了它们在人工智能中的角色，并为其应用开辟了新的视野。智能体曾一度局限于执行狭隘定义的任务或遵循严格的基于规则的框架，现在则利用了像OpenAI的ChatGPT [7]、DeepSeek AI的DeepSeek [8]、Anthropic的Claude [9]、阿里巴巴的Qwen [10]和Meta的LLaMA [11]等模型的广泛泛化、推理和适应能力。这些由大语言模型驱动的智能体已经从静态系统演变为能够处理自然语言、跨复杂领域进行推理，并以惊人的流畅性适应新情况的动态实体。这些智能体不再仅仅是被动的输入处理器，而已成为积极的协作者，能够应对多步骤挑战，并以模仿人类解决问题的方式与环境互动。

大语言模型时代的一个关键进步是语言理解与可操作能力的无缝集成。现代大语言模型配备了函数调用API，使智能体能够识别何时需要外部工具或系统，推理其用法，并执行精确的行动以实现特定目标。例如，一个由ChatGPT驱动的智能体可以自主查询数据库，检索相关信息，并利用这些信息提供可操作的见解，同时保持对更广泛任务的上下文感知。这种抽象推理和具体执行的动态结合使智能体能够弥合认知理解与现实世界行动之间的差距。此外，大语言模型在少样本和零样本学习中的泛化能力彻底改变了智能体的适应性，使其能够处理各种各样的任务——从数据分析和创意内容生成到实时协作解决问题——而无需进行大量的任务特定训练。这种适应性，加上它们的对话流畅性，将由大语言模型驱动的智能体定位为人类与机器之间的智能中介，在日益复杂的工作流程中无缝地整合人类意图与机器精度。

1.2 人类大脑与AI智能体的并行比较

大语言模型快速融入智能体架构不仅推动了人工智能向前发展，也突显了AI系统与人类认知之间的根本差异。如表1.1简要所示，由大语言模型驱动的智能体在诸如底层“硬件”、意识、学习方法、创造力和能源效率等维度上与人类认知存在显著不同。然而，需要强调的是，这种比较仅提供了一个高层次的快照，而非详尽的描绘。人类智能拥有许多此处未捕捉到的细微特征，而AI智能体也展现出超出此简洁比较范围的独特特性。

人类智能运行在生物硬件——大脑——之上，展现出非凡的能源效率，能够以极低的代谢成本实现终身学习、推理和适应性决策。相比之下，当前的AI系统需要大量的计算能力，导致完成相当的认知任务时能耗显著更高。认识到这种性能差距强调了能源效率是未来AI研究的一个关键前沿。

在意识和情感体验方面，大语言模型智能体缺乏人类认知所固有的真正主观状态和自我意识。尽管在AI中完全复制类人意识既非必要也非可取，但认识到情感和主观体验在人类推理、动机、伦理判断和社会互动中扮演的深刻角色，可以指导研究朝着创造更一致、更可信、更有利于社会的AI方向发展。

人类学习是连续的、互动的和情境敏感的，深受社会、文化和经验因素的影响。相反，大语言模型智能体主要经历静态的、离线的批量训练，持续适应能力有限。尽管通过指令调优和基于人类反馈的强化学习（RLHF）[12]进行了研究工作，大语言模型智能体仍然未能达到类人的灵活性。通过终身学习、个性化适应和交互式微调等方法弥合这一差距代表了一个有前景的研究方向，使AI能够更好地模仿人类的适应性和响应性。

人类的创造力源于个人经历、情感洞察和自发的跨领域联想的丰富互动。相比之下，大语言模型的创造力主要通过训练数据的统计重组产生——即“统计创造力”——缺乏深度、原创性和情感共鸣。这种区别突显了通过整合更丰富的上下文理解、模拟的情感状态和经验基础来开发能够进行更深层次创造过程的AI智能体的机会。

从时间尺度来看，人脑经过数百万年的进化，通过自然选择和环境互动达到了卓越的效率、适应性和创造力。与之形成鲜明对比的是，自早期计算机器出现以来，AI智能体经历了大约80年的快速但相对短暂的发展。因此，人类认知与AI系统之间的这种并行比较非常有价值，因为它揭示了重要的类比和根本差异，提供了可以指导AI智能体技术进步的有意义的见解。最终，从人类智能中汲取灵感可以增强AI能力，在从医疗保健和教育到可持续性等多个领域造福人类。

表1.1：人类大脑与大语言模型智能体的简明高层比较。

1.2.1 大脑区域功能与AI的相似之处

理解人脑功能与人工智能（AI）之间的相似之处，有助于揭示AI，特别是大语言模型（LLMs）和AI智能体的优势和当前局限性。根据当前的神经科学，人脑主要由六个功能区域组成，例如额叶、小脑和脑干，如图1.1所示。在这项工作中，我们进一步系统地考察了主要大脑区域及其主要功能在现有AI中的对应物。从宏观角度来看，AI的研究现状可以分为三个不同的层次：

大脑功能区域及其相应AI发展水平的高层视觉图如图1.1所示。我们旨在强调在生物系统中观察到的专业化和整合的核心原则如何能够指导更具凝聚力的智能体架构。我们现在详细考察每个大脑功能区域及相关的AI发展。

额叶：执行控制与认知 额叶，特别是前额叶皮层，对于高级认知功能至关重要，如规划（L2）、决策（L2）、逻辑推理（L2）、工作记忆（L2）、自我意识（L3）、认知灵活性（L3）和抑制控制（L3）[13]。AI在明确定义的领域内的规划和决策方面取得了显著进展，例如AlphaGo等AI智能体所展示的[14]。Transformer使用类似于人类工作记忆的注意力机制[15]，但在灵活性和鲁棒性方面仍不及人类。AI中对真正自我意识和抑制控制的探索仍然稀缺，并且由于潜在的伦理和安全影响，建议谨慎行事。

图 1.1：按主要大脑区域分组的关键人脑功能图示，并根据其在AI研究中的当前探索水平进行注释。该图突出了现有成就、差距以及推动人工智能向更全面、受大脑启发的能发展的潜在机会。

顶叶：空间处理与多感官整合 顶叶整合多感官输入，促进注意力（L2）、空间定向（L2）和感觉运动协调（L2）[16]。机器人学和计算机视觉领域的AI研究解决了类似挑战，采用了如同时定位与建图（SLAM）等技术。尽管如此，AI仍然缺乏人类所见的无缝实时整合能力。此外，精细的触觉感知（L3）在很大程度上仍未被探索，并提供了相当大的潜力，特别是在机器人学和假肢应用方面。

枕叶：视觉处理 枕叶专门负责视觉感知（L1），通过层级结构高效处理视觉刺激[13]。AI在基本视觉识别任务方面表现出色，使用深度神经网络和视觉Transformer达到了人类水平或更优的性能[15]。然而，高级能力如上下文场景理解（L2）和抽象视觉推理仍然具有挑战性，仅处于中等发展水平。

颞叶：语言、记忆与听觉处理 颞叶促进听觉处理（L1）、语言理解（L1）、记忆形成（L2）和语义理解（L2）[16]。AI在语言和听觉处理方面取得了显著进展，大语言模型（LLMs）能够实现接近人类水平的语音识别和语言生成。然而，鲁棒的情景记忆和终身学习能力仍然有限，AI系统经常遇到灾难性遗忘等问题。将语义理解根植于多模态体验仍然是一个活跃的研究领域。

小脑：协调与运动学习 小脑主要支持运动协调（L2）、精确技能学习（L2）和适应性错误校正（L2），并在认知计时和预测建模（认知计时，L3）方面发挥着新兴作用[13]。基于AI的机器人学在模拟类人灵巧性方面取得了有限的成功。实时自适应控制仍然具有挑战性，尽管当前在强化学习和元学习方面的研究显示出有希望的初步结果。小脑的认知功能代表了一个探索不足但充满希望的前沿领域。

脑干：自主调节与反射控制 脑干管理着维持生命所必需的自主功能（L3）和快速反射反应（L1），例如基本的运动反射[13]。AI包含了工程化的反射反应，如自动驾驶汽车中的自动制动，这些反应通常是预先定义的而非学习得来的。相比之下，自主调节和动态唤醒状态的复杂性在AI中基本上未被探索，并且由于生物系统和人工系统之间的根本差异，它们的相关性可能有限。

边缘系统：情绪、共情与动机 边缘系统，包括杏仁核和海马体，控制着情绪处理（L3）、奖励机制（L2）、共情（L3）、压力调节（L3）和动机驱动（L3）[13]。AI的强化学习算法肤浅地模拟了基于奖励的学习，但细致入微的情感理解、真正的共情和内在动机状态仍然显著欠发达。关于情感操纵的伦理担忧凸显了进行谨慎和负责任探索的必要性。

弥合类脑功能与构建有益AI的差距 到目前为止，我们已经见证了人脑与机器智能之间的差距。然而，目标不一定是在人工智能系统中复制人类认知的每一个方面。相反，我们的总体目标应该是开发有用、合乎伦理、安全且对社会有益的智能体。通过批判性地比较人类和人工智能，我们突出了现有的差距，并阐明了有前景的创新方向。这种比较视角使我们能够有选择地整合人类认知的有益方面，例如高能效处理、终身自适应学习、情感基础和丰富的创造力，同时超越人类局限进行创新。最终，这种方法旨在促进创造更强大、更具韧性、更负责任的AI系统。

此外，至关重要的是要考虑人类在混合人-AI社会中不断演变的角色。AI的目标不应该是完全取代人类的角色，而是增强和赋能人类的能力，在AI擅长的领域（如处理海量数据集、执行快速计算和自动化重复任务）补充人类的技能和判断力。人类的监督和可解释性对于确保强大的AI系统保持可控并符合人类价值观和伦理标准至关重要。因此，核心目标必须是开发透明、可解释并响应人类指导的AI技术。

以人为中心的AI设计强调协作、安全和社会责任，确保技术进步以可控、可靠的方式进行。通过将人类置于AI生态系统的中心，我们可以利用AI的潜力来提高人类的生产力、创造力和决策能力，促进技术和社会进步，同时不损害人类的自主性或尊严。最终，对人类智能和AI能力的深思熟虑的整合可以为可持续、公平和繁荣的未来铺平道路。

1.3 模块化与受大脑启发的AI智能体框架

大语言模型时代的一个核心问题是缺乏一个统一的框架来整合高级智能体所需的丰富认知和功能组件。虽然大语言模型提供了卓越的语言推理能力，但许多当前的智能体设计仍然是临时性的——它们以零散的方式整合了感知、记忆或规划等模块，未能近似于生物系统（如人脑）中看到的协调良好的专业化。与当前的大语言模型智能体不同，人脑通过不同但相互连接的区域无缝地平衡感知、记忆、推理和行动，促进对复杂刺激的适应性反应。相比之下，由大语言模型驱动的智能体在需要跨领域或多模态整合的任务中常常会遇到困难，这凸显了需要一种更整体化的方法，类似于大脑的功能多样性。受这些相似之处的启发，我们的综述主张从人脑中汲取灵感，系统地分析和设计智能体框架。这种视角表明，生物系统通过将专门化的组件（用于感知、推理、行动等）紧密集成的方式实现通用智能——这种方法可以作为加强当前基于大语言模型的智能体的蓝图。

神经科学研究揭示，大脑利用理性回路（例如，新皮层，实现深思熟虑和规划）和情感回路（例如，边缘系统）来指导决策。记忆形成涉及海马体和皮层机制，而由多巴胺能和其他神经调节通路介导的奖励信号则强化行为和学习。这些生物学见解启发了AI智能体的几个设计原则，包括但不限于：

表1.2：修订后智能体框架符号汇总，突出整体认知过程中的学习和推理功能分离。

海马体和皮层机制，而奖励信号则由多巴胺能以及其他神经调节通路介导，强化了行为和学习。这些生物学见解为 AI 智能体的设计原则提供了若干启发，包括但不限于：

• 并行多模态处理：大脑通过专门的皮层区域并行处理视觉、听觉和其他感官输入，并在联合区将它们整合。类似地，AI 智能体可以受益于对多样化传感流的并行处理，并在后期阶段将它们融合以实现连贯理解。
• 层次化与分布式认知：推理、规划、情感调节和运动控制涉及皮层与皮下区域的交互。类似地，AI 智能体可以采用模块化架构，配备专门用于理性推理、情感评估和记忆的子系统。
• 注意机制：人类注意力会根据上下文、目标和情感对感官数据进行优先排序。AI 智能体可以通过学习到的注意策略来调节感知，根据内部状态动态地调整关注焦点。
• 奖励与情感整合：情感不仅仅是噪声，而是决策过程不可或缺的部分，它能够调节优先级、增强警觉性并指导学习。基于奖励的可塑性促进了习惯的形成和技能的获取，这一理念对于 AI 智能体中的强化学习至关重要。
• 目标设定与工具使用：人类前额叶皮层擅长设定抽象目标并规划包括工具使用在内的行动序列。同样地，AI 智能体也需要健全的目标管理系统和自适应的行动库，由外部奖励与内在动机驱动。

这些原则构成了我们提出的受大脑启发的智能体框架的基础，其中生物机制作为灵感来源而非直接复制。

在接下来的部分中，我们概述了我们框架的关键概念，引入了一个基于感知-认知-行动循环的统一智能体架构，该循环通过奖励信号和学习过程得到丰富。每个子系统都经过精心定义和互连，以确保记忆、世界模型、情绪、目标、奖励和学习如何相互作用的透明度。我们将认知形式化为一种通用的推理机制，将规划和决策界定为塑造行为的特定“心理行动”。我们探讨了与已建立理论的联系，例如明斯基（Minsky）的心智社会（Society of Mind）[17]、布扎基（Buzsáki）的由内向外（inside-out）视角[18]和贝叶斯主动推理（Bayesian active inference）[19]，以突出该框架的通用性和生物学合理性。

图 1.2：描述智能体循环和智能体社会的通用框架概述。

1.3.1 智能体循环中的核心概念与符号

我们的架构在三个概念层面上运行：社会（Society）、环境（Environment）和智能体（Agent）。然后，智能体被分解为三个主要子系统：感知（Perception）、认知（Cognition）和行动（Action）。在认知内部，我们识别出关键子模块：记忆（memory）、世界模型（world model）、情绪状态（emotional state）、目标（goals）、奖励（reward）、学习（learning）和推理过程（reasoning processes）（包括作为推理产生的特殊行动的“规划”和“决策”）。注意力（Attention）主要在感知和认知内部处理。在介绍形式化循环之前，我们在表1.2中总结了我们的符号。

接下来，基于表1.2中的符号，我们提出我们所设计的智能体循环。

智能体循环

一个智能体在离散的时间步 上运行，持续与环境互动。在每一步中，发生以下过程：

1. 环境状态 ：环境处于状态 。
2. 感知 §：智能体感知环境以生成观测 ：

其中 指导选择性注意和过滤。

3. 认知 ©：更新心理状态并选择行动：

其中 封装了不同的子状态：

认知包括：

• 学习 (L)：根据观测更新心理状态：

• 推理 ®：确定下一个行动：

这可能是：

– 外部行动，直接影响环境。 – 内部行动，包括： 规划：未来的内部行动序列。 决策：从可用选项中选择最佳行动。

4. 行动执行 (E)：将行动 转换为可执行形式：

5. 环境转换 (T)：环境对智能体的行动做出响应：

在多智能体场景中，每个智能体 维护个体状态 ，环境根据所有智能体的行动集体更新。在更广泛的尺度（AI社会或世界，）上，智能体在不同的社会系统（例如，经济、通信或交通系统）内互动，形成复杂的社会结构。

图1.2阐释了我们的智能体框架，展示了核心概念以及它们之间的不同类型的信息流或控制流。至此，我们提出了一个受大脑启发的智能体框架，该框架将生物学见解整合到一个形式化的感知-认知-行动循环中。通过将认知分解为记忆、世界建模、情绪、目标、基于奖励的学习和推理等模块，我们捕捉了与人脑层级化和奖励驱动过程的基本相似之处。关键是，注意力被包含在循环中，以实现基于内部状态的选择性过滤。此外，规划和决策可以被视为不同的内部（心理）行动，它们要么完善内部表示，要么选择外部行为。我们的框架自然地扩展了经典的智能体架构，提供了一个多层次结构，整合了情感和理性过程以及跨越短期和长期的鲁棒、奖励驱动的学习。

社会与社会系统。 在许多现实世界场景中，智能体不仅仅与静态环境互动，而是在更广泛的社会中运作，该社会包含各种社会系统，如金融市场、法律框架、政治机构、教育网络和文化规范。这些结构通过定义规则、激励和共享资源来塑造和约束智能体的行为。例如，金融系统规定了经济交易和资源分配的方式，而政治系统则提供了治理机制和监管约束。总的来说，这些社会系统创造了一个分层的背景，智能体必须在其中自适应地学习、推理和行动——既要满足其内部目标，也要遵守（或策略性地参与）外部社会规则。反过来，这些智能体的行动又反馈到社会系统中，可能改变规范、政策或资源分配。

基础智能体的形式化定义。 基于这些见解和我们对鲁棒、自适应智能的愿景，我们现在正式引入基础智能体（Foundation Agent）的概念。与主要关注即时感觉-动作循环的传统智能体定义不同，基础智能体体现了持续的自主性、适应性和目的性行为，强调了跨不同环境整合内部认知过程。

基础智能体定义

基础智能体是一个自主的、自适应的智能系统，旨在主动感知来自其环境的多样化信号，通过经验持续学习以提炼和更新结构化的内部状态（如记忆、世界模型、目标、情绪状态和奖励信号），并推理出有目的的行动——包括外部和内部行动——以自主地朝向复杂的长期目标导航。

更具体地说，基础智能体具备以下核心能力：

1. 主动和多模态感知：它持续地、选择性地从多种模态（文本、视觉、具身或虚拟）感知环境数据。
2. 动态认知适应：它通过学习整合新的观测和经验，维护、更新并自主优化丰富的内部心理状态（记忆、目标、情绪状态、奖励机制和全面的世界模型）。
3. 自主推理和目标导向规划：它主动参与复杂的推理过程，包括长期规划和决策，以推导出与目标一致的策略。
4. 目的性行动生成：它自主生成并执行有目的的行动，这些行动可以是外部的（物理移动、数字交互、与其他智能体或人类的沟通）或内部的（战略规划、自我反思、认知结构的优化），系统地塑造其环境和未来认知以实现复杂目标。
5. 协作性多智能体结构：它可以在多智能体或智能体社会结构内运作，协作形成智能体团队或社区，共同完成超出个体能力的复杂任务和目标。

该定义突出了区分基础智能体的三个基本支柱：持续自主性（在没有逐步人工干预的情况下独立运作以实现长期目标）、自适应学习（在多样化的经验中持续演化内部表示）和目的性推理（生成由复杂的、内部维护的目标和价值观引导的行动）。因此，基础智能体代表了从传统智能体的根本转变，通过整合深层认知结构、多模态处理能力和主动的、持续的自我优化，使其能够在广泛的环境和领域中有效运作。

与经典定义（通常主要根据简单的感知-行动循环来界定智能体，“感知并行动”[20]）不同，我们对基础智能体的概念强调了内部认知过程的深度和整合性。基础智能体不仅感知其环境并执行即时行动，而且还拥有一个不断演化的、面向目标的认知——持续调整记忆结构、世界模型、情绪和奖励状态，并通过推理自主地完善其策略。这种内部认知的丰富性使得基础智能体能够自主地将复杂的抽象目标分解为可操作的任务，策略性地探索其环境，并动态调整其行为和认知资源。因此，我们的统一感知-认知-行动框架能够容纳并明确地建模这些复杂的认知能力，将内部（心理）行动与外部（物理或数字）互动同等看待，促进了从物理机器人到基于软件或纯文本的智能体等广泛的具身形式。

1.3.2 生物学启发

尽管我们的智能体模型本质上是计算性的，但每个子模块都从人脑中经过充分研究的生物对应物中汲取灵感。下面，我们讨论这些类比，旨在突出神经科学基础和AI实现所提供的灵活性。

记忆（海马体和新皮层）。 数十年的神经科学研究已将海马体与情景记忆形成联系起来，而皮层区域则被认为容纳语义和程序性知识[21, 22]。在人类中，这些记忆子系统协同工作，管理短期编码和长期巩固。我们的记忆组件 同样旨在通过存储近期经验和知识来捕捉多尺度学习。这可以通过神经网络权重（长期）或显式缓冲区（短期）来实现，从而模仿海马体-皮层的相互作用。

世界模型（预测性处理）。 认知神经科学中一个突出的理论认为，皮层作为一个预测机器运作，不断将传入的感觉数据与生成的预期进行比较[23, 19]。世界模型 通过维持一个关于环境如何随时间演化的内部表示来反映这一思想。正如皮层回路整合多感官数据以更新这些内部模型一样，我们的框架允许 在每次接收到新的观测以及相关的奖励或情绪线索时进行精炼，为环境动态提供了一个贝叶斯或自由能视角。

情绪（边缘系统）。 由杏仁核、下丘脑和边缘系统等结构介导的情绪，显著调节注意力、学习率和决策阈值[24, 25]。通过引入情绪组件 ，我们的模型捕捉了内部效价或唤醒状态如何改变智能体的焦点和行为。尽管计算性“情绪”既不完全等同于生物情感，也不是有意识的感觉，但它们可以指导自适应启发式方法——例如优先处理紧急目标或对感知到的威胁做出快速反应。

目标与奖励（前额叶与皮层下回路）。 人类擅长形成抽象的长期目标，这种能力通常与前额叶皮层功能相关[26, 27]。与此同时，皮层下回路——特别是多巴胺能通路——驱动强化信号，塑造动机和习惯学习[28]。我们的智能体包含用于存储目标的 和用于编码奖励信号的 ，从而实现了一个持续的反馈循环，其中目标形成和基于奖励的适应相互加强。这种机制允许规划行动序列、使用工具以及进行更细致的社交互动。

推理、规划与决策（前额叶皮层）。 最后，人类前额叶皮层整合来自记忆、感觉输入、情绪和奖励通路的信息，以执行高级认知过程——例如逻辑推理、规划和执行控制[29, 30]。在我们的智能体框架中，这些能力被包含在推理子功能中，该功能——通过诸如 PlanFn 和 Decide 等模块——选择并执行行动（无论是物理的还是纯粹心理的）。通过区分规划和即时决策，我们捕捉了智能体如何能够模拟未来场景、权衡结果，然后致力于一个行动方案，类似于在前额叶回路中观察到的灵活协调。

1.3.3 与现有理论的联系

除了这些明确的神经生物学相似之处，我们的架构还与AI、认知科学和神经科学中的几个重要理论产生共鸣。

经典感知-认知-行动循环。 我们扩展了[20]概述的传统感知-思考-行动（sense–think–act）循环，纳入了用于注意力（在P中）、学习和情绪（在C中）的显式机制，以及随时间持续存在的奖励信号。这种明确性使得分析智能体的内部状态和先前行动如何塑造后续感知和认知变得更加容易。

明斯基的“心智社会”。 [17]认为智能产生于心智内部专业化“智能体”的集合。我们的子模块—— 、、、、——呼应了这种分解，将关键功能（记忆、预测、情绪评估、目标设定等）分布在独立但相互作用的组件上。在更广泛的“社会”背景下，每个智能体（或子智能体）可以协作或竞争地协调，就像明斯基的内部机构一样。最近关于基于自然语言的心智社会的研究[31]支持智能体系统可以使用原始的心智社会理论来表示，并且可以包含智能体之间的社会结构和经济模型。

布扎基的由内向外视角。 神经科学家[18]认为，大脑主动构建和更新其感知，而不仅仅是接收输入。在我们的模型中，——包括情绪状态、奖励信号和目标——直接影响感知映射P。这支持了由内向外的立场，即智能体的内部上下文驱动其采样和解释环境的方式，而不是被动地对环境做出反应。

部分可观测马尔可夫决策过程（POMDP）。 我们的框架可以看作是对经典的部分可观测马尔可夫决策过程（POMDP）在几个方面的泛化。首先，POMDP指定了一个在（可能有限的）状态空间上的概率转移函数 ，而我们保留了一个环境转换T，不将其限制为纯粹概率性或有限形式，允许任意甚至确定性的映射。其次，在标准的POMDP设置中，奖励通常定义为的标量函数（可能随时间折扣）。相比之下，我们将奖励信号置于智能体的心理状态 内部，让它们依赖于——并与——目标、情绪和世界模型共同演化，而不是强制执行单一的外部定义目标。第三，虽然POMDP智能体通常通过最大化预期回报（价值函数）来选择行动，但我们的推理子过程更广泛。它考虑了记忆、情绪和其他心理状态因素，容纳了启发式或社会驱动的决策，而不仅仅是严格基于价值的选择。最后，POMDP没有明确定义认知子模块，如记忆或情绪——这些必须被压缩成一个单一的“信念状态”。在我们的框架中，每个子组件（记忆、世界模型、情绪、目标、奖励）都被明确建模和更新，反映了受生物学启发的认知观点。因此，尽管我们的方法在特殊情况下（通过强制执行概率性T、标量奖励和最小心理状态）可以恢复POMDP公式，但它允许更丰富的环境转换、内部状态和决策机制。

主动推理与贝叶斯大脑。 主动推理是由[19]提出的一个统一框架，它表明智能体不断更新内部生成模型以最小化预测误差（或“自由能”）。我们使用 和 ，连同规划和决策模块，可以用贝叶斯术语来解释。智能体试图通过使其世界模型与新数据对齐，并通过选择符合预测（或期望）结果的行动来减少意外（surprise）。

生物学合理性与通用性。 虽然大脑回路和智能体子模块之间的映射是在高层次上进行的，但它提供了一种既受生物学启发又在模块上保持不可知论的方法。记忆、情绪、目标和奖励都可以通过各种AI范式来实现——符号方法、神经网络或混合方法——从而保持灵活性。通过整合来自神经科学、认知科学和AI的这些关键思想，我们得到了一个通用框架，它捕捉了智能行为的基本属性，而不过度约束实现细节。

1.4 本综述导航

本综述旨在提供对智能体的全面、模块化和跨学科的考察，从认知科学、神经科学和其他学科中汲取灵感，以指导AI下一波的进步。虽然许多现有综述[32, 33, 34, 35, 36, 37, 38, 39, 40]对智能体研究的各个方面提供了宝贵的见解，但我们在表1.3中对其焦点进行了详细比较。我们的工作通过系统地比较生物认知与计算框架，以识别协同作用、差距和创新机会而独树一帜。通过桥接这些领域，我们旨在提供一个独特的视角，不仅突出智能体擅长的领域，而且指出需要取得重大进展以释放其全部潜力的领域。

表1.3：现有综述及其不同焦点的总结。· 表示主要焦点，而 表示次要或较少关注的焦点。

本综述分为四个关键部分：

• 在第一部分：智能体的模块化设计中，我们介绍了智能体的核心模块，包括作为智能体“大脑”的认知模块；用于解释感官输入的感知系统；以及用于与外部世界互动的行动系统。在认知系统内部，我们进一步讨论了记忆、世界建模、情绪、目标和奖励系统，分析了它们当前的进展、局限性和研究挑战。

通过将这些线索编织在一起，我们的综述旨在提供对智能体当前状态的整体视角，并为其发展提供前瞻性的路线图。我们独特地专注于将认知科学见解与计算设计原则相结合，使本综述成为研究人员寻求设计不仅强大高效，而且适应性强、合乎伦理、并与人类社会复杂性深度契合的智能体的基础资源。