NVIDIA 的高级研究科学家 Jim Fan 提出了一个概念，旨在增强 AI 在不同环境中的运行方式。在最近的一次 Ted 演讲中，Fan 介绍了“基础代理”，这是一种专门的人工智能，旨在掌握各种技能，使其擅长在数字和物理领域发挥作用。这一发展标志着人工智能技术向前迈出了重要一步，因为它超越了复制人类认知的目标，这是通用人工智能（AGI）的重点。

基金会代理不仅仅是另一种类型的人工智能;它们旨在在各种场景中表现出色，从游戏和新兴的元宇宙到先进的无人机操作和人形机器人的创建。英伟达自己的基金会代理，被称为 Voyager，已经通过在专业水平上玩流行的游戏 Minecraft 来展示其实力。Voyager 能够独立学习和驾驭复杂的环境，这清楚地表明了其复杂的学习机制。

Voyager 的与众不同之处在于其“编码即行动”的方法，它允许将 3D 空间内的交互转换为文本命令。这个过程使人工智能能够在游戏环境中完善其技能。此外，基础智能体被设计为自我完善的实体，不断寻求新的挑战并获得新的能力，而不受固定的发展轨迹的限制。

NVIDIA Voyager AI 代理

训练这些先进的人工智能代理涉及使用全面的数据集，例如YouTube视频，这些数据集使代理具备以各种形式操作的知识，从机器人到模拟，以及在不同的现实中，无论是虚拟的还是物理的。

这些人工智能系统背后的灵感源于模拟假设，该假设假设我们自己的现实可能是模拟。这个有趣的想法塑造了人工智能代理的开发方式，重点是它们在模拟环境和现实世界之间无缝移动的能力，从而确保了它们的多功能性和有效性。

NVIDIA 的平台 Omniverse 和 ISAC Sim 在这些 AI 代理的训练和模拟中发挥着至关重要的作用。这些平台提供了现实世界中实际应用所需的可扩展性和灵活性。使用这项技术的一个值得注意的例子是尿素，这是一种机械手，通过在模拟环境中混合语言建模和强化学习来掌握复杂的任务。

该演讲借鉴了人工智能研究和开发的重要里程碑，例如2016年AlphaGo战胜人类围棋冠军李世石，对具有普遍能力的人工智能代理的发展和潜在未来提供了前瞻性的观点。这一胜利被定位为一个分水岭，标志着人工智能代理的主流到来，但也凸显了它们在不同任务和环境中的多功能性和适用性的局限性。然后，演讲者的叙述过渡到对人工智能代理的愿景，这些智能体与科幻小说中描绘的一样具有适应性和多面性，能够在广泛的活动、物理形式和现实中运行。

Jim Fan，NVIDIA AI Ted Talk 总结

该演讲借鉴了人工智能研究和开发的重要里程碑，例如2016年AlphaGo战胜人类围棋冠军李世石，对具有普遍能力的人工智能代理的发展和潜在未来提供了前瞻性的观点。这一胜利被定位为一个分水岭，标志着人工智能代理的主流到来，但也凸显了它们在不同任务和环境中的多功能性和适用性的局限性。然后，范的叙述过渡到对人工智能代理的愿景，这些智能体与科幻小说中描绘的一样具有适应性和多面性，能够在广泛的活动、物理形式和现实中运作。

实现这种功能广泛的 AI 代理的旅程围绕三个主要发展轴构建：

• 技能获取：演讲者介绍了 Voyager 项目，这是一个 AI，展示了在 Minecraft 环境中学习和执行各种技能的能力。通过将游戏的 3D 世界转换为文本表示并使用 GPT-4 生成 JavaScript 代码，Voyager 自主开发可执行技能。通过行动、观察、反思和适应的循环，它扩展了自己的能力，展示了一种终身学习的形式。
• 具体实施的灵活性：MetaMorph 计划是一项突破，使单个 AI 模型能够控制和适应数千个具有不同配置的机器人。这是通过描述每个机器人身体部位的专用词汇来实现的，允许人工智能生成适当的电机控制。MetaMorph 代表了朝着实现 AI 代理物理体现的多功能性迈出的重要一步。
• Reality Mastery： IsaacSim 是 Nvidia 的一款模拟工具，它通过以远远超过实时的速度模拟物理定律和环境，展示了快速加速 AI 代理学习过程的能力。这种能力允许在复杂的任务和环境中有效地训练 AI 模型，为 AI 在虚拟和潜在的现实世界环境中泛化技能提供了一条途径。

“基础代理”的概念被引入作为最终目标，一种可以在所有三个开发轴上泛化的人工智能——技能多样性、体现多样性和现实适应。Foundation Agent 将根据与任务和实施例相关的提示进行操作，应用类似于 ChatGPT 处理各种语言任务的可扩展方法。演讲者设想了一个未来，这样的基金会代理能够实现实体在物理和虚拟领域的自治，体现虚构的人工智能角色的多功能性和适应性。

总之，该演讲概述了人工智能从AlphaGo等专业代理发展到具有普遍能力的实体的路线图。通过利用技能获取、具身灵活性和现实掌握方面的进步，演讲者倡导人工智能可以履行科幻小说中设想的多样化和动态角色的未来，这标志着我们对人工智能的追求向前迈进了一大步。

Fan 的 Ted Talk 强调了基金会代理人在弥合数字世界和物理世界之间差距方面的变革潜力。随着这些代理的不断发展，他们有望增强我们与技术的互动，并拓宽我们在各个行业的能力。基础代理的引入证明了 Nvidia 致力于推进 AI 技术及其应用，有望以我们尚未想象的方式丰富我们的体验。