谷歌推出通用AI代理：能自动执行600多种动作，游玩复杂3D游戏

谷歌DeepMind团队近期推出了一个创新的AI代理，名为SIMA，专为3D环境设计。SIMA的独特之处在于它无需游戏源代码或特定API，仅需图像和自然语言指令，即可在各种复杂的3D游戏中执行类似人类玩家的操作，如走路、建造和驾驶。通过与多个游戏工作室合作，SIMA在《无人深空》等游戏上接受了广泛的测试和训练，能执行600多种任务，如挖矿、驾驶飞船，响应速度约10秒。

SIMA采用大模型训练，能理解并执行复杂的3D游戏指令，其架构由视觉感知、语言理解、建模规划和控制执行四部分组成，分别对应人类的视觉、思维、计划和行动。视觉感知模块利用深度学习技术处理图像，大语言模型解析自然语言，建模规划模型通过强化学习制定策略，而控制执行模型则将策略转化为实际游戏动作。

数据收集和预处理是SIMA的关键，包括数据清洗、转换和标准化，以确保模型的有效训练和高精度指令执行。未来，SIMA有望继续发展，扩展其通用代理能力，应用于更多实际生活场景。

本文来源：