标签：自然语言指令

谷歌DeepMind团队近期推出了一个创新的AI代理，名为SIMA，专为3D环境设计。SIMA的独特之处在于它无需游戏源代码或特定API，仅需图像和自然语言指令，即可在各种复杂的3D游戏中执行类似人类玩家的操作，如走路、建造和驾驶。通过与多个游戏工作室合作，SIMA在《无人深空》等游戏上接受了广泛的测试和训练，能执行600多种任务，如挖矿、驾驶飞船，响应速度约10秒。 SIMA采用大模型训练，能理解并执行复杂的3D游戏指令，其架构由视觉感知、语言理解、建模规划和控制执行四部分组成，分别对应人类的视觉、思维、计划和行动。视...

谷歌DeepMind近期推出了一款名为SIMA的创新AI智能体，这是一种可扩展、可指导且适应多世界的AI。SIMA是首个能在各种3D虚拟环境和视频游戏中理解并执行自然语言指令的通用智能体，有望成为玩家的得力助手。尽管仍处于研发阶段，SIMA已经在《模拟山羊3》、《幸福工厂》等游戏中展示出多样化的能力，如驾驶、挖掘和寻找资源。 SIMA的学习能力得益于与多家游戏工作室的合作，通过收集大量3D游戏的人类操作数据，并结合现代语言模型进行训练，使其能理解并执行玩家的口头命令。经过训练，SIMA能够响应数百种不同的指令，涵盖探索...