标签：视觉语言模型

近年来，AI技术在游戏领域的应用越来越广泛。最近，一项新的研究表明，AI不仅能够流畅地玩《黑神话·悟空》，还能在某些场景中取得比人类更高的胜率。这项研究由阿里巴巴的研究团队完成，并提出了一种名为VARP（视觉动作角色扮演）智能体框架，该框架通过视觉语言模型（VLMs）直接处理游戏截图并生成相应的Python代码来操控游戏。 在《黑神话·悟空》这款游戏中，研究人员定义了12个任务，其中75%与战斗相关。为了验证VARP框架的有效性，他们构建了一个包含1000条有效数据的人类操作数据集，其中包括键鼠操作和游戏截图。每个...

OpenAI赋能机器人Figure 01，高效能互动展现未来潜力！ 近日，OpenAI的先进大模型被应用到一款名为Figure 01的机器人身上，展现出惊人的实时交互和动作执行能力。这款机器人能够准确识别和描述环境，并能理解并执行复杂的指令，例如在听到“想吃东西”时递上苹果。值得注意的是，所有展示均无任何加速处理，完全展示了机器人的实际速度和自主性。 Figure 01依赖于OpenAI的视觉和语言理解技术，具备规划动作、短期记忆和解释推理过程的能力。其通过高频率的图像捕捉和动作输出，实现24自由度的精确控制。在任务执行中，复杂...