标签:PlanBench

【PlanBench 实测报告:OpenAI o1 规划能力卓越,准确率高达 97.8%,显著超越 LLaMA 3.1 405B 在 Blocksworld 中创造的 62.6% 纪录】

IT之家报道,亚利桑那州立大学的研究团队利用 PlanBench 基准测试了 OpenAI 的 o1 模型在规划任务上的表现。结果显示,尽管 o1 模型取得了显著进展,但仍存在一些局限性。 PlanBench 基准简介 PlanBench 是在 2022 年开发的一种基准工具,用于评估人工智能系统的规划能力。它包含了来自 Blocksworld 领域的 600 个任务,其中积木需要按照特定顺序堆叠。通过这些任务,可以全面评估模型的规划性能。 OpenAI o1 模型的成绩 在 Blocksworld 任务中,OpenAI 的 o1 模型表现出色,准确率达到了 97.8%,远高于之前最好的语言...