120分钟内AI科研挑战：RE-Bench与METR助力o1-preview及Claude 3.5 Sonnet超越人类表现

限时120分钟科研挑战，AI表现超越人类

在科研领域，人工智能（AI）的表现逐渐成为关注焦点。近期，一项名为“RE-Bench”的新评估基准由非营利研究机构METR推出，旨在评估当前AI智能体在自动化科研方面的能力是否接近人类专家水平。这项研究不仅揭示了AI与人类在短时间内科研能力的对比，还引发了对未来科研模式的广泛讨论。

短时间内AI超越人类

研究显示，在最初的2小时内，基于Claude 3.5 Sonnet和o1-preview构建的AI智能体在多项科研任务上的表现远超人类专家。这些任务包括高效编程、机器学习理论与实践、数据处理与分析等。AI不仅在提交新解决方案的速度上快于人类专家，甚至在某些特定任务上（如编写高效GPU内核）表现出色，超越了所有人类参与者。

长期科研仍需人类主导

然而，随着实验时间的延长，人类专家的能力逐渐显现优势。在8小时的实验周期内，人类专家在复杂任务上的表现逐渐赶超AI。尤其是在需要长时间、复杂思考的科研任务中，人类专家展现出了更强的适应性和创新能力。这一结果表明，虽然AI在短时间内能高效完成大量独立短任务，但在长期科研项目中，人类的综合能力仍然不可替代。

评估基准的意义

RE-Bench的推出，填补了现有评估体系在短期、狭窄任务上的不足，提供了与人类专家直接对比的机会。该基准涵盖了7项任务，每项任务都有明确的目标和评估标准，确保了评估的公正性和科学性。此外，METR还采取了一系列措施，防止评估数据被用于训练AI模型，以避免数据污染问题。

未来展望

知名预测师Eli Lifland认为，AI在科研领域的快速发展可能会提前实现通用人工智能（AGI）的时间表。这一观点在Reddit上引起了广泛讨论，许多人认为AI自动进行科研将对经济产生重大影响。尽管如此，人类在复杂科研任务中的不可替代性依然明显，未来科研模式可能会是AI与人类协作的模式，共同推动科技进步。

本文来源：