标签：DevBench

随着AI技术的飞速进步，一款名为Devin的AI软件工程师横空出世，它在软件开发全周期中展现出卓越的能力，引发业界热议。在SWE-Bench基准测试中，Devin解决问题的能力远超GPT-4，展示了其在GitHub问题解决上的强大实力。然而，上海人工智能实验室、字节跳动SE Lab和SWE-Bench团队共同推出了新的测试基准DevBench，以揭示大模型在软件开发中的局限性。DevBench评估了从产品需求文档到项目开发各阶段，包括软件设计、环境设置、代码实现、集成测试和单元测试。实验表明，大模型在面向对象编程、复杂脚本编写和参数匹配等方面仍有...