标签：Claude 3.5

菲尔兹奖得主Timothy Gowers最近测试了大模型如GPT-4o和Claude3.5解决经典“狼-山羊-卷心菜”过河问题的能力，结果表明这些大模型在该问题上表现不佳。 Gowers提出了一个新的评估标准——废话比率，即模型给出的错误答案与正确答案的比例。在简单的过河问题上，大模型的废话比率甚至高达5倍。在更复杂的100和1000只鸡过河问题中，尽管GPT-4o在100只鸡问题上答对了，但在1000只鸡问题上表现出严重错误，废话比率达到了125倍。测试显示，即使在被告知无需过河的情况下，模型仍然给出了复杂的解决方案。而Claude3.5在类似问题上也...