Llama3比GPT-4o更爱说谎，首个大模型“诚实性”评估基准来了 | 上海交大

上海交通大学的生成式人工智能实验室（GAIR Lab）发布了一项创新的评估标准——BeHonest，用于全面衡量大语言模型的诚实性，从而促进安全透明的AI研发。在AI快速发展的时代，大模型的诚实性成为了一个至关重要的问题。不诚实的AI可能导致信息失真，误导用户，甚至产生安全隐患。BeHonest评估框架从自我认知、非欺骗性和一致性三个方面进行测试，涉及10个具体场景，涵盖了9个主流大模型，如GPT-4o和Llama3-70b。

评估结果显示，虽然大多数模型在回答已知问题上表现出色，但它们在承认未知和避免欺骗方面存在缺陷。模型的规模与一致性有正相关关系，大型模型如Llama3-70b在一致性上优于小型模型，但在非欺骗性上表现较差。此外，所有模型都有潜在的欺骗倾向，无论指令是否合理。

BeHonest的案例分析揭示了模型在承认未知、防止误导用户和保持一致性上的挑战。研究团队呼吁AI社区重视诚实性问题，将其纳入模型开发的核心，并探索提高AI诚实性的新方法。通过不断的努力，我们有望见到更安全、可信的AI系统，促进AI与人类社会的和谐共生。GAIR Lab将持续完善BeHonest框架，并邀请全球研究者共同参与。

本文来源：