OpenAI最新力作：探索超级对齐理论，模型间验证者-证明者博弈提升安全性与可读性

OpenAI近期发布了一篇关于“超级对齐”研究的最终论文，提出了一种让大、小模型互相博弈以提升生成内容可读性的方法。该研究旨在在保持准确率的同时，使模型输出更易于人类理解。通过模拟多伦多大学的“证明者-验证者”博弈框架，OpenAI让大模型作为“证明者”，小模型作为“验证者”，二者在相互竞争中共同进步。这种方法使得大模型的输出变得更加易懂，且准确率没有显著下降，同时小模型的判断能力也得到提高。

论文作者之一Yining Chen认为，这种方式可能使未来的模型超越人类智慧。尽管超级对齐团队已解散，但这项研究仍引起热议。OpenAI的研究显示，传统训练方式可能导致模型的可读性降低，而通过证明者-验证者的博弈训练，能够在准确性和可理解性之间找到更好的平衡。实验结果显示，经过多轮训练，模型的人类判断准确率和速度均得到显著提升，验证器的鲁棒性也得到增强。

此外，研究还发现验证器的规模对训练稳定性有影响，而恶意解法在训练过程中变得更加微妙和局部化，表明验证器能引导模型生成更接近正确答案的对抗样本。尽管超级对齐团队已经解散，但OpenAI仍然重视安全问题，并有多支团队致力于相关工作。

本文来源：