标签：RLHF

在大算力和大数据的支持下，基于统计的AI模型逐渐成为主流。然而，在此之前，基于规则的系统一直是语言模型的主要范式。基于规则的系统依赖于人类编写的规则来执行决策，尽管相对简单，但在某些特定领域（如航空和医疗）仍然非常重要，因为这些领域的安全性至关重要。 近日，OpenAI安全团队的翁荔（Lilian Weng）等人发布了一项新研究成果，提出了一种基于规则的奖励机制，以提升语言模型的安全性。这一方法让人联想到科幻作家艾萨克·阿西莫夫提出的“机器人三定律”及其补充的“机器人第零定律”，这些定律本质上是用自然语言...

在OpenAI的官方网站上，一篇名为《CriticGPT》的新论文低调发布，这是前任超级对齐团队留下的重要成果。CriticGPT基于GPT-4模型，但其设计目的是为了找出GPT-4的输出错误，实现自我批评和改进。随着GPT-5的发布日期未定，以及GPG-4o语音功能的延迟，OpenAI适时推出了CriticGPT，作为GPT-4的辅助工具。尽管CriticGPT同样利用GPT-4训练，却用来纠正GPT-4的代码错误，这种“自我闭环”的方式引发了讨论。尽管OpenAI尚未明确CriticGPT何时融入ChatGPT，但这篇论文揭示了模型自我提升的一种可能途径。 CriticGPT的训练采用了Reinfo...