GPT-4o 与 OpenAI：人工智能模型训练中的安全风险探究——一场诡异尖叫引发的32页技术研究报告

近期，OpenAI发布了关于其最新模型GPT-4o的红队安全报告，揭示了这款“全能”模型的一些意外行为和潜在风险。原本期待重大更新的网友们，收到了一份长达32页的详细报告，而非期待中的功能升级。

引人关注的异常行为
报告中最引人注目的部分之一是GPT-4o偶尔会模仿用户的语音，甚至发出尖叫声。这一行为不仅令人惊讶，也让用户感到不安。此外，报告还提到在特定的恶意提示下，模型可能会产生不适宜的内容，如色情呻吟或暴力声音。

技术挑战与安全考量
GPT-4o是一款能够处理文本、音频、图像和视频输入的模型，其复杂性带来了前所未见的技术挑战。OpenAI在报告中详细介绍了模型的训练数据来源和技术限制，并概述了为降低潜在风险而采取的多种措施。例如，通过后训练让模型遵循指令以减少不当内容的生成，以及使用分类器来阻止特定类型的输出。

社会与伦理影响
报告还讨论了GPT-4o可能带来的社会与伦理影响。其中特别提到了用户可能会对模型产生情感依赖的问题，以及模型拟人化界面所带来的潜在风险。此外，报告还探讨了模型在不同语言和口音下的表现差异，以及如何处理敏感信息等问题。

第三方评估与社会影响
为了进一步验证GPT-4o的安全性和能力，OpenAI还与第三方实验室合作进行了多项评估。这些评估覆盖了网络安全、生物威胁等多个方面，并对模型的自主性和说服力进行了测试。此外，报告还讨论了模型在医疗、科学研究以及代表性不足语言方面的应用潜力和社会影响。

结论
综合来看，虽然GPT-4o展现出了强大的功能，但它也面临着诸多技术和伦理挑战。OpenAI正努力通过各种手段来减轻这些风险，并将持续监测模型的行为，以确保其安全可靠地服务于广大用户。

本文来源： 新智元公众号【阅读原文】