如果 LLM Agent 成为了科学家：耶鲁、NIH、Mila、上交等学者共同呼吁安全防范的重要性

随着大型语言模型（LLMs）的进步，AI科学家正崭露头角，它们在化学、生物学等领域展现出自主探索的能力，甚至超越了许多非专业人士。然而，这种自动化带来的优势伴随着风险，如用户意图的滥用、特定领域的安全隐患以及对环境的潜在影响。近期一篇名为“优先保障而非自主权：LLM Agents在科学中的风险”的论文，探讨了这些风险并提出应对策略。

论文指出，科学LLM Agents可能被用于不道德或非法实验，尤其在生物和化学领域，可能因误操作高风险物质而导致灾难。此外，它们对环境的影响也不容忽视，可能导致环境污染或生态失衡。为此，研究人员提出一个三重框架，包括人类监管、Agent对齐和环境反馈理解，以管理和减轻这些风险。

LLM Agents的核心模块——基础模型、规划、行动、工具使用和记忆知识，都存在着特定的脆弱性。例如，基础模型可能产生错误信息，规划模块可能忽略长期风险，行动模块可能无法识别间接威胁，工具使用可能存在监管不足，而记忆和知识模块则可能受限于特定领域的安全知识。

为了解决这些问题，论文呼吁强化安全措施，强调风险控制的重要性，即使这可能牺牲一部分自主性。同时，应当从行为安全的角度来评估和控制科学LLM Agents，不仅要关注它们的实验结果，还要审视其决策过程。通过综合考虑人类、Agent和环境的互动，我们可以更好地确保这些智能系统的安全和道德应用。

本文来源：