标签:风险

如果 LLM Agent 成为了科学家:耶鲁、NIH、Mila、上交等学者共同呼吁安全防范的重要性

随着大型语言模型(LLMs)的进步,AI科学家正崭露头角,它们在化学、生物学等领域展现出自主探索的能力,甚至超越了许多非专业人士。然而,这种自动化带来的优势伴随着风险,如用户意图的滥用、特定领域的安全隐患以及对环境的潜在影响。近期一篇名为“优先保障而非自主权:LLM Agents在科学中的风险”的论文,探讨了这些风险并提出应对策略。 论文指出,科学LLM Agents可能被用于不道德或非法实验,尤其在生物和化学领域,可能因误操作高风险物质而导致灾难。此外,它们对环境的影响也不容忽视,可能导致环境污染或生态失衡...