人工智能在企业中的应用正在发生深刻变革

据站长之家(ChinaZ.com)4月23日消息，人工智能公司Anthropic的首席信息安全官杰森·克林顿（Jason Clinton）发出警告：到明年，具备高度自主性的“AI员工”可能会开始取代传统的人类员工。这些AI将不再仅仅是工具或助手，而是拥有独立账户、记忆，并在企业中承担特定职责的虚拟角色。

克林顿指出，未来的AI主体与目前的功能单一系统相比，将迎来质的飞跃。虽然当前的AI工具已经能够执行一些简单的安全检查和任务，但下一代AI将能够在企业的各个系统中独立运行，无需人类监督即可做出复杂决策并完成多步骤的工作流程。“我们谈论的是虚拟员工，而不仅仅是普通的AI智能体。” 克林顿强调，这种差异意味着未来的AI将更像人类同事，而非现有的工具。

这一趋势给企业在网络安全方面带来了新的挑战。那些已经在基础网络安全问题上挣扎的企业，将面临更大的难题——如何确保拥有网络访问权限的AI身份安全。专家们提出了许多棘手的问题：企业应该如何管理AI的密码？AI员工应该被允许访问哪些系统？当AI员工犯错或出现异常行为时，谁来承担责任？更重要的是，AI系统存在被入侵的风险，可能获得对公司关键基础设施（如代码测试和部署平台）的访问权限。根据克林顿的说法，这些问题尚未得到有效解决。

值得注意的是，Anthropic公司近年来发展迅猛，从2021年的7名员工迅速扩展到2025年的1000多名员工。该公司承认其在应对这些挑战方面的责任，并表示正对其AI模型Claude进行全面测试，以防范潜在攻击，同时积极监控因滥用可能导致的安全隐患。尽管AI领域仍存在诸多担忧，但Anthropic今年的收入预计将达到22亿美元，显示出行业的爆炸性增长。

此外，大型AI公司的现任和前任员工也表达了对伦理问题的关注，呼吁提高透明度，特别是在AI能力和风险方面。他们警告称，如果缺乏适当的监管，先进的AI系统可能会加剧社会不平等，并传播错误信息。

本文来源：