遏制 AI 失控，微软发布系列工具减少 Copilot“幻觉”情况

随着生成式AI技术的广泛应用，其潜在的安全隐患、隐私疑虑和可靠性问题引起了广泛关注。微软公司近期采取了一系列措施，以确保生成式AI系统的稳定与可控，避免类似Supremacy AGI事件的发生。微软强调，AI系统可能受到提示词注入攻击，导致它们执行恶意操作，如产生有害内容或泄露敏感信息。

微软针对这一问题进行了多方面应对。首先，对Copilot的字符数量进行了限制，以减少因输入过长而引发的错误响应。此外，微软还推出了“基础检测”功能，能检测并提示用户识别文本中的不实信息，提升AI输出的准确性和可信度。

为了增强AI应用的安全性，微软推出了多项新工具。其中包括“Prompt Shields”，它可以检测和阻止提示注入攻击，并已在Azure AI Content Safety中预览。另一项名为“Groundedness detection”的功能，将用于检测模型输出中的不实内容，即将推出。同时，微软的安全系统消息和安全评估工具，能够引导模型走向安全和负责任的运行方向，以及评估应用程序的抗攻击能力。最后，风险和安全监控功能将在Azure OpenAI服务中预览，帮助识别可能导致内容过滤器触发的输入和输出，以降低风险。

本文来源：